Kafka教程
-
Kafka大名鼎鼎又臭名昭著的消费组和重平衡
摘要:Consumer Group指多个消费者实例组成一个组来共同消费一组主题,它可谓大名鼎鼎,不仅可以加速消费端TPS,还具有扩展性和容错性等优势。而组成员之间如何达成一致来分配…
-
Kafka消费位移的那些事
摘要:Kafka中的位移是个极其重要的概念,因为数据一致性、准确性是一个很重要的语义,我们都不希望消息重复消费或者丢失。而位移就是控制消费进度的大佬。本文就详细聊聊kafka消费位…
-
Kafka重设消费者组offset的7种策略
摘要:Kafka是基于日志结构,消费者在消费消息时仅仅只读而不作删除,因此消费消息是可以重演的,kafka有七种控制消费组消费offset的策略,主要分为位移维度和时间维度,包括:…
-
Kafka多线程消费的思考和实现
随着科技的发展,普通个人电脑多核已是标配,更不必说公司服务器,如果跑在强劲服务器机器上的应用程序依然是单线程架构,那实在是有点暴殄天物了。无论是Kafka官方提供的客户端API,还…
-
Kafka生产者优秀架构原理及发送流程剖析
如果阅读了深入剖析Kafka生产者一文,你肯定已经会玩Kafka生产者了:你知道怎么发送消息了,你知道怎么保证消息不丢失、不重复以及顺序性。那为什么还要有今天这篇文章?因为你会玩还…
-
深入剖析kafka生产者
我们都知道kafka是消息引擎,既然是消息引擎就得有消息,那么消息怎么来的呢?你会告诉我,so easy。生产者发来的。那么生产者怎么发送消息呢?你也会告诉我,网上随便找段demo…
-
剖析Kafka副本机制,你真的了解ISR吗?
温故:我们在【死磕kafka】(一) 入门必知必会的术语概念就了解到: Topic、Partition、Replica是主题层三要素,每个Topic都有至少一个Partition,…
-
【Kafka教程】(八)Kafka高性能原理
Kafka如何保证高性能呢?主要是通过如下几个方面: 高效使用磁盘 零拷贝 批处理 压缩 Partition ISR 高效使用磁盘 顺序写磁盘 Kafka使用了基于日志结构(log…
-
【Kafka教程】(七)Kafka生产参数调优
调优在大数据中是非常重要的,任何一个组件都离不开调优,调优能让你充分利用资源,减少故障的发生等。本文讲解Kafka实际生产中的调优参数。 KAFKA调优可以从三个角度来看,Prod…
-
【Kafka教程】(六)Kafka High Available高可用架构
假设没有高可用架构,一旦某个broker宕机,则宕机期间其上的所有partition都无法提供服务,甚至导致数据丢失。因此必须有HA架构。 回顾之前的教程,我们已经了解到repli…