Kafka教程

摘要：Consumer Group指多个消费者实例组成一个组来共同消费一组主题，它可谓大名鼎鼎，不仅可以加速消费端TPS，还具有扩展性和容错性等优势。而组成员之间如何达成一致来分配…

摘要：Kafka中的位移是个极其重要的概念，因为数据一致性、准确性是一个很重要的语义，我们都不希望消息重复消费或者丢失。而位移就是控制消费进度的大佬。本文就详细聊聊kafka消费位…

摘要：Kafka是基于日志结构，消费者在消费消息时仅仅只读而不作删除，因此消费消息是可以重演的，kafka有七种控制消费组消费offset的策略，主要分为位移维度和时间维度，包括：…

随着科技的发展，普通个人电脑多核已是标配，更不必说公司服务器，如果跑在强劲服务器机器上的应用程序依然是单线程架构，那实在是有点暴殄天物了。无论是Kafka官方提供的客户端API，还…

我们都知道kafka是消息引擎，既然是消息引擎就得有消息，那么消息怎么来的呢？你会告诉我，so easy。生产者发来的。那么生产者怎么发送消息呢？你也会告诉我，网上随便找段demo…

温故：我们在【死磕kafka】(一) 入门必知必会的术语概念就了解到： Topic、Partition、Replica是主题层三要素，每个Topic都有至少一个Partition，…

Kafka如何保证高性能呢？主要是通过如下几个方面： 高效使用磁盘 零拷贝 批处理 压缩 Partition ISR 高效使用磁盘 顺序写磁盘 Kafka使用了基于日志结构(log…

调优在大数据中是非常重要的，任何一个组件都离不开调优，调优能让你充分利用资源，减少故障的发生等。本文讲解Kafka实际生产中的调优参数。 KAFKA调优可以从三个角度来看，Prod…

假设没有高可用架构，一旦某个broker宕机，则宕机期间其上的所有partition都无法提供服务，甚至导致数据丢失。因此必须有HA架构。 回顾之前的教程，我们已经了解到repli…