大数据
-
Kafka大名鼎鼎又臭名昭著的消费组和重平衡
摘要:Consumer Group指多个消费者实例组成一个组来共同消费一组主题,它可谓大名鼎鼎,不仅可以加速消费端TPS,还具有扩展性和容错性等优势。而组成员之间如何达成一致来分配…
-
Kafka消费位移的那些事
摘要:Kafka中的位移是个极其重要的概念,因为数据一致性、准确性是一个很重要的语义,我们都不希望消息重复消费或者丢失。而位移就是控制消费进度的大佬。本文就详细聊聊kafka消费位…
-
Kafka重设消费者组offset的7种策略
摘要:Kafka是基于日志结构,消费者在消费消息时仅仅只读而不作删除,因此消费消息是可以重演的,kafka有七种控制消费组消费offset的策略,主要分为位移维度和时间维度,包括:…
-
Kafka多线程消费的思考和实现
随着科技的发展,普通个人电脑多核已是标配,更不必说公司服务器,如果跑在强劲服务器机器上的应用程序依然是单线程架构,那实在是有点暴殄天物了。无论是Kafka官方提供的客户端API,还…
-
Kafka生产者优秀架构原理及发送流程剖析
如果阅读了深入剖析Kafka生产者一文,你肯定已经会玩Kafka生产者了:你知道怎么发送消息了,你知道怎么保证消息不丢失、不重复以及顺序性。那为什么还要有今天这篇文章?因为你会玩还…
-
深入剖析kafka生产者
我们都知道kafka是消息引擎,既然是消息引擎就得有消息,那么消息怎么来的呢?你会告诉我,so easy。生产者发来的。那么生产者怎么发送消息呢?你也会告诉我,网上随便找段demo…
-
剖析Kafka副本机制,你真的了解ISR吗?
温故:我们在【死磕kafka】(一) 入门必知必会的术语概念就了解到: Topic、Partition、Replica是主题层三要素,每个Topic都有至少一个Partition,…
-
【Elasticsearch教程】(三)大白话ElasticSearch入门概念,看不懂找我!
阅读本文之前,建议先阅读【漫画】ES必知必会的倒排索引和分词。你需要清楚搜索的基本思想,毕竟ES最初的定位就是搜索。 虽然概念会比较枯燥,你也必须好好给我看完!理解了这些看似简单概…
-
【Elasticsearch教程】(二)七个生产案例告诉你BATJ为何选择ElasticSearch!应用场景和优势!
既然要学,那么最重要的是让你爱上它!不想说那些单纯的优势、概念了,直接上大厂的生产案例,才是最能吸引你的!跟着大厂走,没问题的! 为啥选择ES? 一个技术服务组件,首先需要了解全面…
-
【Elasticsearch教程】(一)【漫画】ES必知必会的倒排索引和分词
倒排索引的初衷 ** 倒排索引,它也是索引。索引,初衷都是为了快速检索到你要的数据。** 我相信你一定知道mysql的索引,如果对某一个字段加了索引,一般来说查询该字段速度是可以有…