Kafka是如何保证数据可靠性和一致性？( 二 ) _经验知识

一致性定义:若某条消息对Consumer可见,那么即使Leader宕机了,在新Leader上数据依然可以被读到
* HighWaterMark简称HW: Partition的高水位。取一个partition对应的ISR中最小的LEO作为HW 。消费者最多只能消费到HW所在的位置。另外每个replica都有highWatermark 。leader和follower各自负责更新自己的highWatermark状态。highWatermark <= leader. LogEndOffset
* 对于Leader新写入的msg 。Consumer不能立刻消费。Leader会等待该消息被所有ISR中的replica同步后,更新HW,此时该消息才能被Consumer消费。即Consumer最多只能消费到HW位置
这样就保证了如果Leader Broker失效,该消息仍然可以从新选举的Leader中获取。对于来自内部Broker的读取请求,没有HW的限制。同时,Follower也会维护一份自己的HW,Folloer.HW = min(Leader.HW, Follower.offset)

Kafka是如何保证数据可靠性和一致性？( 二 )

推荐阅读

xps分析实例

杨梅补肾吗

大家都看过哪些网络小说？能否晒一下自己觉得最好的,或者最能触动自己的？

图标文件，Windows7旗舰版的图标缓存文件在什么地方

林内热水器故障代码11怎么处理林内热水器11报错

数据的特征分析,数据特征分析需要哪些产权和服务

枸杞是补什么的

如何科学安全地脱毛？

app开发的两大技术路线，软件开发的技术路线怎么写

嘉石榴app如何注册？嘉石榴app注册教程解答！

在pp音乐软件里,如何将上传的微云网上的音乐再放回,最新网络歌曲排行榜前十名

当你的好朋友被一个“绿茶女”玩弄时,你会怎么办？

等效焦距|华为P50 Pro镜头硬件被扒出，全系豪威并无索尼，登顶DXO备受质疑

春季养生喝点啥？推荐五款养生汤

如何在手机上观看服务器上的电影？手机怎么服务器上的电影

结核|世卫组织：全球结核病进展面临挑战

民族文化的特色

币的部首是什么偏旁币的部首是什么偏旁部首是

【Python】列表嵌套和列表嵌套的数据查询

小孩出生祝福语四个字小孩出生祝福语