kafka重复消费的原因
使用了自动提交
【kafka重复消费的原因】如果自动提交的偏移量小于客户端处理的最后一个消息的偏移量，那么处于两个偏移量之间的消息就会被重复处理，
文章图片
假设我们采用了自动提交，且提交时间间隔为5s，在最近一次提交之后的3s发生了再均衡，再均衡之后，消费者从最后一次提交的偏移量位置开始读取消息。这个时候偏移量已经落后了3s，所以在这3s内到达的消息会被重复处理。可以通过修改提交时间间隔来更频繁地提交偏移量，减小可能出现重复悄息的时间窗，不过这种情况是无也完全避免的。
推荐阅读
- 深入浅出谈一下有关分布式消息技术（Kafka）
- 15.Kafka
- 第5关（消灭该死的重复（上））
- 三八节，就业季，谈谈女性消费与就业
- 今日操作（减仓光伏、新能源，建仓消费）
- iOS|iOS 本地推送开发记录二
- 消费、科技、医药涨幅这么大，还有什么板块可以选择（）
- 在消费降级的经济危机里升级生活质量
- python日志重复输出
- 这一场春雪