慎用 kafka-python 客户端!!!存在双端丢数据的风险
生产者丢数据
https://github.com/dpkp/kafka...
根据 smalyshev
的描述,当生产者循环不停的提交 message ,如果 kafka 宕机了,提交不会报错,还是会一直不停的提交,但是 kafka 已经宕机了不会接受消息呀,但是此事 kafka-python 却不会报错,还是一直提交,没提交上的就丢弃了。。。连个错误提示都不会有,站在程序员的角度来看,这个消息到底是提交成功还是提交失败的我们也不知道
消费者丢数据
这里说的消费者丢数据不是那种,而是因为 kafka-python 的 bug 导致的丢数据。
https://www.infoq.cn/article/...
【慎用 kafka-python 客户端!!!存在双端丢数据的风险】大概的意思就是说 kafka-python 的迭代机制有问题,会导致取回来的数据在还没有消费之前就没了
推荐阅读
- thinkphp3.2下实现阿里云视频点播实例(客户端JavaScript上传)
- HDFS读写数据流
- 客户端转小程序之入门二
- 006—Zookeeper—客户端使用-3
- DOM树问题
- 【番外篇】客户端开发(Electron)无源码如何做汉化
- 这个命令行HTTP客户端工具真不错
- 彩神手机客户端
- 深入解析|深入解析 Apache Pulsar 系列(一)(客户端消息确认)
- 北京|北京 | 跨国初创公司 | 招聘客户端、前端负责人 (年薪 > 700k)