锐客网

  1. 首页 > 睿知 > >

kafka源码 分析,Kafka源码阅读

经验分享睿知

如何保证kafkaack-fail源码tracks Kafkaisadistributed的消息机制？为什么要用kafka？Kafaka简介(1Kafka是Apache软件基金会开发的开源流处理平台，由Scala和Java编写 。kafka什么样的场景适用？kafka什么样的场景适用 。

1、Flume之各种Channel的介绍及参数解析Channel被设计为一个事件中转临时缓冲区，用于存储由源收集的、未被接收器读取的事件 。为了平衡源收集数据和宿读取数据的速度，可以把它看作是一个Flume内部的消息队列 。通道线程是安全的和事务性的，并且支持诸如源写入失败和接收器读取失败之类的操作 。常用的通道类型有MemoryChannel、KafkaChannel等 。

MemoryChannel读写速度快，但存储的数据量小，如果Flume进程挂起、服务器停止或重启，数据就会丢失 。它可用于使用FlumeAgent部署的在线服务器具有足够的内存资源并且不关心数据丢失的情况 。将事件写入磁盘文件比MemoryChannel具有更大的存储容量，并且没有数据丢失的风险 。数据存储路径可以配置多条磁盘文件路径，通过并行磁盘写入提高性能 。

2、小记一次Kafka集群响应慢问题追查某天业务来找我，反映发送数据到某个Kafka集群特别慢 。并且他们提供了自己的测试结果，结果显示向Kafka集群A发送数据的平均响应延迟小于10ms ， 而向Kafka集群B发送数据的平均响应延迟达到了2000ms。这种问题一般都很头疼 。首先，我们的Kafka集群有监控和报警 ， 通过检查可用性、流量变化、Kafka日志等 ， 没有发现任何异常 。其次，反应慢也可能与用户的使用和测试方式有关 。

3、 kafkamarkingthecoordinator(idracknullflinkkafkaSet automatic offset submissionkafkaClient 0 . 11 . 0 . 2kafkaBroker 1 . 1 . 1保持定期报告以下错误(IDRACKNULL) 。Deadforgroup发现问题的原因是客户端连接源码org . Apache .kafka. clients . consumer . internal . abstract coordinator通过源码以上错误信息是在阅读源码时发现的brockercoordinator超时导致的 。只能找到客户端0.11.0.2的版本 。默认情况下，您可以选择升级客户端版本或调整会话超时持续时间、调整心跳超时持续时间 ， 并将连接重试持续时间调整为3s 。
【kafka源码 分析,Kafka源码阅读】

    推荐阅读


    上一篇：易语言网页穿透分析工具

    下一篇：主成分分析 excel