kafka的组件介绍大数据开发

kafka的组件介绍

Topic ：消息根据Topic进行归类
Producer：发送消息者
Consumer：消息接受者
broker：每个kafka实例(server)
Zookeeper：依赖集群保存meta信息。

1.Topics组件介绍
Topic：一类消息，每个topic将被分成多个partition(区)，在集群的配置文件中配置。
partition：在存储层面是逻辑append log文件，包含多个segment文件。
Segement：消息存储的真实文件，会不断生成新的。
offset：每条消息在文件中的位置（偏移量）。offset为一个long型数字，它是唯一标记一条消息。
2.Partition

在存储层面是逻辑append log文件，每个partition有多个segment组成。
任何发布到此partition的消息都会被直接追加到log文件的尾部。
每个partition在内存中对应一个index列表，记录每个segment中的第一条消息偏移。这样查找消息的时候，先在index列表中定位消息位置，再读取文件，速度块。
发布者发到某个topic的消息会被均匀的分布到多个part上，broker收到发布消息往对应part的最后一个segment上添加该消息。

文章图片

3.Partition分布

partitions分区到不同的server上，一个partition保存在一个server上，避免一个server上的文件过大，同时可以容纳更多的consumer消费,有效提升并发消费的能力。
这个server(如果保存的是partition的leader)负责partition的读写。可以配置备份。
每个partition都有一个server为”leader”，负责读写，其余的相对备份机为follower，follower同步leader数据，负责leader死了之后的接管。n个leader均衡的分散在每个server上。
partition的leader和follower之间监控通过zookeeper完成。

3.segment

每个segment中存储多条消息，消息id由其逻辑位置决定，即从消息id可直接定位到消息的存储位置，避免id到位置的额外映射。
当某个segment上的消息条数达到配置值或消息发布时间超过阈值时，segment上的消息会被flush到磁盘，只有flush到磁盘上的消息订阅者才能订阅到
segment达到一定的大小（可以通过配置文件设定,默认1G）后将不会再往该segment写数据，broker会创建新的segment。

文章图片

4.offset
offset是每条消息的偏移量。
segment日志文件中保存了一系列”log entries”(日志条目),每个log entry格式为”4个字节的数字N表示消息的长度” + “N个字节的消息内容”;
每个日志文件都有一个offset来唯一的标记一条消息,offset的值为8个字节的数字,表示此消息在此partition中所处的起始位置.
每个partition在物理存储层面,有多个log file组成(称为segment).
segment file的命名为”最小offset”.log.例如”00000000000.log”; 其中”最小offset”表示此segment中起始消息的offset.