偏移量索引
【Kafka 索引文件】偏移量索引是一个从逻辑偏移量映射到物理文件位置的索引。
文章图片
每一个条数据占用 8B = 4B(relativeOffset) + 4B(position)
时间索引
时间索引是一个日志段的时间戳和偏移量的索引。
文章图片
每一个条数据占用 12B = 8B(timestamp) + 4B(relativeOffset)
两个索引文件的特点：
- 两个文件都是稀疏索引（Sparse indexes）
- 预分配文件大小，默认为10MB，这个空间大小，只有在日志滚动时才会变成真实大小。
- 时间索引和偏移量索引共享相同的索引大小配置，索引项文件的大小一般为偏移索引项大小的1.5倍。
推荐阅读
- 关于kafka数据丢失场景的一次激烈讨论....
- Kafka的生产集群部署
- 聊聊 Kafka（如何避免消费组的 Rebalance）
- 深入解析Kafka的offset管理
- SpringBoot|spring boot中使用kafka详解(踩完坑又爬了出来)
- java|Log4j2异步将log发送到kafka (kafka及其依赖环境的docker配置和使用)
- kafka的优缺点都有那些
- kafka|Kafka的数据是如何存储的
- Kafka|Kafka VS RocketMQ VS RabbitMQ