锐客网

  1. 首页 > 生活百科 > >

kafka的日志分析

经验分享生活百科

kafka，是什么原理？Kafka是一个由Scala和Java编写的企业级新闻发布和订阅系统 。最早由Linkedin开发，最后开放给Apache Software Foundation 。

1、一探究竟,详解Kafka生产者和消费者的工作原理!对于每个题目，Kafka cluster都会维护一个分区日志，如下图:每个分区都是有序的(所以每个分区都是有序的)，有一个不变的记录序列，这些记录连续地附着在结构化投稿日志 。分区中的每条记录都被分配了一个称为offset的顺序ID号，它唯一地标识分区中的每条记录 。每个消费者保留的唯一元数据是消费者在日志中的偏移量或位置 。
【kafka的日志分析】
例如，用户可以重置为较旧的偏移量来重新处理过去的数据，或者跳到最新的记录并“现在”开始使用它 。(数据以类似光标指针的方式顺序处理，指针可以随意移动)分区的设计结构生产者分区策略是决定生产者将消息发送到哪个分区的算法，主要有以下几种:kafka采用消息键保序策略实现消息的排序 。

2、efk 日志集群架构了解0 。基础设施:描述:日志直接发送到es，直接从界面日志1查看 。使用架构图的集合日志直接写kafka，然后logstash会使用 。在早期的ELK架构中，Logstash用于收集和解析日志，但是Logstash消耗了大量的内存、cpu、io等资源 。

与Logstash相比，Beats占用的系统CPU和内存几乎可以忽略不计，所以作为一个轻量级的日志收集和处理代理，可以用来替代Logstash 。因为占用资源少，所以更适合在各种服务器上收集日志，传输到Logstash，这也是官方推荐的 。[Collection日志]log stash:数据收集和处理引擎 。支持从各种数据源动态采集数据，过滤，分析，丰富统一数据的格式，然后存储备用 。

3、小记一次Kafka集群响应慢问题追查某天业务来找我，反映发送数据到某个Kafka集群特别慢 。并且他们提供了自己的测试结果，结果显示向Kafka集群A发送数据的平均响应延迟小于10ms，而向Kafka集群B发送数据的平均响应延迟达到了2000ms。这种问题一般都很头疼 。首先，我们的Kafka集群是有监控和报警的，通过查看可用性，流量变化，Kafka 日志等等都没有发现什么异常 。其次，反应慢也可能与用户的使用和测试方式有关 。

    推荐阅读


    上一篇：分析内激发源选择开关置于

    下一篇：openssl 漏洞分析