锐客网

  1. 首页 > 睿知 > >

es分析日志,如何查看es日志

经验分享睿知

一般来说 ， 在es存储目录分析Elasticsearch中生成的数据文件有三种，分别是状态、索引和translog 。es性能调优在elk的所有应用都启动后，发现日志出现延迟，从几分钟到半个多小时不等 ， 看kafka，发现堆了很多消息，就多加了几个logstash机花-1，日志迟迟没有解决，相反，logstash报告了大量错误，retryingFailedactionwithresponse code:429es_ rejected _ execution _ exception 。查阅资料后发现瓶颈是es，logstash写的速度太快，而es接受的速度太慢 ， 导致错误很多，在kibana: get _ nod中检查es的线程池使用情况 。

1、ElasticSearch性能优化实践(JVM调优 ES调优在过去的一年里，我们优化了公司的ELK 日志系统的性能，也优化了SkyWalking使用的ES存储的性能 。以下是一些总结 。本文主要讲的是在ELK架构中ES存储为日志时的性能优化方案 。随着越来越多的应用程序访问ELK，每天大约有230个新索引和3000万到5000万个新文档 。每天上午和下午是日志上传的高峰期 。当你在Kibana上查日志时，发现以下问题:(1) 日志会有540分钟的延迟；(2)多日志丢失 。

查看日志并找到许多write拒绝执行的情况 。从日志，我们可以看到ES的写线程池已经满了，执行任务的线程最大数量达到了16个，容量为200的队列已经容纳不下新的任务了 。再看线程池，我们也可以看到写线程池有很多写任务 ， 所以我们需要优化ES的write的性能 。

2、ES告警之ElastAlert入门教程(容器部署我们部署的版本是本文发表时的ElastAlert(V0.2.1)、ElastAlertserver(3.0.0beta.0)和elastalertkibanaplugin(1.1.0)的最新版本 。es和kibana的版本是7.2.0 。ES和kibana的部署不是本文的重点 ， 这里就不介绍了 。在进入正题之前，我们必须说ES 。Elasticsearch是一个分布式、可扩展和实时的搜索和数据引擎 。

我们现在大部分的容器服务日志都放在qbus里面了，然后你就可以用es进行消费，通过kibana 日志就可以很方便的查到 。但是负责es的同事和我们不支持日志报警，这是目前的短板 。XPack提供了一个告警组件Alert，但是这个功能需要付费 ， 而ElastAlert可以完美替代Alert提供的所有功能 。
【es分析日志,如何查看es日志】
3、ES之 分析器(Analyzer

    推荐阅读


    上一篇：java 动态分析工具,Java性能分析工具

    下一篇：中国电影市场3d的 stp优势分析