Logstash Logstash - 锐客网

概述
Logstash是一个用ruby开发的开源工具，他可以对你的日志进行收集、分析，并将其存储供以后使用（如，搜索）。Logstash在其过程中担任搬运工的角色，它为数据存储，报表查询和日志解析创建了一个功能强大的管道链。Logstash提供了多种多样的input，filters，codecs和output组件，让使用者轻松实现强大的功能。
Logstash安装

tar -zxvf logstash-5.4.1.tar.gz mv logstash-5.4.1 /usr/local/logstash/ #测试 ./bin/logstash -e 'input{stdin{}}output{stdout{codec=>rubydebug}}' ./bin/logstash -f test.conf #配置文件启动

核心配置之input output

client 日志生产服务器client.conf

input { file { path => "/var/log/aliyun-util.log" start_position => beginning } } output { stdout { codec => rubydebug } }

2.Syslog系统日志之Syslog.conf

input { tcp { port => 5000 type => syslog } udp { port => 5000 type => syslog } } output { elasticsearch { host => localhost:9200 } stdout { codec => rubydebug } } 在`windows`打开`cmd` telnet localhost 5000 访问端口

核心配置之filters
filters是一个行处理机制将提供的为格式化的数据整理成你需要的数据，让我们看看下面的一个例子，叫grok filter的过滤器。

filter { grok { match => { "message" => "%{COMBINEDAPACHELOG}" } } date { match => [ "timestamp" , "dd/MMM/yyyy:HH:mm:ss Z" ] } }

filter { if [path] =~ "access" { mutate { replace => { type => "apache_access" } } grok { match => { "message" => "%{COMBINEDAPACHELOG}" } } date { match => [ "timestamp" , "dd/MMM/yyyy:HH:mm:ss Z" ] } } else if [path] =~ "error" { mutate { replace => { type => "apache_error" } } } else { mutate { replace => { type => "random_logs" } } } }

Beats代理
【Logstash】?Beats是elasticsearch公司开源的一款采集系统监控数据的代理agent。官方推荐用Beats来进行监控，然后推送给logstash，或者直接推送给elasticsearch

Filebeat用于监控、收集服务器日志文件，其已取代 logstash forwarder

tar -zxvf filebeat-5.4.1-linux-x86_64.tar.gz mv filebeat-5.4.1-linux-x86_64 /usr/local/filebeat/ vim filebeat.yml filebeat.prospectors: input_type: log C:/Java Work/My-SpringBoot-Learning/log_mongoDB/*.log output.elasticsearch: