filebeat-->kafka-->logstash-->es的快速搭建
1. 简介
这里主要是为了在生产环境中能够快速搭建对应的
filebeat-->kafka-->logstash-->elastic-search
部署
包括
1.安装的组件版本(现在方式等)
2.对应的目录规范
3.具体的配置方式和配置注意事项
4.启动，关闭脚本
5.自检方式
2. 安装顺序
1.安装es 6.0.0
2.安装kibana 6.0.0
3.安装x-pack
保证以上调试成功后开始下面的安装
4.安装kafka( 1.1.0 版本，对应的是 kafka_2.11-1.1.0.tgz)
5.安装logstash 6.0.0
6.安装filebeat 6.2.4
3. 目录规范
1.安装目录为 ${home}/software/${组件/服务 名}
2.所有服务运行时数据和日志目录按照/data/${服务名}
3.所有脚本类文件按照 /data/${服务名}/shell 存放
4. 具体安装
4.1 es安装
cd search
wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.0.0.tar.gz
tar -xzvf elasticsearch-6.0.0.tar.gzcd elasticsearch-6.0.0
./bin/elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v6.0.0/elasticsearch-analysis-ik-6.0.0.zip
vim config/elasticsearch.yml:这一步是进行配置文件的配置，关于配置注意事项，需要参考es配置相关
注意多台服务器都要进行安装
bin/elasticsearch -d
浏览器监测是否成功启动
4.2 kibana安装
wget https://artifacts.elastic.co/downloads/kibana/kibana-6.0.0-linux-x86_64.tar.gz
tar -xzvf kibana-6.0.0-linux-x86_64.tar.gz
cd kibana-6.0.0-linux-x86_64
vim config/kibana.yml:主要是进行kibana的一个设置工作
简单配置
server.port: 15601
server.host: "10.9.18.29"
elasticsearch.url: "http://10.9.18.29:10200"
## 在es中将security关闭后，下面这两项是可以注释掉的，也就是访问es不需要带用户和密码了
#这个是安装xpack后的security配置elasticsearch.username: "kibana"
#这个是安装了xpack后security需要的配置elasticsearch.password: "&&@%uiCigS#+5T@v!8G!"
启动
nohup bin/kibana &
验证线程使用
netstat -tupln|grep 15601的方式，因为kibana是用node写的，用ps -ef|grep kibana 是无法过滤到结果的浏览器直接访问 http:10.9.18.29:15601 进行测试
4.3 x-pack安装 4.3.1 es中安装x-pack
关闭es中的security 的验证
xpack.security.enabled: false
kill es
cd elasticsearch-6.0.0
bin/elasticsearch-plugin install x-pack
bin/elasticsearch -d#重启4.3.2 kibana中安装x-pack
cd kibana-6.0.0-linux-x86_64
bin/kibana-plugin install x-pack
netstat -tupln|grep 15601
kill ${pid}nohup bin/kibana &
4.4 安装kafka 4.4.1 zookeeper依赖安装
线上zookeeper由运维统一管理，需要向运维王帅进行申请
4.4.2 安装kafka
cd search
wget http://mirrors.shu.edu.cn/apache/kafka/1.1.0/kafka_2.11-1.1.0.tgz
tar -xzvf kafka_2.11-1.1.0.tgz
vim config/server.properties 进行配置文件的配置
nohup bin/kafka-server-start.sh config/server-0.properties &
【filebeat-->kafka-->logstash-->es的快速搭建】查看当前的group命令有
bin/kafka-consumer-groups.sh --bootstrap-server 127.0.0.1:19092 --list
bin/kafka-consumer-groups.sh --new-consumer --bootstrap-server 127.0.0.1:19092 --group ${group_name} --describe
4.5 安装logstash
wget https://artifacts.elastic.co/downloads/logstash/logstash-6.0.0.tar.gz
tar -xzvf logstash-6.0.0.tar.gz
vim conf/logstash.conf 进行logstash的配置,具体请参考logstash的配置
nohup bin/logstash -f conf/logstash.conf &
4.6 安装filebeat
wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-6.2.4-linux-x86_64.tar.gz
tar -xzvf filebeat-6.2.4-linux-x86_64.tar.gz
cd filebeat-6.2.4-linux-x86_64
vim filbeat.yml #参考 filebeat的配置相关部分
nohup ./filebeat >/dev/null 2>&1 &
