得意犹堪夸世俗,诏黄新湿字如鸦。这篇文章主要讲述Kafka-2.4.1集群部署文档相关的知识,希望能为你提供帮助。
?Kafka-2.4.1集群部署文档?【Kafka-2.4.1集群部署文档】操作用户:hadoop
操作目录:/home/hadoop/apps
操作机器:hadoop1
集群机器:hadoop1,hadoop2,hadoop3
1.
?部署前提条件?
1)
关闭各节点防火墙,selinux
2)
各节点安装JDK
3)
搭建zookeeper集群环境,并启动
2.
?下载安装包?
wget https://archive.apache.org/dist/kafka/2.4.1/kafka_2.12-2.4.1.tgz
3. ?解压?
tar -zxvf kafka_2.12-2.4.1.tgz
(可选)配置系统环境变量
vim /etc/profile
export KAFKA_HOME=/home/hadoop/apps/kafka_2.12-2.4.1
export PATH=$PATH:$KAFKA_HOME/bin
配置系统环境变量后,刷新配置
source /etc/profile
4. ?修改配置文件?
cd kafka_2.12-2.4.1
vim config/server.properties
broker.id=0
listeners=PLAINTEXT://hadoop1:9092
log.dirs=/usr/local/kafka/logs
各个机器上都创建日志存放路径
mkdir -p /usr/local/kafka/logs
5. ?分发目录?
scp -r /home/hadoop/apps/kafka_2.12-2.4.1 hadoop2:/home/hadoop/apps
scp -r /home/hadoop/apps/kafka_2.12-2.4.1 hadoop3:/home/hadoop/apps
分发完成后
#修改hadoop2上的配置文件
vim config/server.properties
broker.id=1
listeners=PLAINTEXT://hadoop2:9092
#修改hadoop3上的配置文件
vim config/server.properties
broker.id=2
listeners=PLAINTEXT://hadoop3:9092
6. ?启动Kafka集群?
# 每个节点都执行
bin/kafka-server-start.sh -daemon config/server.properties
7. ?创建topic?
bin/kafka-topics.sh --create --zookeeper hadoop1:2181,hadoop2:2181,hadoop3:2181 --replication-factor 3 --partitions 3 --topic test
8. ?查看所有topic?
bin/kafka-topics.sh --list --zookeeper hadoop1:2181,hadoop2:2181,hadoop3:2181
9. ?生产数据?
bin/kafka-console-producer.sh --broker-list hadoop1:9092,hadoop2:9092,hadoop3:9092 --topic test
10. ?消费数据?
bin/kafka-console-consumer.sh--bootstrap-server hadoop1:9092,hadoop2:9092,hadoop3:9092 --topic test --from-beginning
推荐阅读
- Zabbix经验分享-缺包常见问题处理
- Azure Virtual Desktop 实战部署之测试客户端访问
- SQL审核平台 Archery 之简单使用篇
- 来看看字节跳动内部的数据血缘用例与设计
- DataOps是“数据的DevOps”吗()
- 使用Dynamic LINQ创建高级查询服务 #yyds干货盘点#
- 快速使用linux系统指令
- FAQ接入HMS Core应用内支付服务过程中一些常见问题总结
- #yyds干货盘点#高级IO模型之kqueue和epoll