Kafka-2.4.1集群部署文档

得意犹堪夸世俗,诏黄新湿字如鸦。这篇文章主要讲述Kafka-2.4.1集群部署文档相关的知识,希望能为你提供帮助。
?Kafka-2.4.1集群部署文档?【Kafka-2.4.1集群部署文档】操作用户:hadoop
操作目录:/home/hadoop/apps
操作机器:hadoop1
集群机器:hadoop1,hadoop2,hadoop3


1.  ?部署前提条件?
1)  关闭各节点防火墙,selinux
2)  各节点安装JDK
3)  搭建zookeeper集群环境,并启动


2.  ?下载安装包?

wget https://archive.apache.org/dist/kafka/2.4.1/kafka_2.12-2.4.1.tgz

3.  ?解压?
tar -zxvf kafka_2.12-2.4.1.tgz

(可选)配置系统环境变量
vim /etc/profile
export KAFKA_HOME=/home/hadoop/apps/kafka_2.12-2.4.1
export PATH=$PATH:$KAFKA_HOME/bin

配置系统环境变量后,刷新配置
source /etc/profile



4.  ?修改配置文件?
cd kafka_2.12-2.4.1
vim config/server.properties
broker.id=0
listeners=PLAINTEXT://hadoop1:9092
log.dirs=/usr/local/kafka/logs



各个机器上都创建日志存放路径
mkdir -p /usr/local/kafka/logs



5.  ?分发目录?
scp -r /home/hadoop/apps/kafka_2.12-2.4.1 hadoop2:/home/hadoop/apps
scp -r /home/hadoop/apps/kafka_2.12-2.4.1 hadoop3:/home/hadoop/apps

分发完成后
#修改hadoop2上的配置文件
vim config/server.properties
broker.id=1
listeners=PLAINTEXT://hadoop2:9092

#修改hadoop3上的配置文件
vim config/server.properties
broker.id=2
listeners=PLAINTEXT://hadoop3:9092



6.  ?启动Kafka集群?
# 每个节点都执行
bin/kafka-server-start.sh -daemon config/server.properties

7.  ?创建topic?
bin/kafka-topics.sh --create --zookeeper hadoop1:2181,hadoop2:2181,hadoop3:2181 --replication-factor 3 --partitions 3 --topic test



8.  ?查看所有topic?
bin/kafka-topics.sh --list --zookeeper hadoop1:2181,hadoop2:2181,hadoop3:2181

9.  ?生产数据?
bin/kafka-console-producer.sh --broker-list hadoop1:9092,hadoop2:9092,hadoop3:9092 --topic test



10.  ?消费数据?
bin/kafka-console-consumer.sh--bootstrap-server hadoop1:9092,hadoop2:9092,hadoop3:9092 --topic test --from-beginning














    推荐阅读