kafka集群搭建 kafka集群搭建

1. 服务器基本信息

ip地址	安装服务
10.0.0.1	kafka_2.11-1.1.0
10.0.0.2	kafka_2.11-1.1.0
10.0.0.3	kafka_2.11-1.1.0

2. 环境信息系统版本：Centos 7
jdk版本：jdk-8u171
3. 安装jdk(省略) 4. 配置Zookeeper

vi kafka_2.11-1.1.0/config/zookeeper.properties

4.1 修改以下内容

maxClientCnxns=60 tickTime=2000 initLimit=10 syncLimit=5 dataDir=/data/zookeeper/data dataLogDir=/data/logs/zookeeper clientPort=2181 server.1=10.0.0.1:2888:3888 server.2=10.0.0.2:2888:3888 server.3=10.0.0.3:2888:3888

2888表示zookeeper程序监听端口，3888表示zookeeper选举通信端口。

4.2 创建数据和日志文件夹

mkdir -p /data/zookeeper/data mkdir -p /data/logs/zookeeper

4.3 生成myid文件
【kafka集群搭建】注意三台机器该配置文件应该不一致，该id表明每个节点唯一身份id
10.0.0.1

echo "1" >/data/zookeeper/data/myid ##生成ID，这里需要注意， myid对应的zookeeper.properties的server.ID，比如第二台zookeeper主机对应的myid应该是2

10.0.0.2

echo "2" >/data/zookeeper/data/myid

10.0.0.3

echo "3" >/data/zookeeper/data/myid

5. 启动Zookeeper

bin/zookeeper-server-start.sh -daemon config/zookeeper.properties

6. 配置Kafka

vi kafka_2.11-1.1.0/config/server.properties

6.1 修改如下配置

# 第一段写到 10.0.0.1上server.properties配置 broker.id=0 listeners=PLAINTEXT://10.0.0.1:9092 zookeeper.connect=10.0.0.1:2181,10.0.0.2:2181,10.0.0.3:2181 delete.topic.enable=true log.dir=/data/kafka-logs log.retention.hours=168 message.max.bytes=5242880 replica.fetch.max.bytes=5242880# 第二段写到 10.0.0.2上server.properties配置 broker.id=1 listeners=PLAINTEXT://10.0.0.2:9092 zookeeper.connect=10.0.0.1:2181,10.0.0.2:2181,10.0.0.3:2181 delete.topic.enable=true log.dir=/data/kafka-logs log.retention.hours=168 message.max.bytes=5242880 replica.fetch.max.bytes=5242880# 第三段写到 10.0.0.3上server.properties配置 broker.id=2 listeners=PLAINTEXT://10.0.0.3:9092 zookeeper.connect=10.0.0.1:2181,10.0.0.2:2181,10.0.0.3:2181 delete.topic.enable=true log.dir=/data/kafka-logs log.retention.hours=168 message.max.bytes=5242880 replica.fetch.max.bytes=5242880

6.2 创建数据和日志文件夹