Kafka教程（二）---------------Kafka架构初识 kafka

一. 消息队列 1. 存在价值

解耦

解耦消息产出组件与接收消息组件，如果两者强关联，那么一边有修改，另一边就需要跟着修改
解耦之后，消息产出组件与接收消息组件可以自己独立修改，并且还能横向扩展
消息队列

文章图片

数据备份

消息会持久化或者其他方式保存一段时间，两端出现任何问题不会导致数据丢失，两端服务在启动之后可以恢复数据

异步通信

之前的方式，接收方必须及时接收消息并进行存储。引入消息系统后消息消费方可以自己控制何时去处理消息数据

2. 常见消息队列应用在分布式系统中的消息队列叫做分布式消息队列，常见的分布式消息队列有：ActiveMQ,RabbitMQ,kafka

二. Kafka shell操作

首先可以通过一系列操作对kafka有个直观的认识，里面的有些概念可能不明白，后面将会详细讲解
注意：下面操作中zkhost、kafkahost请各位都替换为自己的ip或者hostname
1) 创建topic
这个topic叫做test，只有一个分区，一个副本。
bin/kafka-topics.sh --create --zookeeper zkhost:2181 --replication-factor 1 --partitions 1 --topic test
2) 查看所有topic
bin/kafka-topics.sh --list --zookeeper zkhost:2181
3) 向某个发送消息
bin/kafka-console-producer.sh --broker-list kafkahost:9092 --topic test
即可发送消息了

文章图片

4) 接收消息
bin/kafka-console-consumer.sh --zookeeper zkhost:2181 --topic test --from-beginning

文章图片

5) 查看topic详情
bin/kafka-topics.sh --describe --zookeeper zkhost:2181 --topic test

文章图片

6) 删除topic
./bin/kafka-topics--delete --zookeeperzkhost:2181--topic test
前提是server.properties中：delete.topic.enable=true
7) 查询topic的offset的范围
查询topic名字为test的offset的最小值：
bin/kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list kafkahost:9092 -topic test --time -2
输出
test:0:1288
查询offset的最大值：
bin/kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list kafkahost:9092 -topic test --time -1
输出
test:0:7885
从上面的输出可以看出topic:test只有一个partition:0 offset范围为:[1288,7885]

三. Kafka中的重要概念