Kafka 的安装和简单实例测试

核心概念
在安装前先介绍 Kafka 相关概念,以便更好地理解 Kafka.
①Broker
Kafka 集群包含一个或多个服务器，这种服务器被称为 broker
②Topic
每条发布到 Kafka 集群的消息都有一个类别，这个类别被称为 Topic。（物理上不同 Topic
的消息分开存储，逻辑上一个 Topic 的消息虽然保存于一个或多个 broker 上但用户只需指
定消息的 Topic 即可生产或消费数据而不必关心数据存于何处）
③Partition
Partition 是物理上的概念，每个 Topic 包含一个或多个 Partition.
④Producer
负责发布消息到 Kafka broker
⑤Consumer
消息消费者，向 Kafka broker 读取消息的客户端。
⑥Consumer Group
每个 Consumer 属于一个特定的 Consumer Group（可为每个 Consumer 指定 group name，若
不指定 group name 则属于默认的 group）

1、kafka 的安装包已放到群文件下，请自行下载，并保存到 ~/下载 路径下

2、打开终端，按顺序执行如下步骤：
cd ~/下载 （进入到对应安装包路径）
sudo tar -zxf kafka_2.11-0.10.1.0.tgz -C /usr/local （解压到/usr/local 下）
cd /usr/local （进入到安装路径下）
sudo mv kafka_2.11-0.10.1.0/ ./kafka （重命名为 kafka）
sudo chown -R hadoop ./kafka （授予相关权限）

3、接下来在 Ubuntu 系统环境下测试简单的实例。按顺序执行如下命令：

cd /usr/local/kafka
bin/zookeeper-server-start.sh config/zookeeper.properties （启动服务）

4、命令执行后不会返回 Shell 命令输入状态,zookeeper 就会按照默认的配置文件启动服务

请千万不要关闭当前终端，需要启动新的终端
输入如下命令：
cd /usr/local/kafka
bin/kafka-server-start.sh config/server.properties （启动服务）

5、kafka 服务端就启动了，请千万不要关闭当前终端
启动另外一个终端,输入如下命令:
cd /usr/local/kafka
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --
topic dblab （创建一个名为 dblab 的 topic）

6、topic 是发布消息发布的 category,以单节点的配置创建了一个叫 dblab 的 topic.可以用

list 列出所有创建的 topics,来查看刚才创建的主题是否存在。
bin/kafka-topics.sh --list --zookeeper localhost:2181

7、可以在结果中查看到 dblab 这个 topic 存在。接下来用 producer 生产点数据：

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic dblab
并尝试输入如下信息：
hello hadoop
hello xmu
hadoop world
8、然后再次开启新的终端或者直接按 CTRL+C 退出。然后使用 consumer 来接收数据,输
入如下命令：
cd /usr/local/kafka

bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic dblab --from-

beginning

便可以看到刚才产生的三条信息。说明 kafka 安装成功。