发新帖回复

javaee

普通会员

225648 帖子	346 回复	360 积分

[杂七杂八] 有多个broker的例子

楼主

发表于 2017-07-01 04:29:56 | 查看: 102 | 回复: 0

原文地址：http://blog.csdn.net/shangboerds/article/details/38944743

-- Start

1. 启动 ZooKeeper

首先还是启动 ZooKeeper。

[plain]view plain copy
 print?
set KAFKA_HOME=C:/dev/kafka_2.10-0.8.2.2  
cd %KAFKA_HOME%/bin/windows  
zookeeper-server-start.bat %KAFKA_HOME%/config/zookeeper.properties  

2. 启动 Kafka borker

首先把 config 目录下的 server.properties 复制两份，分别命名为 server-1.properties 和 server-2.properties，然后修改这两个文件的下列属性，确保 log 目录存在哦。

server-1.properties:

[plain]view plain copy
 print?
broker.id=1  
port=9093  
log.dirs=C:/dev/kafkaLogDir/broker1  

server-2.properties:

[plain]view plain copy
 print?
broker.id=2  
port=9094  
log.dirs=C:/dev/kafkaLogDir/broker2  

其中 broker.id 用来唯一标识每一个 broker，由于我们是在同一台机器上运行三个broker，所以我们也需要修改一下 port 和 log.dirs 属性。当然该文件还有好多其他属性我们可以进行设置，而且对每个属性都进行了说明，你可以仔细的看一下这个属性文件。

现在我们有三个 broker，分别在三个命令行中启动这三个 broker。

[plain]view plain copy
 print?
set KAFKA_HOME=C:/dev/kafka_2.10-0.8.2.2  
cd %KAFKA_HOME%/bin/windows  
kafka-server-start.bat %KAFKA_HOME%/config/server.properties  

[plain]view plain copy
 print?
set KAFKA_HOME=C:/dev/kafka_2.10-0.8.2.2  
cd %KAFKA_HOME%/bin/windows  
kafka-server-start.bat %KAFKA_HOME%/config/server-1.properties  

[plain]view plain copy
 print?
set KAFKA_HOME=C:/dev/kafka_2.10-0.8.2.2  
cd %KAFKA_HOME%/bin/windows  
kafka-server-start.bat %KAFKA_HOME%/config/server-2.properties  

3.创建 topic

新打开一个命令提示符，下面的命令创建了一个名为 topic1 的topic。

[plain]view plain copy
 print?
set KAFKA_HOME=C:/dev/kafka_2.10-0.8.2.2  
cd %KAFKA_HOME%/bin/windows  
kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 2 --partitions 3 --topic topic1  

你有没有想过类似 --create 的这些参数是什么意思呢？在哪里查询它们的意思呢？试一试下面的命令吧。

[plain]view plain copy
 print?
kafka-topics.bat  

也许你已经看了这些参数的意思，但是不一定能理解replication-factor 和 partitions 的真正含义。现在让我们来看看主题(topic)，分区(partition)和日志(log)的关系，你可以把 topic 理解为文件夹，partition 为 topic 下面的子文件夹，log 在 partition 下，而消息保存在 log 中。所以上面的命令中--partitions 3 的意思是在 topic1下创建3个分区。那--replication-factor 2 是什么意思呢？它的意思是将任意一个分区复制到2个broker 上，这样如果一个broker 挂了，我们仍然可以从另一个broker 上获取到消息，那如果有2个broker挂了呢？呵呵，那就真挂了。怎么样？还没理解？不要紧，看看下面的目录结构你就知道了。

等过了一段时间，你可能已经忘记了topic1 是如何定义的了，你想查看它的详情，试试下面的命令吧。

[plain]view plain copy
 print?
kafka-topics.bat --describe --zookeeper localhost:2181 --topic topic1  

上面的命令得到如下的输出：

[plain]view plain copy
 print?
Topic: topic1   PartitionCount:3        ReplicationFactor:2     Configs:  
Topic: topic1   Partition: 0    Leader: 0       Replicas: 0,2   Isr: 0,2  
Topic: topic1   Partition: 1    Leader: 1       Replicas: 1,0   Isr: 1,0  
Topic: topic1   Partition: 2    Leader: 2       Replicas: 2,1   Isr: 2,1  

第一行是对 topic 的概述。接下来的三行是对每个分区的描述。

每一个分区都有一个broker为leader，它负责该分区内的所有读写操作，其他broker 被动的复制leader broker。如果leader broker 挂了，那么其他broker中的一个将自动成为该分区的新leader。

Replicas: 0,1 表示该分区保存在 broker 0 和 broker 1下。

Isr: 0,1 表示当前我们可以在 broker 0 和 broker 1 下访问该分区，如果 broker 0挂了，那就像这样子了 Isr: 1

4.发送消息

下面的命令发送一条消息到 topic1。

[plain]view plain copy
 print?
set KAFKA_HOME=C:/dev/kafka_2.10-0.8.2.2  
cd %KAFKA_HOME%/bin/windows  
kafka-console-producer.bat --broker-list localhost:9092 --topic topic1  
This is a message  

5. 接收消息

下面的命令从 topic1 中接收消息。

[plain]view plain copy
 print?
set KAFKA_HOME=C:/dev/kafka_2.10-0.8.2.2  
cd %KAFKA_HOME%/bin/windows  
kafka-console-consumer.bat --zookeeper localhost:2181 --topic topic1 --from-beginning  

6. 关闭 broker 1

现在我们将启动broker 1的命令窗口关闭。然后使用下面的命令再次查看一下 topic1 的状态。

[plain]view plain copy
 print?
kafka-topics.bat --describe --zookeeper localhost:2181 --topic topic1  

[plain]view plain copy
 print?
Topic:topic1    PartitionCount:3        ReplicationFactor:2     Configs:  
Topic: topic1   Partition: 0    Leader: 0       Replicas: 0,2   Isr: 0,2  
Topic: topic1   Partition: 1    Leader: 0       Replicas: 1,0   Isr: 0  
Topic: topic1   Partition: 2    Leader: 2       Replicas: 2,1   Isr: 2  

你可以再试着发送一条消息，看看还能否接收到消息。

你也可以再关闭一个broker，然后试着发送一条消息，看看有什么结果。