一、环境准备

• Centos7， 1 CPU ， 2G Memory ，20G Disk ， Virtual System
• Hosts ： node110, node111 , node112
• 全部配置JDK
• 配置 Zookeeper集群

1.1、Linux环境准备

1. 克隆node110 到node111, node112
2. 修改机器名和IP配置
   
   （有需要可以参考我这篇博客：
   
   Hadoop集群部署模式、配置固定IP
   
   ）

1.2、Zookeeper配置

1. 
   修改zoo.cfg 配置文件
   
   (在zookeeper安装的conf目录下)
   
   node110：（node111、node112一样都要改）
   
   

2. 
   修改myid 配置文件
   
   (进入我们建的/opt/apache-zookeeper-3.5.9-bin/zookeeper_data下)
   
   node110结点的值：
   
1

   
   node111结点的值：
   
2

   
   node112结点的值：
   
3


3. 
   启动
   
   
   (分别启动三个结点上的zookeeper)
   
   
   
   
   
   
   
   启动成功(三个结点上都有)
   
   
   
   然后我们执行
   
./zkServer.sh status

   ，发现最新启动为leader其他两个为flower
   
   (如果出现：Error contacting service. It is probably not running.可能就是你防火墙没关)
   
   
   
   
   
   

4. 
   验证是集群
   
   
   node111(
   
./zkCli.sh -server node110:2181

   ):
   
   
   
   node112(
   
./zkCli.sh -server node111:2181

   ):
   
   

1.3、Kafka配置

1. 
   修改server.properties 配置文件
   
   
   node110：
   
   
   
   
   
   node111：
   
   
   
   
   
   node112：
   
   
   
   

2. 
   清空data 目录
   
   
   (进入kafka安装目录下)

rm -rf kafka/*

(所有结点都要，这里就演示一个)

4. 
   启动
   
   
   分别启动这三个结点的kafka，然后我们可以通过zookeeper 的客户端查看：
   
   

二、Kafka常用操作

2.1、Kafka Topcis

创建Topic (2 partitions & 2 replication-factor)


(2个分区、2个复制因子)

bin/kafka-topic.sh --bootstrap-server node110:9092 --partitions integer --replication-factor integer --topic topic-name

(2 partitions & 3 replication-factor)



(3 partitions & 3 replication-factor)

2.2、Kafka Producer && Consumer

1、Producer生产Topic

./kafka-console-producer.sh --broker-list node100:9092,node101:9092,node102:9092 --topic test_02_02

2、Consumer读取Topic

./kafka-console-consumer.sh --bootstrap-server node100:9092 --topic test_02_02 --partition 0 --from-beginning
./kafka-console-consumer.sh --bootstrap-server node100:9092 --topic test_02_02 --partition 1 --from-beginning

./kafka-console-consumer.sh --bootstrap-server node100:9092 --topic test_02_02  --from-beginning