安装部署
集群规划
集群部署
1.解压安装包
tar -zxvf kafka_2.12-3.0.0.tgz -C /opt/module/
2.修改解压后的文件名称
mv kafka_2.12-3.0.0/ kafka
3.进入解压后的文件名称
cd config/
vim server.properties
修改以下内容：
broker.id=0
log.dirs=/opt/module/kafka/datas
zookeeper.connect=hadoop102:2181,hadoop103:2181,hadoop104:2181/kafka
4.分发安装包
5.分别在hadoop103和hadoop104上修改配置文件/opt/module/kafka/config/server.properties中的broker.id=1、broker.id=2
6.配置环境变量
在/etc/profile.d/my_env.sh文件中添加kafka环境变量配置
sudo vim /etc/profile.d/my_env.sh
增加如下内容：
export KAFKA_HOME=/opt/module/kafka
export PATH=$PATH:$KAFKA_HOME/bin
刷新一下环境变量
source /etc/profile
分发环境变量文件到其他节点，并source
7.启动集群
先启动Zookeeper集群，然后启动Kafka
依次在hadoop102、hadoop103、hadoop104节点上启动Kafka
bin/kafka-server-start.sh -daem onconfig/server.properties
8.关闭集群
bin/kafka-server-stop.sh
主题命令行操作
1.查看操作出题命令参数
bin/kafka-topics.sh
2.查看当前服务器中的所有topic
bin/kafka-topics.sh –bootstrap-server hadoop102:9092 –list
3.创建first topic
bin/kafka-topics.sh –bootstrap-server hadoop102:9092 –create –partitions 1 –replication-factor 3 –topic first
4.查看first主题的详情
bin/kafka-topics.sh –bootstrap-server hadoop102:9092 –describe –topic first
5.修改分区数
bin/kafka-topics.sh –bootstrap-server hadoop102:9092 –alter –topic first –partitions 3
6.再次查看first主题的详情
bin/kafka-topics.sh –bootstrap-server hadoop102:9092 –describe –topic first
7.删除topic
bin/kafka-topics.sh –bootstrap-server hadoop102:9092 –delete –topic first