博客

Background

• kafka-manager（目前已更名为CMAK）是目前最受欢迎的kafka集群管理工具，最早由雅虎开源，用户可以在Web界面执行一些简单的集群管理操作。
• 我们这里一切从头开始安装。
• 此次jdk版本选用【jdk1.8.0_301】；
  
  JDK8官网下载地址
  
  。
• 此次Kafka的版本选用【kafka_2.12-2.4.1】；
  
  kafka官网下载地址
  
  。
• Kafka-Manager的版本选用【kafka-manager-1.3.3.4】；
  
  kafka-manager官网下载地址
  
  。
• 这里给出安装包，安装包是修改过的，并给有启动脚本，可直接使用，也可以从官网下载，需自行修改编译；【
  
  jdk-kafka-manager安装包
  
  】【提取码：king】
• 
  下面所有命令可以直接复制在shell执行即可。
  

1、安装JDK8

这个根据Kafka和Kafka-Manager的版本确定，最新的CMAK 3.x版本是需要安装JDK11的，其实我试了cmak新版的，界面还不如老版的呢，眼（丑）前（的）一（一）亮（匹）哈，我感觉是，所以这里使用的是老版的。

• 解压到指定位置

tar zxf jdk1.8.0_301.tgz -C /opt/

• 配置环境变量

env='PATH=$PATH:$JAVA_HOME/bin'
cat << EOF >> /etc/profile

# jdk
export JAVA_HOME=/opt/jdk1.8.0_301
export $env
EOF
source /etc/profile

• 验证配置，打印出jdk版本算是配置没问题

# 查看jdk版本号
java -version
# 查看Java进程
jps

2、安装Kafka

先修改配置文件再使用脚本启动zookeeper和Kafka。

• 解压到指定位置

tar zxf kafka_2.12-2.4.1.tgz -C /opt/

• 添加Zookeeper启动脚本
  
  start-zookeeper.sh
  

#!/bin/bash

# Kafka安装目录
dir_home=/opt/kafka_2.12-2.4.1/
rm -rf $dir_home/start-zookeeper.log
nohup $dir_home/bin/zookeeper-server-start.sh $dir_home/config/zookeeper.properties >> $dir_home/start-zookeeper.log 2>&1 &

• 添加Kafka启动脚本
  
  start-kafka.sh
  

#!/bin/bash

# Kafka安装目录
dir_home=/opt/kafka_2.12-2.4.1/
rm -rf $dir_home/start-kafka.log
nohup $dir_home/bin/kafka-server-start.sh $dir_home/config/server.properties >> $dir_home/start-kafka.log 2>&1 &

• 修改Kafka的启动脚本

# 在29行后增加一行，配置jmx端口，这样我们就可以看到消息的写入速度
sed -i '29 a \    export JMX_PORT=\"9999\"' /opt/kafka_2.12-2.4.1/bin/kafka-server-start.sh

• 修改Kafka的配置文件

# IP替换为Kafka所在主机的IP
sed -i '31 a listeners=PLAINTEXT://192.168.110.110:9092' /opt/kafka_2.12-2.4.1/config/server.properties

• 使用脚本启动zookeeper和Kafka

cd /opt/kafka_2.12-2.4.1
# 启动Zookeeper
./bin/start-zookeeper.sh
# 查看日志是否正常
tail -f start-zookeeper.log
# 启动Kafka
./bin/start-kafka.sh
# 查看日志是否正常
tail -f start-kafka.log

• 正常情况可以看到这两个进程
  
  QuorumPeerMain
  
  和
  
  Kafka
  
  
  

3、安装Kafka-Manager

• 解压到指定位置

tar zxf kafka-manager-1.3.3.4.tgz -C /opt/

• 修改配置文件

# 把24行替换掉，即把IP替换为zookeeper所在主机的IP
sed -i '24c kafka-manager.zkhosts=\"192.168.110.110:2181\"' /opt/kafka-manager-1.3.3.4/conf/application.conf

• 添加启动脚本
  
  start-kafkaManager.sh
  

#!/bin/bash

# kafka-manager的安装目录
dir_home=/opt/kafka-manager-1.3.3.4
rm -rf $dir_home/{RUNNING_PID,start-kafkaManager.log}
# 指定了web访问端口为8888
nohup $dir_home/bin/kafka-manager -Dconfig.file=$dir_home/conf/application.conf -Dhttp.port=8888 >> $dir_home/start-kafkaManager.log 2>&1 &

• 使用脚本启动Kafka-Manager

cd /opt/kafka-manager-1.3.3.4
# 启动kafka-manager
./bin/start-kafkaManager.sh
# 查看日志是否正常
tail -f start-kafkaManager.log

• 启动正常可以看到进程
  
  ProdServerStart
  
  
  
• 然后就可以浏览器访问web界面：192.168.110.110:8888【IP是Kafka-Manager所在的主机IP】
  
  
• 如果需要配置用户名密码，请修改下面三行，到时浏览器访问就会需要先登录了

4、添加Kafka集群步骤

• add cluster
  
  

• 配置集群信息
  
  

• 其他默认即可，保存
  
  

• 查看添加的集群
  
  
  
  
  
  

• 最后贴上新版cmak的界面对比下哈
  
  

3、异常处理

• 异常1：
  
  kafka.common.InconsistentClusterIdException: The Cluster ID A-zJpnDISZiGYah5OoLSHQ doesn’t match stored clusterId
  
• 解决方法：1.从Kafka的配置文件
  
server.properties

  中获取配置的
  
log.dirs

  ；2.然后去该目录下把
  
meta.properties

  文件中的
  
cluster.id

  修改成异常信息中给的
  
Cluster ID