Kafka-Eagle监控的安装和使用

  • Post author:
  • Post category:其他




服务器准备

VMware Workstation Pro 15.5

Centos6.5 64bit

Kafka版本选择:Kafka_2.11-0.11.0.0

Kafka-Eagle版本选择:Kafka Eagle 1.4.6

Kafka-Eagle下载地址:

http://download.kafka-eagle.org/



集群规划

node1 node2 node3
Kafka Kafka Kafka
Zookeeper Zookeeper Zookeeper
KafkaEagle



安装过程



1. 修改kafka启动命令
vim bin/kafka-server-start.sh
# 找到以下几行
if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then
 export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"
fi
# 将其修改为
if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then
export KAFKA_HEAP_OPTS="-server -Xms2G -Xmx2G -XX:PermSize=128m -XX:+UseG1GC -XX:MaxGCPauseMillis=200 -XX:ParallelGCThreads=8 -XX:ConcGCThreads=5 -XX:InitiatingHeapOccupancyPercent=70"
export JMX_PORT="9999"
#export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"
fi


注意:修改完成后需要向集群内其他机器分发此文件



2. 上传 kafka-eagle-xxx.tar.gz 到集群


3. 解压到本地
tar -zxvf kafka-eagle-bin-1.4.6.tar.gz
# 进入解压后的文件夹
cd kafka-eagle-bin-1.4.6
# 解压文件夹内的文件
tar -zxvf kafka-eagle-web-1.4.6-bin.tar.gz -C /opt/module
# 修改名称
mv /opt/module/kafka-eagle-web-1.4.6 eagle
# 赋予启动文件执行权限
chmod 777 eagle/bin/ke.sh


4. 修改配置文件 system-config.properties
vim eagle/config/system-config.properties
# 修改集群的信息
cluster1.zk.list=node1:2181,node1:2181,node1:2181
# kafka offset的存放地
cluster1.kafka.eagle.offset.storage=kafka
# 在页面上显示图表
kafka.eagle.metrics.charts=true
# 配置使用mysql
kafka.eagle.driver=com.mysql.jdbc.Driver
kafka.eagle.url=jdbc:mysql://node1:3306/ke?useUnicode=true&ch
aracterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull
kafka.eagle.username=root
kafka.eagle.password=123456


5. 添加环境变量
vim /etc/profile
# 加入如下内容
export KE_HOME=/opt/module/eagle
export PATH=$PATH:$KE_HOME/bin
# 完成后刷新配置文件
source /etc/profile


6. 启动zookeeper和kafka集群
zkServer.sh start
kafka-server-start.sh -daemon /opt/module/kafka/config/server.properties


7. 启动监控
eagle/bin/ke.sh start

在这里插入图片描述



8. 登录页面查看监控数据

在这里插入图片描述



版权声明:本文为u014532291原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。