博客

一、环境配置

操作系统：Cent OS 7

Kafka版本：0.10.0.0

JDK版本：1.8.0_51

二、操作过程

1、下载Kafka并解压

解压：

tar zxvf kafka_2.11-0.10.0.0.tgz

2、Kafka目录介绍

/bin 操作kafka的可执行脚本，还包含windows下脚本

/config 配置文件所在目录

/libs 依赖库目录

/logs 日志数据目录，目录kafka把server端日志分为5种类型，分为:server,request,state，log-cleaner，controller

单机安装没什么意思而且没什么要求所以我们就直接安装分布式的kafka集群三节点的

进入kafka下的config目录修改server.properties文件

修改三个

broker.id=0     //注意这个id是身份命名，三节点的id不能一样

log.dirs=/usr/local/kafka/kafka-logs    //日志存放目录

zookeeper.connect=192.168.4.147,192.168.4.148,192.168.4.149    //多台zk主机名或者地址需要逗号隔开

//前期这个配置已经够用了，后面有需求，可以根据自己的业务逻辑进行修改

注意配置环境变量

确保你zk集群是启动的

启动kafka

nohup ./kafka-server-start.sh /usr/local/kafka/config/server.properties &

//需要注意语法 前面的nohup和后面的&符号尽量带式
//三体机器上都要执行

查看进程



如上图显示说明启动成功，三个节点都要试一试

创建第一个topic：

[root@Master kafka]# ./bin/kafka-topics.sh --create --zookeeper Master,Slave1,Slave2 --topic myTopic1 --partitions 3 --replication-factor 3
Created topic "myTopic1". 出现这个说明创建成功

上面语句：–zookeeper Master,Slave1,Slave2是指定zk位置

–topic myTopic1 指定topic的名称

–partitions 3 分区数是几

–replication-factor 3 副本因子数 类似于hdfs的副本数

查看topic的状态：

[root@Master kafka]# ./bin/kafka-topics.sh --describe --zookeeper  Master,Slave1,Slave2 myTopic1 
Topic:myTopic1	PartitionCount:3	ReplicationFactor:3	Configs:
	Topic: myTopic1	Partition: 0	Leader: 0	Replicas: 0,2,1	Isr: 0,2,1
	Topic: myTopic1	Partition: 1	Leader: 1	Replicas: 1,0,2	Isr: 1,0,2
	Topic: myTopic1	Partition: 2	Leader: 2	Replicas: 2,1,0	Isr: 2,1,0

表示这个主题的三个topic的状态和位置第一行表示分区数是0的leader在brokerid=0的上面 备份分别在021 可用的是021上面的

接下来创建一个生产者：

./kafka-console-producer.sh --topic topic01 --broker-list 192.168.40.147:9092,192.168.40.148:9092,192.168.40.149:9092

创建一个消费者：

./kafka-console-consumer.sh --topic topic01 --zookeeper 192.168.40.147:2181,192.168.40.148:2181,192.168.40.149:2181

创建结束