这里装的版本是kafka2.13-2.60
致谢:https://www.cnblogs.com/tomingto/p/11287566.html
https://blog.csdn.net/futudeniaodan/article/details/86561755
阿里云服务器装kafka从零开始
一、Java环境
执行下面的yum指令安装,无线配置环境变量
1.1 安装jdk
1、首先更新一下yum源
yum -y update
这里比较久(但其实也没有很久
2、列出所有的jdk
yum list Java*
这里如果有java-1.8.0-openjdk就不用执行后面两个步骤啦
3、列出JDK1.8
yum list java-1.8*
4、安装jdk1.8(如果有,就不用安装
yum install java-1.8.0-openjdk* -y
1.2 验证jdk是否安装成功
出现下图则安装成功
二、kafka安装与使用
https://jingyan.baidu.com/article/03b2f78c31bdea5ea237ae88.html
2.1 下载kafka_2.13-2.60.tgz
点击链接下载:
kafka官网
直接点击这个二进制文件下载
2.2 安装
Kafka是使用scala编写的运行与jvm虚拟机上的程序,虽然也可以在windows上使用,但是kafka基本上是运行在linux服务器上,因此我们这里也使用linux来开始今天的实战。
首先确保你的机器上安装了jdk,kafka需要java运行环境,以前的kafka还需要zookeeper,新版的kafka已经内置了一个zookeeper环境,所以我们可以直接使用。
说是安装,如果只需要进行最简单的尝试的话我们只需要解压到任意目录即可,这里我们将kafka压缩包解压到/home目录
cd /home
然后,使用shell自带的文件传输工具把本地刚下载的文件放到该目录下(或者命令ftp )
……
接着我们解压:
tar -xzf kafka_2.13-2.6.0.tgz
解压完成,会多出一个目录:
我们进入该目录:
cd kafka_2.13-2.6.0
2.3 配置
在kafka解压目录下下有一个config的文件夹,里面放置的是我们的配置文件:
- consumer.properites 消费者配置,此处我们使用默认的即可
- producer.properties 生产者配置,此处我们使用默认的即可
- server.properties kafka服务器的配置,此配置文件用来配置kafka服务器,目前仅介绍几个最基础的配置:
- broker.id 申明当前kafka服务器在集群中的唯一ID,需配置为integer,并且集群中的每一个kafka服务器的id都应是唯一的,我们这里采用默认配置即可。
- listeners 申明此kafka服务器需要监听的端口号,如果是在本机上跑虚拟机运行可以不用配置本项,默认会使用localhost的地址,如果是在远程服务器上运行则必须配置,例如:listeners=PLAINTEXT:// 192.168.180.128:9092。并确保服务器的9092端口能够访问。
阿里云端口9092需要自己开启,(不确定是否需要2181端口,反正我顺便都开了)参考这个链接:
开启阿里云服务器端口
-
zookeeper.connect 申明kafka所连接的zookeeper的地址 ,需配置为zookeeper的地址,由于本次使用的是kafka高版本中自带zookeeper,使用默认配置即可。
zookeeper.connect=localhost:2181
2.4 运行
- 启动内置zookeeper:
bin/zookeeper-server-start.sh config/zookeeper.properties
成功后会看到这些……
- 打开另一个终端会话,并启动kafka:
bin/kafka-server-start.sh config/server.properties
成功启动所有服务后,您将运行并可以使用基本的Kafka环境。
三、创建第一个消息事件
3.1 创建topic主题
编写第一个事件之前,必须创建一个topic主题。
打开另一个终端会话并运行
bin/kafka-topics.sh --create --topic quickstart-events --bootstrap-server localhost:9092
Kafka的所有命令行工具都有其他选项:kafka-topics.sh不带任何参数的命令即可显示使用情况信息。例如,它还可以向您显示 详细信息,例如 新主题的分区数:
bin/kafka-topics.sh --describe --topic quickstart-events --bootstrap-server localhost:9092
3.2 生产者创建主题
bin/kafka-console-producer.sh --topic quickstart-events --bootstrap-server localhost:9092
>This is my first event
>This is my second event
按ctrl+c即可结束。
3.3 消费者订阅主题
bin/kafka-console-consumer.sh --topic quickstart-events --from-beginning --bootstrap-server localhost:9092
按ctrl+c即可结束。
此时生产者发布的消息,消费者就能看到。
ps:一些命令的选项: