博客

RocketMq 集群搭建 部署 (2m-2s-async)(二)

  • Post author:
  • Post category:其他



原文链接:

https://blog.csdn.net/weixin_40533111/article/details/84451219

作者四月天五月雨^_^，转载请注明出处，谢谢



前言

本文基于最新版rocketmq 4.3.2搭建,2个节点,A节点部署A-m和B-s,B节点部署A-s和B-m

功能原理和集群可参考:

中文文档

和

roketmq学习 实战(三)

下篇:

顺序消息和事务消息



目录

1.准备环境

2.开始搭建



正文



1.准备环境

1.linux服务器2台(centos7)

2.maven(3.5以上)

3.jdk(本文使用的1.8(有人说使用系统自带的可能导致一些问题,未测试))

4.工具:使用的xshell+xftp


部署结构图如下:


在这里插入图片描述



2.开始搭建



1.下载安装包并上传

从apache官网下载rocketmq二进制包安装包并上传到节点1(192.168.229.5),地址:

http://rocketmq.apache.org/release_notes/release-notes-4.3.2/


在这里插入图片描述



2.解压

解压并更改文件的目录为rocketmq 

unzip rocketmq-all-4.3.2-bin-release.zip

在这里插入图片描述



3.修改配置文件



rocketmq默认给出了三种建议配置模式

  1. 2m-2s-async(主从异步),—-本文采用这种
  2. 2m-2s-sync(主从同步)
  3. 2m-noslave(仅master)

    在这里插入图片描述



修改2m-2s-async下的配置文件

修改哪个都行,只需要启动时指定配置文件即可,一般符合命名约束


注意:

  1. autoCreateTopicEnable=true,建议线下开启测试,线上关闭
  2. 同一个机器上启动多个broker时,需使用不同的broker配置文件来启动实例,

    eg节点1启动一个a-m和b-s,使用broker-a.properties和broker-b-s.properties

  3. listenPort默认为10911,当一个机器上启动多个broker示例时,需区分开端口

  4. broker启动时,默认内存设置比较大,改成适合机器的,细节可看步骤6

  5. 当一个节点启动多个broker实例时,存储路径如果显示的设置,则需要指定不同的storePath路径,(不设置的话,默认不同)


    在这里插入图片描述



3.1修改

broker-a.properties

主要内容为如下:

    #所属集群名字
    brokerClusterName=rocketmq-cluster
    #broker名字，名字可重复,为了管理,每个master起一个名字,他的slave同他,eg:Amaster叫broker-a,他的slave也叫broker-a
    brokerName=broker-a
    #0 表示 Master，>0 表示 Slave
    brokerId=0
    #nameServer地址，分号分割
    namesrvAddr=192.168.229.5:9876;192.168.229.6:9876
    #在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
    defaultTopicQueueNums=4
    #是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
    autoCreateTopicEnable=true
    #是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
    autoCreateSubscriptionGroup=true
    #Broker 对外服务的监听端口,
    listenPort=10911
    #删除文件时间点，默认凌晨 4点
    deleteWhen=04
    #文件保留时间，默认 48 小时
    fileReservedTime=120
    #commitLog每个文件的大小默认1G
    mapedFileSizeCommitLog=1073741824
    #ConsumeQueue每个文件默认存30W条，根据业务情况调整
    mapedFileSizeConsumeQueue=300000
    #destroyMapedFileIntervalForcibly=120000
    #redeleteHangedFileInterval=120000
    #检测物理文件磁盘空间
    diskMaxUsedSpaceRatio=88
    #存储路径
    storePathRootDir=/usr/local/rocketmq/store/broker-a
    #commitLog 存储路径
    storePathCommitLog=/usr/local/rocketmq/store/broker-a/commitlog
    #消费队列存储路径存储路径
    storePathConsumeQueue=/usr/local/rocketmq/store/broker-a/consumequeue
    #消息索引存储路径
    storePathIndex=/usr/local/rocketmq/store/broker-a/index
    #checkpoint 文件存储路径
    storeCheckpoint=/usr/local/rocketmq/store/checkpoint
    #abort 文件存储路径
    abortFile=/usr/local/rocketmq/store/abort
    #限制的消息大小
    maxMessageSize=65536
    #flushCommitLogLeastPages=4
    #flushConsumeQueueLeastPages=2
    #flushCommitLogThoroughInterval=10000
    #flushConsumeQueueThoroughInterval=60000
    #Broker 的角色
    #- ASYNC_MASTER 异步复制Master
    #- SYNC_MASTER 同步双写Master
    #- SLAVE
    brokerRole=ASYNC_MASTER
    #刷盘方式
    #- ASYNC_FLUSH 异步刷盘
    #- SYNC_FLUSH 同步刷盘
    flushDiskType=ASYNC_FLUSH
    #checkTransactionMessageEnable=false
    #发消息线程池数量
    #sendMessageThreadPoolNums=128
    #拉消息线程池数量
    #pullMessageThreadPoolNums=128



3.2修改

broker-b-s.properties

主要内容为如下:

    #所属集群名字
    brokerClusterName=rocketmq-cluster
    #broker名字，名字可重复,为了管理,每个master起一个名字,他的slave同他,eg:Amaster叫broker-a,他的slave也叫broker-a
    brokerName=broker-b
    #0 表示 Master，>0 表示 Slave
    brokerId=1
    #nameServer地址，分号分割
    namesrvAddr=192.168.229.5:9876;192.168.229.6:9876
    #在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
    defaultTopicQueueNums=4
    #是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
    autoCreateTopicEnable=true
    #是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
    autoCreateSubscriptionGroup=true
    #Broker 对外服务的监听端口,
    listenPort=10920
    #删除文件时间点，默认凌晨 4点
    deleteWhen=04
    #文件保留时间，默认 48 小时
    fileReservedTime=120
    #commitLog每个文件的大小默认1G
    mapedFileSizeCommitLog=1073741824
    #ConsumeQueue每个文件默认存30W条，根据业务情况调整
    mapedFileSizeConsumeQueue=300000
    #destroyMapedFileIntervalForcibly=120000
    #redeleteHangedFileInterval=120000
    #检测物理文件磁盘空间
    diskMaxUsedSpaceRatio=88
    #存储路径
    storePathRootDir=/usr/local/rocketmq/store/broker-b-s
    #commitLog 存储路径
    storePathCommitLog=/usr/local/rocketmq/store/broker-b-s/commitlog
    #消费队列存储路径存储路径
    storePathConsumeQueue=/usr/local/rocketmq/store/broker-b-s/consumequeue
    #消息索引存储路径
    storePathIndex=/usr/local/rocketmq/store/broker-b-s/index
    #checkpoint 文件存储路径
    storeCheckpoint=/usr/local/rocketmq/store/checkpoint
    #abort 文件存储路径
    abortFile=/usr/local/rocketmq/store/abort
    #限制的消息大小
    maxMessageSize=65536
    #flushCommitLogLeastPages=4
    #flushConsumeQueueLeastPages=2
    #flushCommitLogThoroughInterval=10000
    #flushConsumeQueueThoroughInterval=60000
    #Broker 的角色
    #- ASYNC_MASTER 异步复制Master
    #- SYNC_MASTER 同步双写Master
    #- SLAVE
    brokerRole=SLAVE
    #刷盘方式
    #- ASYNC_FLUSH 异步刷盘
    #- SYNC_FLUSH 同步刷盘
    flushDiskType=ASYNC_FLUSH
    #checkTransactionMessageEnable=false
    #发消息线程池数量
    #sendMessageThreadPoolNums=128
    #拉消息线程池数量
    #pullMessageThreadPoolNums=128



4.配置第二台机器(192.168.229.6)

  1. 本文使用的克隆虚拟机,可快速获取一个与原机器一样的机器,因为完全一样,需要更改下mac地址,如果使用静态ip,改下网关的配置即可,手动重新搭建一台当然也可以
  2. 配置同上步,更改ip和broker具体信息即可



5.启动nameServer

  1. 上述配置文件中指定了commitLog,队列,日志等的存储路径,创建该文件夹 
节点1执行:
 mkdir -p /usr/local/rocketmq/store/broker-a /usr/local/rocketmq/store/broker-a/nsumequeue /usr/local/rocketmq/store/broker-a/commitlog /usr/local/rocketmq/store/broker-a/index /usr/local/rocketmq/logs /usr/local/rocketmq/store/broker-b-s /usr/local/rocketmq/store/broker-b-s/nsumequeue /usr/local/rocketmq/store/broker-b-s/commitlog /usr/local/rocketmq/store/broker-b-s/index
 节点2执行:
 mkdir -p /usr/local/rocketmq/store/broker-a-s /usr/local/rocketmq/store/broker-a-s/nsumequeue /usr/local/rocketmq/store/broker-a-s/commitlog /usr/local/rocketmq/store/broker-a-s/index /usr/local/rocketmq/logs /usr/local/rocketmq/store/broker-b /usr/local/rocketmq/store/broker-b/nsumequeue /usr/local/rocketmq/store/broker-b/commitlog /usr/local/rocketmq/store/broker-b/index

2.启动节点1的nameServer(192.168.229.5) 

nohup sh /usr/local/rocketmq/bin/mqnamesrv >/usr/local/rocketmq/logs/mqnamesrv.log 2>&1 &

将日志文件输出到指定文件,再进行

日志查看

,

jps

等进行java进程查看,结果符合预期

在这里插入图片描述

3. 启动节点2的nameServer(192.168.229.5)

步骤如节点1,启动成功

在这里插入图片描述



6.启动broker

  1. 启动节点1的broker-a的master,对应的配置文件broker-a.properties

    启动多个实例时,指定对应的配置文件 
nohup sh /usr/local/rocketmq/bin/mqbroker -c /usr/local/rocketmq/conf/2m-2s-async/broker-a.properties > /usr/local/rocketmq/logs/broker-a.log 2>&1 &

在这里插入图片描述

默认配置的内存较大,因为部署的是虚拟机,改小些 

vi /usr/local/rocketmq/bin/runbroker.sh

在这里插入图片描述

再次启动broker-a

在这里插入图片描述

  1. 启动节点2的broker-a-s 
nohup sh /usr/local/rocketmq/bin/mqbroker -c /usr/local/rocketmq/conf/2m-2s-async/broker-a-s.properties > /usr/local/rocketmq/logs/broker-a-s.log 2>&1 &
  1. 启动节点2的broker-b 
nohup sh /usr/local/rocketmq/bin/mqbroker -c /usr/local/rocketmq/conf/2m-2s-async/broker-b.properties > /usr/local/rocketmq/logs/broker-b.log 2>&1 &

在这里插入图片描述

  1. 启动节点1的broker-b-s 
nohup sh /usr/local/rocketmq/bin/mqbroker -c /usr/local/rocketmq/conf/2m-2s-async/broker-b-s.properties > /usr/local/rocketmq/logs/broker-b-s.log 2>&1 &

在这里插入图片描述

  1. 查看集群的启动状况:四个节点,符合预期,至此,集群初版搭建完毕

    在这里插入图片描述



7.启动web管理界面

rocketmq提供多种管理方式,命令行和界面等,

apache提供一个开源的扩展项目:

https://github.com/apache/rocketmq-externals

里面包含一个子项目rocketmq-console,配置下,打个包就可以用了

在这里插入图片描述

  1. 这是一个springboot项目,默认名称服务(rocketmq.config.namesrvAddr)为空,需改为自己的

    在这里插入图片描述

    2.使用maven打包 
mvn clean package -Dmaven.test.skip=true

在这里插入图片描述

  1. 上传到服务器启动即可java -jar启动 
java -jar rocketmq-console-ng-1.0.0.jar >/usr/local/rocketmq/logs/mq-console.log 2>&1 &
  1. 页面验证

    在这里插入图片描述

    至此搭建完毕

春花秋月何时了？

往事知多少？

小楼昨夜又东风，故国不堪回首月明中。

雕栏玉砌应犹在，只是朱颜改。

问君能有几多愁？恰似一江春水向东流。


版权声明：本文为weixin_40533111原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。