RocketMq集群搭建

news/2025/2/19 4:09:24/
  • 各个角色介绍:

    • producer:消息的发送者;举例:发信者
    • consumer:消息的接受者;举例:收信者
    • broker:暂存和传输消息;举例:邮局
    • NameServer:管理Broker;举例:各个邮局的管理机构
    • Topic:区分消息的种类;一个发送者可以发送消息给一个或多个Topic;一个消息的接受者可以订阅一个或多个Topic的消息
    • Message Queue:相当于Topic的分区;用于并行发送和接收消息

集群特点:

  • NameServer是一个几乎无状态的节点,可集群部署,节点之间无任何信息同步
  • Broker部署相对复杂,Broker分为Master与Slave,一个Master可以对应多个Salve,但一个Slave只能对应一个Master,Master与Slave的对应关系通过指定相同的BrokerName,不同的Brokerld来定义,BrokerId为0表示Master,非0表示Slave。Master也可以部署多个。每个Broker与NameServer集群中所有节点建立长连接,定时注册Topic信息到所有的NameServer。
  • Producer与NameServer集群中的一个节点(随机选择)建立长连接,定期从NameServer取Topic路由信息,并向Topic服务的Master建立长连接,并定时向Master发送心跳,Producer完全无状态,可集群部署。
  • Consumer与NameServer集群中的一个节点(随机选择),建立长连接,定期从NameServer取Topic路由信息,并向提供Topic服务的Master、Slave建立长连接,且定时向Master、Slave发送心跳。Consumer既可以从Master订阅消息,也可以从Slave订阅消息,订阅规则由Broker配置决定。

集群模式

1)单Master模式

这种方式风险较大,一旦Broker重启或宕机时,会导致整个服务的不可用。

2)多Master模式

一个集群无Slave,全是Master,这种模式的优缺点如下:

  • 优点:配置简单,单个Master宕机或重启维护对应用无影响,在磁盘配置为RAID10时,即使机器宕机不可恢复情况下,由于RAID10磁盘非常可靠,消息也不会丢(异步刷盘丢失少量信息,同步刷盘一条不丢),性能最高;
  • 缺点:单台机器宕机期间,这机器上未被消费的消息在机器恢复之前不可订阅,消息实时会收到影响。

3)多Master多Slave模式(异步)

每个Master配置一个Slave,有多对Master-Slave,HA采用异步复制的方式,主备有短暂消息延迟(毫秒级),这种模式的优缺点如下:

  • 优点:即使磁盘损坏,消息丢失的非常少,且消息实时性不会受影响,同时Master宕机后,消费者仍然可以从Slave消费,而且此过程对应应用透明,不需要人工干预,性能同多Master模式几乎一样;
  • 缺点:Master宕机,磁盘损坏情况不会丢失少量信息。

4)多Master多Slave模式

每个Master配置一个Slave,有多对Master-Slave,HA采用同步双写方式,即只有主备都写成功,才向应用返回成功,这种模式的有缺点如下:

  • 优点:数据与服务都无单点故障,Master宕机的情况下,消息无延迟,服务可用性都非常高;
  • 缺点:性能比异步复制模式略低(大约10%左右),发现单个消息的RT会略高,且目前版本在节点宕机后,备机不能自动切换为主机。

开/关闭NameServe

#开启nameServe
nohup sh bin/mqnamesrv &
#关闭nameServe
sh bin/mqshutdown namesrv

开/关闭Broker

nohup sh bin/mqbroker -c 双主双从配置地址 &
sh bin/mqshutdown broker
Host添加信息

服务器信息:

192.168.25.135

192.168.25.138

vim /etc/hosts

配置如下:

#nameServer
192.168.25.135 rocket-nameserver1
192.168.25.138 rocket-nameserver2
#broker
192.168.25.135 rocket-master1
192.168.25.138 rocket-slave2
192.168.25.135 rocket-master2
192.168.25.138 rocket-slave1

配置完成后,重启网卡

systemctl restart network

环境变量配置

vim /etc/profile

在profile末尾加入如下命令

#set rocketmq
ROCKETMQ_HOME=/usr/local/rocketmq/rocketmq-all-5.1.0-bin-release
PATH=$PATH:$ROCKET_HOME/bin
export ROCKETMQ_HOME PATH

输入:wq!保存并退出,并使得配置立刻生效:

source /etc/profile

创建消息存储路径

mkdir /usr/local/rocketmq/store
mkdir /usr/local/rocketmq/store/commitlog
mkdir /usr/local/rocketmq/store/consumequeue
mkdir /usr/local/rocketmq/store/index
broker配置文件

在这里插入图片描述

1)master1

服务器:192.168.25.135

vi /usr/local/rocketmq/rocketmq-all-5.1.0-bin-release/conf/2m-2s-sync/broker-a.properties

修改配置如下:

#所属集群的名字
brokerClusterName=rocketmq-cluster
#broker名字,注意此处不同的配置文件填写的不一样
brokerName=broker-a
#0 表示Master>0,表示Slave
brokerId=0
#nameServer地址,分号分隔
namersrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
#在发送消息时,自动创建Topic,建议线下开启,线上关闭
autoCreateTopicEnable=true
#在发送消息时,自动创建订阅组,建议线下开启,线上关闭
autoCreateSubscriptionGroup=true
#Broker对外服务监听的端口
listenPort=10911
#删除文件时间点,默认凌晨4点
deleteWhen=04
#文件保留时间,默认48小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条,根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/usr/local/rocketmq/store
#commitLog 存储路径
storePathCommitLog=/usr/local/rocketmq/store/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/usr/local/rocketmq/store/consumequeue
#消息索引存储路径
storePathIndex=/usr/local/rocketmq/store/index
#checkpoint 文件存储路径
storeCheckpoint=/usr/local/rocketmq/store/checkpoint
#abort 文件存储路径
abortFile=/usr/local/rocketmq/store/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=SYNC_MASTER
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=SYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128

slave2

服务器:192.168.25.135

vi /usr/local/rocketmq/rocketmq-all-5.1.0-bin-release/conf/2m-2s-sync/broker-b-s.properties

修改配置:

#所属集群名字
brokerClusterName=rocketmq-cluster
#broker名字,注意此处不同的配置文件填写的不一样
brokerName=broker-b
#0 表示 Master,>0 表示 Slave
brokerId=1
#nameServer地址,分号分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
#在发送消息时,自动创建服务器不存在的topic,默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic,建议线下开启,线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组,建议线下开启,线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=11011
#删除文件时间点,默认凌晨 4点
deleteWhen=04
#文件保留时间,默认 48 小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条,根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/usr/local/rocketmq/slave-store
#commitLog 存储路径
storePathCommitLog=/usr/local/rocketmq/slave-store/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/usr/local/rocketmq/slave-store/consumequeue
#消息索引存储路径
storePathIndex=/usr/local/rocketmq/slave-store/index
#checkpoint 文件存储路径
storeCheckpoint=/usr/local/rocketmq/slave-store/checkpoint
#abort 文件存储路径
abortFile=/usr/local/rocketmq/slave-store/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=SLAVE
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128

master2和slave1的配置与上述配置相似只需关注一下Broker对外服务监端口

服务启动

启动NameServe集群

分别在192.168.25.135和192.168.25.138

启动NameServe集群:

在192.168.25.135启动master1和slave2

启动Broker集群

master1:

cd /usr/local/rocketmq/bin
#nohup sh mqbroker -c /usr/local/rocketmq/conf/2m-noslave/broker-a.properties &
nohup sh mqbroker -c /usr/local/rocketmq/rocketmq-all-5.1.0-bin-release/conf/2m-2s-sync/broker-a.properties &

slave2:

cd /usr/local/rocketmq/bin
nohup sh mqbroker -c /usr/local/rocketmq/rocketmq-all-5.1.0-bin-release/conf/2m-2s-sync/broker-b-s.properties &

在192.168.25.138上启动master2和slave1

master2:

cd /usr/local/rocketmq/bin
nohup sh mqbroker -c /usr/local/rocketmq/conf/2m-2s-sync/broker-b.properties &

slave1:

cd /usr/local/rocketmq/bin
nohup sh mqbroker -c /usr/local/rocketmq/conf/2m-2s-sync/broker-a-s.properties &

部署到阿里云腾讯云服务器的
后边在broker主从文件配置中要加入如下配置

brokerIP1=服务器公网访问地址

http://www.ppmy.cn/news/47752.html

相关文章

嵌入式Linux(9):字符设备驱动--自动创建设备节点

文章目录 前言1、怎么自动创建一个设备节点?2、什么是mdev3、什么是udev?4、怎么自动创建设备节点?5、创建和删除类函数--自动生成类代码 6、创建设备函数--自动生成节点代码 前言 在上一节中,使用insmod加载模块后,还需要通过m…

202306读书笔记|《与诗书在一起》——质而实绮,癯而实腴

《与诗书在一起》作者叶嘉莹,不错的一本书,大多只看了诗,部分读着比较有感觉的看了注释。 很喜欢的节选如下: 苏轼说陶渊明的诗“质而实绮,癯而实腴”,就是看起来它很简单质朴,内里实在是很美丽很丰富。 …

Spring注解开发

定义bean 我们先直接通过一张图来理解注解在Spring开发中如和定义bean: 那么我们既然加了注解,相当于定义了bean可是Spring的配置文件怎么知道他的存在,于是我们引入component-scan进行包扫描即为了让Spring框架能够扫描到写在类上的注解&…

C语言模拟银行排队叫号(链队)

一.队列 队列是一种具有先进先出(FIFO)特性的线性数据结构,它只允许在队列的两端进行插入和删除操作。队列的一端称为队尾(rear),另一端称为队头(front)。新元素总是插入在队列的队…

单例设计模式所有情况解析

单例设计模式解析 🥤概述:单例设计模式是一种创建型设计模式,旨在确保一个类只有一个实例,并提供一个全局访问点来访问该实例。 一、饿汉式实现 🎈介绍:饿汉式是一种单例设计模式的实现方式,…

【LeetCode: 673. 最长递增子序列的个数 | 动态规划】

🚀 算法题 🚀 🌲 算法刷题专栏 | 面试必备算法 | 面试高频算法 🍀 🌲 越难的东西,越要努力坚持,因为它具有很高的价值,算法就是这样✨ 🌲 作者简介:硕风和炜,…

《面试1v1》HashMap

没有人比中国人更懂 HashMap 我是 javapub,一名 Markdown 程序员从👨‍💻,八股文种子选手。 面试官:HashMap 是Java程序员用得最频繁的集合之一,可以给我简单介绍一下它的内部实现机制吗? 候选人: Hash…

华为OD机试真题(Java),数组合并(100%通过+复盘思路)

一、题目描述 现在有多组整数数组,需要将他们合并成一个新的数组。 合并规则从每个数组里按顺序取出固定长度的内容,合并到新的数组,取完的内容会删除掉。 如果改行不足固定长度,或者已经为空,则直接取出剩余部分的内…