RabbitMQ集群
RabbitMQ集群
普通集群准备环境
1、三台机器都关闭防火墙和selinux
systemctl stop firewalld
systemctl disable firewalld
setenforce 0
2、修改hosts配置文件(都做)
vim /etc/hosts
#添加如下字段
192.168.60.131 rabbitmq-1
192.168.60.132 rabbitmq-2
192.168.60.133 rabbitmq-3
3、安装基础依赖(都做)
yum install -y vim wget net-tools
yum install -y *epel* gcc-c++ unixODBC unixODBC-devel openssl-devel ncurses-devel
4、yum安装erlang(都做)
erlang版本选择
注：可以去官网找想要的包，也可以用下面的脚本，但是erlang和rabbitmq版本要兼容
curl -s https://packagecloud.io/install/repositories/rabbitmq/erlang/script.rpm.sh | sudo bash
看到如下字段
The repository is setup! You can now install packages.
然后yum安装erlang
yum install -y erlang-21.3.8.21-1.el7.x86_64
测试
erl
#如果出现如下则成功
Erlang/OTP 21 [erts-10.3.5.16] [source] [64-bit] [smp:1:1] [ds:1:1:10] [async-threads:1] [hipe]
Eshell V10.3.5.16 (abort with ^G)
1>
#-----------------------------------
5、安装rabbitmq(都做)
rabbitmq 和erlang兼容版本
下载下来后传入三台机器
然后
[root@rabbitmq-1 ~]# ll -h //查看包的完整性(三台都查看)
total 9.3M
-rw-r--r-- 1 root root 9.3M Dec 8 15:11 rabbitmq-server-3.7.10-1.el7.noarch.rpm
确认无误后
yum install -y rabbitmq-server-3.7.10-1.el7.noarch.rpm
6、启动rabbitmq(都做)
systemctl daemon-reload
systemctl start rabbitmq-server
systemctl enable rabbitmq-server
开启rabbitmq的web访问界面
rabbitmq-plugins enable rabbitmq_management
#-----
Enabling plugins on node rabbit@rabbitmq-2:
rabbitmq_management
The following plugins have been configured:
rabbitmq_management
rabbitmq_management_agent
rabbitmq_web_dispatch
Applying plugin configuration to rabbit@rabbitmq-2...
The following plugins have been enabled:
rabbitmq_management
rabbitmq_management_agent
rabbitmq_web_dispatch
started 3 plugins.
#-----
7、创建用户(一台机器)
这里用rabbitmq-1
1)添加用户和密码
[root@rabbitmq-1 ~]# rabbitmqctl add_user muou muou
Adding user "muou" ...
2)设为管理员
[root@rabbitmq-1 ~]# rabbitmqctl set_user_tags muou administrator
Setting tags for user "muou" to [administrator] ...
3)查看用户
[root@rabbitmq-1 ~]# rabbitmqctl list_users
Listing users ...
user tags
muou [administrator]
guest [administrator]
可以发现用户已经成功添加并设置管理员成功了
4)给予权限
[root@rabbitmq-1 ~]# rabbitmqctl set_permissions -p "/" muou ".*" ".*" ".*"
Setting permissions for user "muou" in vhost "/" ...
此处设置权限时注意'.'之间需要有空格 三个'.'分别代表了conf权限，read权限与write权限 例如：当没有给
muou设置这三个权限前是没有权限查询队列，在ui界面也看不见
8、开启用户远程登录(都做)
cd /etc/rabbitmq/
复制
cp /usr/share/doc/rabbitmq-server-3.7.10/rabbitmq.config.example /etc/rabbitmq/rabbitmq.config
查看
[root@rabbitmq-1 rabbitmq]# ls
enabled_plugins rabbitmq.config
编辑
vim rabbitmq.config
可以用:61快速定位
将
%% {loopback_users, []},
修改为
{loopback_users, []}
保存退出
三台都重启服务
systemctl restart rabbitmq-server
查看端口
[root@rabbitmq-1 rabbitmq]# netstat -lntp
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address Foreign Address State PID/Program name
tcp 0 0 0.0.0.0:25672 0.0.0.0:* LISTEN 6202/beam.smp
tcp 0 0 0.0.0.0:4369 0.0.0.0:* LISTEN 6398/epmd
tcp 0 0 0.0.0.0:22 0.0.0.0:* LISTEN 935/sshd
tcp 0 0 0.0.0.0:15672 0.0.0.0:* LISTEN 6202/beam.smp
tcp 0 0 127.0.0.1:25 0.0.0.0:* LISTEN 1148/master
tcp6 0 0 :::5672 :::* LISTEN 6202/beam.smp
tcp6 0 0 :::4369 :::* LISTEN 6398/epmd
tcp6 0 0 :::22 :::* LISTEN 935/sshd
tcp6 0 0 ::1:25 :::* LISTEN 1148/master
4369 -- erlang端口
5672 --程序连接端口
15672 -- 管理界面ui端口
25672 -- server间内部通信口
打开浏览器访问192.168.60.131:15672
这里需要注意:
rabbitmq默认管理员用户:guest 密码:guest
新添加的用户为:muou 密码:muou
开始部署集群(都做)
1、创建数据存放目录和日志存放目录(都做)
1)创建数据存放目录(都做)
mkdir -p /data/rabbitmq/data
2)创建日志存放目录(都做)
mkdir -p /data/rabbitmq/logs
3)给予权限，并设置用户和组(都做)
chmod 777 -R /data/rabbitmq
chown rabbitmq.rabbitmq /data/ -R
4)创建配置文件(都做)
vim /etc/rabbitmq/rabbitmq-env.conf
写入
RABBITMQ_MNESIA_BASE=/data/rabbitmq/data
RABBITMQ_LOG_BASE=/data/rabbitmq/logs
5)重启服务(都做)
systemctl restart rabbitmq-server
2、拷贝erlang.cookie
Rabbitmq的集群是依附于erlang的集群来⼯作的,所以必须先构建起erlang的集群景象。Erlang的集群中
各节点是经由⼀个cookie来实现的,这个cookie存放在
/var/lib/rabbitmq/.erlang.cookie中，⽂件是400的权限。所以必须保证各节点cookie⼀致,不然节点之间就⽆法通信.
如果执行# rabbitmqctl stop_app 这条命令报错:需要执行
#如果执行# rabbitmqctl stop_app 这条命令报错:需要执行
#chmod 400 .erlang.cookie
#chown rabbitmq.rabbitmq .erlang.cookie
1)查看cookie(mq-1做)
[root@rabbitmq-1 rabbitmq]# cat /var/lib/rabbitmq/.erlang.cookie
TJLIUSWRDGDOPCTDHVPM
(官方在介绍集群的文档中提到过.erlang.cookie 一般会存在这两个地址：第一个是home/.erlang.cookie；第二个地方就是/var/lib/rabbitmq/.erlang.cookie。如果我们使用解压缩方式安装部署的rabbitmq，那么这个文件会在{home}目录下，也就是$home/.erlang.cookie。如果我们使用rpm等安装包方式进行安装的，那么这个文件会在/var/lib/rabbitmq目录下。)
2)用scp的方式将rabbitmq-1节点的.erlang.cookie的值复制到其他两个节点中(mq-1做)。
复制到rabbitmq-2中
scp /var/lib/rabbitmq/.erlang.cookie root@192.168.60.132:/var/lib/rabbitmq/
复制到rabbitmq-3中
scp /var/lib/rabbitmq/.erlang.cookie root@192.168.60.133:/var/lib/rabbitmq/
3、将mq-2、mq-3作为内存节点加入mq-1节点集群中
1)停止节点(mq-2 my-3做)
切记不是停止服务
rabbitmqctl stop_app
- 如果执行# rabbitmqctl stop_app 这条命令报错:需要执行
#如果执行# rabbitmqctl stop_app 这条命令报错:需要执行
#chmod 400 .erlang.cookie
#chown rabbitmq.rabbitmq .erlang.cookie
- 如果出现如下类似报错
Stopping rabbit application on node rabbit@rabbitmq-3 ...
Error: unable to perform an operation on node 'rabbit@rabbitmq-3'. Please see diagnostics information and suggestions below.
Most common reasons for this are:
* Target node is unreachable (e.g. due to hostname resolution, TCP connection or firewall issues)
* CLI tool fails to authenticate with the server (e.g. due to CLI tool's Erlang cookie not matching that of the server)
* Target node is not running
In addition to the diagnostics info below:
* See the CLI, clustering and networking guides on http://rabbitmq.com/documentation.html to learn more
* Consult server logs on node rabbit@rabbitmq-3
DIAGNOSTICS
===========
attempted to contact: ['rabbit@rabbitmq-3']
rabbit@rabbitmq-3:
* connected to epmd (port 4369) on rabbitmq-3
* epmd reports node 'rabbit' uses port 25672 for inter-node and CLI tool traffic
* TCP connection succeeded but Erlang distribution failed
* Authentication failed (rejected by the remote node), please check the Erlang cookie
Current node details:
* node name: 'rabbitmqcli-4991-rabbit@rabbitmq-3'
* effective user's home directory: /var/lib/rabbitmq
* Erlang cookie hash: ZDoya7TQ+ZZ0OxNI4+fH+Q==
查看进程
[root@rabbitmq-3 rabbitmq]# ps -ef |grep rabbitmq
rabbitmq 4268 1 0 Dec08 ? 00:00:02 /usr/lib64/erlang/erts-10.3.5.16/bin/beam.smp -W w -A 64 -MBas ageffcbf -MHas ageffcbf -MBlmbcs 512 -MHlmbcs 512 -MMmcs 30 -P 1048576 -t 5000000 -stbt db -zdbbl 128000 -K true -- -root /usr/lib64/erlang -progname erl -- -home /var/lib/rabbitmq -- -pa /usr/lib/rabbitmq/lib/rabbitmq_server-3.7.10/ebin -noshell -noinput -s rabbit boot -sname rabbit@rabbitmq-3 -boot start_sasl -config /etc/rabbitmq/rabbitmq -kernel inet_default_connect_options [{nodelay,true}] -sasl errlog_type error -sasl sasl_error_logger false -rabbit lager_log_root "/data/rabbitmq/logs" -rabbit lager_default_file "/data/rabbitmq/logs/rabbit@rabbitmq-3.log" -rabbit lager_upgrade_file "/data/rabbitmq/logs/rabbit@rabbitmq-3_upgrade.log" -rabbit enabled_plugins_file "/etc/rabbitmq/enabled_plugins" -rabbit plugins_dir "/usr/lib/rabbitmq/plugins:/usr/lib/rabbitmq/lib/rabbitmq_server-3.7.10/plugins" -rabbit plugins_expand_dir "/data/rabbitmq/data/rabbit@rabbitmq-3-plugins-expand" -os_mon start_cpu_sup false -os_mon start_disksup false -os_mon start_memsup false -mnesia dir "/data/rabbitmq/data/rabbit@rabbitmq-3" -kernel inet_dist_listen_min 25672 -kernel inet_dist_listen_max 25672
rabbitmq 4436 1 0 Dec08 ? 00:00:00 /usr/lib64/erlang/erts-10.3.5.16/bin/epmd -daemon
rabbitmq 4578 4268 0 Dec08 ? 00:00:00 erl_child_setup 32768
rabbitmq 4601 4578 0 Dec08 ? 00:00:00 inet_gethost 4
rabbitmq 4602 4601 0 Dec08 ? 00:00:00 inet_gethost 4
root 5103 1432 0 00:14 pts/0 00:00:00 grep --color=auto rabbitmq
找到进程号并杀死
我这里是4268，每个人不一样
kill -9 4268
重启服务
systemctl start rabbitmq-server
再停止节点
[root@rabbitmq-3 rabbitmq]# rabbitmqctl stop_app
Stopping rabbit application on node rabbit@rabbitmq-3 ...
2) 注：如果有数据需要重置，没有则不用
rabbitmqctl reset
3)添加磁盘节点(mq-2 mq-3做)
[root@rabbitmq-2 rabbitmq]# rabbitmqctl join_cluster --ram rabbit@rabbitmq-1
Clustering node rabbit@rabbitmq-2 with rabbit@rabbitmq-1
如果遇到问题可以重启一下mq-1
systemctl restart rabbitmq-server
4)启动节点(mq-2 mq-3做)
[root@rabbitmq-2 rabbitmq]# rabbitmqctl start_app
Starting node rabbit@rabbitmq-2 ...
completed with 3 plugins.
注：
（1）默认rabbitmq启动后是磁盘节点，在这个cluster命令下，mq-2和mq-3是内存节点，
mq-1是磁盘节点。
（2）如果要使mq-2、mq-3都是磁盘节点，去掉--ram参数即可。
（3）如果想要更改节点类型，可以使⽤命令rabbitmqctl change_cluster_node_type
disc(ram),前提是必须停掉rabbit应⽤
注:
#如果有需要使用磁盘节点加入集群
[root@rabbitmq-2 ~]# rabbitmqctl join_cluster rabbit@rabbitmq-1
[root@rabbitmq-3 ~]# rabbitmqctl join_cluster rabbit@rabbitmq-1
4、查看集群状态
在 RabbitMQ 集群任意节点上执行 rabbitmqctl cluster_status来查看是否集群配置成功。
1)在mq-1磁盘节点上面查看
[root@rabbitmq-1 ~]# rabbitmqctl cluster_status
每台机器出现内容中有如下情况则成功
{running_nodes,['rabbit@rabbitmq-3','rabbit@rabbitmq-2','rabbit@rabbitmq-1']},
5、登录rabbitmq web管理控制台，创建新的队列
打开浏览器输⼊http://192.168.50.131:15672, 输⼊默认的Username：guest，输⼊默认的
Password:guest
登录后出现如图所示的界⾯。
根据界⾯提示创建⼀条队列
RabbitMQ镜像集群配置
上面已经完成RabbitMQ默认集群模式，但并不保证队列的高可用性，队列内容不会复制。如果队列节点宕机直接导致该队列无法应用，只能等待重启，所以要想在队列节点宕机或故障也能正常应用，就要复制队列内容到集群里的每个节点，必须要创建镜像队列。
镜像队列是基于普通的集群模式的。
创建镜像集群
rabbitmq set_policy ：设置策略
[root@rabbitmq-1 rabbitmq]# rabbitmqctl set_policy ha-all "^" '{"ha-mode":"all"}'
Setting policy "ha-all" for pattern "^" to "{"ha-mode":"all"}" with priority "0" for vhost "/" ...
再次查看队列已经同步到其他两台节点:
"^"匹配所有的队列，策略名称为ha-all, '{"ha-mode":"all"}' 策略模式为 all 即复制到所有节点，包含新增节点。
设置策略介绍:
rabbitmqctl set_policy [-p Vhost] Name Pattern Definition
-p Vhost： 可选参数，针对指定vhost下的queue进行设置
Name: policy的名称，可以定义
Pattern: queue的匹配模式(正则表达式),也就是说会匹配一组。
Definition：镜像定义，包括ha-mode,ha-params,ha-sync-mode
ha-mode:指明镜像队列的模式
all：表示在集群中所有的节点上进行镜像
exactly：表示在指定个数的节点上进行镜像，节点的个数由ha-params指定
ha-sync-mode：进行队列中消息的同步方式，有效值为automatic和manual
ha-params：ha-mode模式需要用到的参数
案例:
例如，对队列名称以hello开头的所有队列进行镜像，并在集群的两个节点上完成镜像，policy的设置命令为：
rabbitmqctl set_policy hello-ha “^hello” ‘{“ha-mode”:”exactly”,”ha-params”:2,”ha-sync-mode”:”automatic”}’
则此时镜像队列设置成功。
已经部署完成
将所有队列设置为镜像队列，即队列会被复制到各个节点，各个节点状态保持一致。
常见问题
常见错误：
1、使用 rabbitmq-server -detached命令启动rabbitmq时，出现以下提示Warning: PID file not written; -detached was passed，此时使用rabbitmqctl status提示服务已启动，可知此问题不用解决。
2、由于更改hostname文件，在每次rabbitmqctl stop或者rabbitmqctl cluster_status等，只要是rabbitmq的命令就报错，提示大概如下
Cluster status of node rabbit@web2 ...
Error: unable to connect to node rabbit@web2: nodedown
DIAGNOSTICS
===========
attempted to contact: [rabbit@web2]
rabbit@web2:
* connected to epmd (port 4369) on web2
* epmd reports node 'rabbit' running on port 25672
* TCP connection succeeded but Erlang distribution failed
* Hostname mismatch: node "rabbit@mq2" believes its host is different. Please ensure that hostnames resolve the same way locally and on "rabbit@mq2"
current node details:
- node name: 'rabbitmq-cli-11@web2'
- home dir: /root
- cookie hash: SGwxMdJ3PjEXG1asIEFpBg==
此时先ps aux | grep mq，然后kill -9 该进程，然后再rabbitmq-server -detached即可解决。（即先强杀，再重新启动）
3、使用rabbitmqctl stop，rabbitmq-server -detached重新启动后，原先添加的用户admin、虚拟主机coresystem等均丢失，还需要重新添加。
安装并配置负载均衡器HA
注意：如果使用阿里云，可以使用阿里云的内网slb来实现负载均衡，不用自己搭建HA。
安装并配置负载均衡器HA
1、在192.168.50.131安装HAProxy
yum -y install haproxy
2、修改 /etc/haproxy/haproxy.cfg
[root@rabbitmq-1 ~]# cp /etc/haproxy/haproxy.cfg /etc/haproxy/haproxy.cfg.bak
[root@rabbitmq-1 ~]# vim /etc/haproxy/haproxy.cfg
global
log 127.0.0.1 local2
chroot /var/lib/haproxy
pidfile /var/run/haproxy.pid
maxconn 4000
user haproxy
group haproxy
nbproc 4
daemon
# turn on stats unix socket
stats socket /var/lib/haproxy/stats
#---------------------------------------------------------------------
defaults
mode http
log global
retries 3
timeout connect 10s
timeout client 1m
timeout server 1m
timeout check 10s
maxconn 2048
#---------------------------------------------------------------------
##监控查看本地状态#####
listen admin_stats
bind *:80
mode http
option httplog
option httpclose
log 127.0.0.1 local0 err
stats uri /haproxy
stats auth qianfeng:123
####################################
###反代监控
frontend server
bind *:5670
log global
mode tcp
default_backend rabbitmq
maxconn 3
backend rabbitmq
mode tcp
log global
balance roundrobin
server rabbitmq1 192.168.50.131:5672 check inter 2000s rise 2 fall 3
server rabbitmq2 192.168.50.132:5672 check inter 2000s rise 2 fall 3
server rabbitmq3 192.168.50.143:5672 check inter 2000s rise 2 fall 3
[root@rabbitmq-1 ~]# systemctl restart haproxy
浏览器输入http://192.168.50.131/haproxy查看rabbitmq的状态。
常见命令
插件管理
开启某个插件：rabbitmq-plugins enable xxx
关闭某个插件：rabbitmq-plugins disable xxx
注意：重启服务器后生效。
用户管理
新建用户：rabbitmqctl add_user xxx pwd
删除用户: rabbitmqctl delete_user xxx
查看用户：rabbitmqctl list_users
改密码: rabbimqctl change_password {username} {newpassword}
设置用户角色：rabbitmqctl set_user_tags {username} {tag ...}
Tag可以为 administrator,monitoring, management
其他使用命令：
rabbitmq使用命令:
rabbitmq-plugins list ----查看安装的插件
rabbitmq-server -detached -----------启动RabbitMQ节点
rabbitmqctl start_app ----------启动RabbitMQ应用，而不是节点
rabbitmqctl stop_app ------停止
rabbitmqctl status ------查看状态
rabbitmqctl add_user mq 123456 -------设置用户和密码
rabbitmqctl set_user_tags mq administrator ------------------新增账户并设置为管理员
rabbitmq-plugins enable rabbitmq_management --------------------启用RabbitMQ_Management
rabbitmqctl cluster_status -------------------集群状态
rabbitmqctl forget_cluster_node rabbit@rabbit3 -------------------节点摘除
rabbitmqctl reset application----------------------重置
rabbitmqctl set_permissions -p "/" soso ".*" ".*" ".*" --------------授权
---------------------
查看Connection，Queue，Channel,User
rabbitmqctl list_connections #列出所有连接
rabbitmqctl list_queues #列出所有队列
rabbitmqctl list_channels #列出所有通道
rabbitmqctl list_users #列出所有用户
---------------------
本文是原创文章，采用 CC BY-NC-ND 4.0 协议，完整转载请注明来自 木偶
评论
隐私政策
你无需删除空行，直接评论以获取最佳展示效果
