上一篇博文我们使用keepalived+主从同步搭建了一个简单的MySQL高可用架构（详见https://blog.51cto.com/jiangjianlong/1981994），今天再分享下通过MMM搭建的实现MysqL读写分离的高可用群集。MMM (Master-Master Replication Manager for MysqL)是使用perl开发的MysqL主主复制管理器，可实现读写分离的高可用架构，对主库实现写请求的高可用，对从库实现读请求的负载均衡。本文的架构示意图如下：
一、部署环境
二、环境准备
1、配置好IP地址、主机名，关闭防火墙和selinux
2、分别为MysqL-master01、MysqL-master02、MysqL-slave01、MysqL-slave02安装MysqL 5.6，安装方法请参见本文之前的博文《MysqL 5.6.38在RedHat 6.5上通过RPM包安装》，需要注意的是要安装MysqL-devel的rpm包。
3、为5台服务器配置好hosts解析：
192.168.10.81 MysqL-master01
192.168.10.82 MysqL-master02
192.168.10.83 MysqL-slave01
192.168.10.84 MysqL-slave02
192.168.10.85 MysqL-monitor
4、将RedHat 6.5的介质配置成本地yum源
三、配置两台master互为主从
1、编辑MysqL-master01和MysqL-master02的/etc/my.cnf文件并重启MysqL服务：
MysqL-master01：
[MysqLd] server-id=1 #每台设置不同 log-bin=MysqL-bin [MysqLd_safe] auto_increment_increment=2 #字段一次递增多少 auto_increment_offset=1 #自增字段的起始值,master02需设置为2 replicate-do-db=all #同步的数据库，多个用逗号隔开 log-slave_updates #当一个主故障，另一个立即接管 sync-binlog=1 #每条自动更新，安全性高，默认是0 log-error = /var/log/MysqLd.log read_only = 1
MysqL-master02:
[MysqLd] server-id=2 #每台设置不同 log-bin=MysqL-bin [MysqLd_safe] auto_increment_increment=2 #字段一次递增多少 auto_increment_offset=2 #自增字段的起始值,master02需设置为2 replicate-do-db=all #同步的数据库，多个用逗号隔开 log-slave_updates #当一个主故障，另一个立即接管 sync-binlog=1 #每条自动更新，安全性高，默认是0 log-error = /var/log/MysqLd.log read_only = 1
2、在MysqL-master01上创建用于同步的账户repl，密码为123456，并查询master状态，记下file名称和posttion数值
MysqL> GRANT REPLICATION SLAVE ON *.* to 'repl'@'%' identified by '123456';
MysqL> show master status;
3、在MysqL-master02上登录MysqL，执行以下语句开启从服务器
MysqL> change master to master_host='192.168.10.81',master_user='repl',master_password='123456',master_log_file='MysqL-bin.000003',master_log_pos=318;
MysqL> start slave;
MysqL> show slave status\G
4、然后在MysqL-master02上也创建用于同步的账户repl，密码为123456，并查询master状态，记下file名称和posttion数值
MysqL> GRANT REPLICATION SLAVE ON *.* to 'repl'@'%' identified by '123456';
MysqL> show master status;
5、在MysqL-master01上登录MysqL执行以下语句开启从服务器，注意这里master_host要填写MysqL-master02的IP
MysqL> change master to master_host='192.168.10.82',master_user='repl',master_password='123456',master_log_file='MysqL-bin.000006',master_log_pos=318;
MysqL> start slave;
MysqL> show slave status\G
6、这样两台master的互为主从就配置好了，下面我们来测试一下，先做MysqL-master01上执行以下语句创建一个数据库、一个表并插入一行数据
MysqL> create database names_test;
MysqL> use names_test;
MysqL> create table names(id int(5),name char(15));
MysqL> insert into names values (01,'jiangjianlong');
MysqL> select * from names;
7、然后到MysqL-master02上查询一下，发现已经同步完成了，说明MysqL-master02作为MysqL-master01的从库复制正常
8、在MysqL-master02上也创建一个数据库、一个表并插入一行数据
MysqL> create database blogs_test;
MysqL> use blogs_test;
MysqL> create table blogs(id int(5),name char(35));
MysqL> insert into blogs values (01,'jiangjianlong.blog.51cto.com');
MysqL> select * from names;
9、在MysqL-master01上查询一下，发现数据也已经同步过来，说明MysqL-master01作为MysqL-master02的从库也是复制正常
四、配置两台slave作为master01的从库
1、MysqL-slave01和MysqL-slave02分别使用以下my.cnf
MysqL-slave01：
[MysqLd] server-id=3 #每台设置不同 log-bin=MysqL-bin [MysqLd_safe] replicate-do-db=all log-error = /var/log/MysqLd.log read_only = 1
MysqL-slave02：
[MysqLd] server-id=4 #每台设置不同 log-bin=MysqL-bin [MysqLd_safe] replicate-do-db=all log-error = /var/log/MysqLd.log read_only = 1
2、根据在MysqL-master01上执行show master status查出来的结果，在MysqL-slave01和MysqL-slave02上分别执行以下sql语句,开启从服务器：
MysqL> change master to master_host='192.168.10.81',master_user='repl',master_password='123456',master_log_file='MysqL-bin.000004',master_log_pos=120;
MysqL> start slave;
MysqL> show slave status\G
五、安装MMM要求的Perl模块
1、MMM对所有MysqL节点所要求的Perl模块如下：
2、以下以MysqL-master01为例进行perl模块的安装，另外3台MysqL服务器同理。首先查看一下这些perl模块还有哪些没装：
perldoc -l Algorithm::Diff DBI DBD::MysqL File::Basename File::stat Log::dispatch Log::Log4perl Mail::Send Net::ARP Proc::Daemon Time::HiRes
3、部分缺失的perl模块在Redhat6.5的介质中有，可以通过本地yum源的方式安装
[root@MysqL-master01 ~]# yum install perl-DBI perl-dbd-mysql perl-MailTools perl-Time-HiRes perl-CPAN -y
4、使用以下命令再查看一下安装结果
perldoc -l Algorithm::Diff DBI DBD::MysqL File::Basename File::stat Log::dispatch Log::Log4perl Mail::Send Net::ARP Proc::Daemon Time::HiRes
5、剩下的几个perl模块安装起来稍微麻烦一点，可以使用源码包编译安装，也可以使用cpan在线自动下载安装，并能处理各模块间的依赖关系。我一开始是尝试去下载源码包后手动进行编译安装，然而我在编译到Log::dispatch时我直接放弃这种方式了，因为它依赖于很多个其它的perl模块，而这些模块可能又依赖于别的多个模块！如下图：
6、所以我决定使用cpan在线自动安装的方式，但需要服务器能连外网。由于使用cpan安装Algorithm::Diff时会告警提示YAML没有安装，因此我先使用cpan安装YAML,而安装YAML时会把它所依赖的Algorithm::Diff给装上
7、接着执行cpan Log::dispatch安装Log::dispatch，没想到在自动下载安装了50多个依赖模块后还是报错提示有多个依赖的模块缺失，如下图：
8、解决办法：依次使用cpan安装上图所示的缺少的模块，然后再执行cpan Log::dispatch就能成功安装上，如果cpan安装Params::ValidationCompiler时报错，就单独下载这个模块的源码包进行编译安装
9、执行cpan Log::Log4perl安装Log::Log4perl模块、执行cpan Net::ARP安装Net::ARP模块、执行cpan Proc::Daemon安装Proc::Daemon模块
10、再来查看下所需perl模块的安装结果，这下已经全部都装好了
11、monitor服务器也对perl模块有要求，如下图：
12、同样是使用cpan安装这些模块，在此不再赘述。4台MysqL服务器和monitor服务器的perl模块都安装完成后，我们就可以来安装配置MMM了
六、MysqL-MMM安装配置
2、由于本文未使用到MMM tools，因此只需创建前3个用户，由于前面已经做好了主从同步，因此只需要在MysqL-master01上创建即可同步到另外3台MysqL服务器
GRANT REPLICATION CLIENT ON *.* TO 'mmm_monitor'@'192.168.10.%' IDENTIFIED BY 'monitor';
GRANT SUPER,REPLICATION CLIENT,PROCESS ON *.* TO 'mmm_agent'@'192.168.10.%' IDENTIFIED BY'agent';
GRANT REPLICATION SLAVE ON *.* TO 'mmm_repl'@'192.168.10.%' IDENTIFIED BY'repl';
注：其实用户mmm_repl可以不用建，因为前面我们配置主从同步时已经建了一个repl用户可供使用
3、使用以下语句检查另外3台MysqL服务器是否已同步了这3个用户,可以看到都已经有了
select user,host from MysqL.user where user in ('mmm_monitor','mmm_agent','mmm_repl');
4、在4台MysqL服务器和monitor服务器上编译安装MMM，下面以MysqL-master01为例
[root@MysqL-master01 ~]# tar -zxf MysqL-mmm-2.2.1.tar.gz -C /usr/
[root@MysqL-master01 ~]# cd /usr/MysqL-mmm-2.2.1/
[root@MysqL-master01 MysqL-mmm-2.2.1]# make install
5、安装完成后，所有的配置文件都放到了/etc/MysqL-mmm/下面。monitor服务器和MysqL服务器上都要包含一个共同的文件mmm_common.conf，内容如下：
[root@MysqL-master01 MysqL-mmm-2.2.1]# cat /etc/MysqL-mmm/mmm_common.conf active_master_role writer <host default> cluster_interface eth0 pid_path /var/run/mmm_agentd.pid bin_path /usr/lib/MysqL-mmm/ replication_user mmm_repl replication_password repl agent_user mmm_agent agent_password agent </host> <host MysqL-master01> ip 192.168.10.81 mode master peer MysqL-master02 </host> <host MysqL-master02> ip 192.168.10.82 mode master peer MysqL-master01 </host> <host MysqL-slave01> ip 192.168.10.83 mode slave </host> <host MysqL-slave02> ip 192.168.10.84 mode slave </host> <role writer> hosts MysqL-master01, MysqL-master02 ips 192.168.10.91 mode exclusive </role> <role reader> hosts MysqL-slave01, MysqL-slave02 ips 192.168.10.93, 192.168.10.94 mode balanced </role> [root@MysqL-master01 MysqL-mmm-2.2.1]#
6、在MysqL-master01上编辑好该文件后，通过scp传输到另外4台服务器
7、4台MysqL服务器还有一个mmm_agent.conf文件需要修改主机名
8、在4台MysqL服务器的 /etc/init.d/MysqL-mmm-agent的脚本文件的#!/bin/sh下面，加入如下内容
source /root/.bash_profile，下面以MysqL-master01为例
9、分别将4台MysqL服务器的mmm_agent启动脚本添加成系统服务并设置为自启动，下面以MysqL-master01为例
#chkconfig --add MysqL-mmm-agent
10、分别将4台MysqL服务器的mmm_agent启动，如果前面的Perl模块没有装好，可能会报错启动不了
/etc/init.d/MysqL-mmm-agent start或service MysqL-mmm-agent start
11、配置monitor服务器上的mmm_mon.conf文件
[root@MysqL-monitor MysqL-mmm]# cat/etc/MysqL-mmm/mmm_mon.conf include mmm_common.conf <monitor> ip 127.0.0.1 pid_path /var/run/mmm_mond.pid bin_path /usr/lib/MysqL-mmm/ status_path /var/lib/misc/mmm_mond.status ping_ips 192.168.10.81,192.168.10.82,192.168.10.83,192.168.10.84 </monitor> <host default> monitor_user mmm_monitor monitor_password monitor </host> <check default> check_period 5 trap_period 10 timeout 3 max_backlog 86400 </check> debug 0
12、在monitor服务器的 /etc/init.d/MysqL-mmm-monitor的脚本文件的#!/bin/sh下面，加入如下内容
source /root/.bash_profile
13、将MysqL-mmm-monitor添加成系统服务并设置为自启动
#chkconfig --add MysqL-mmm-monitor
#chkconfigMysqL-mmm-monitor on
14、启动monitor服务器的MysqL-mmm-monitor服务
15、在monitor服务器执行命令列出客户端状态，发现都是AWAITING状态
16、在monitor服务器执行命令mmm_control set_online MysqL-master01，将MysqL-master01上线，过一会再看它就变成online状态了
17、这时观察MysqL-master01的IP发现已经成功添加了Write VIP
18、依次将MysqL-master02和MysqL-slave01以及MysqL-slave02设置为online，查看slave的IP也发现Read VIP也加上了。MMM到此已配置完成，下面将进行高可用测试
七、MysqL-MMM主库高可用测试
1、将MysqL-master01的MysqL服务停止，模拟主库宕机，再查看IP会发现Write VIP已被自动移除
2、观察monitor服务器上的日志可以发现MMM检测到MysqL-maste01故障并将Write VIP切换到了MysqL-master02上
3、查看MysqL-master02的IP，发现Write VIP确实已添加上了
4、这时两台slave之前配置的主库已经宕机并且主库已切换，那它们是否会自动将Master Host也切换为MysqL-master02呢？查看下它们的slave状态，发现已自动切换
5、在monitor服务器上查看下客户端的状态，MysqL-master01确实已离线，并且是能Ping通而MysqL连接失败
6、再次启动master01的MysqL服务，并设置为online，可以看到Write VIP并不会回切（除非当前的主库再次宕机）
7、观察到monitor服务器的日志如下：
8、再检查下客户端，已恢复正常
八、MysqL-MMM从库高可用测试
1、将MysqL-slave01的MysqL服务停止，模拟从库宕机，再查看IP会发现其上的Read VIP已被自动移除
2、观察到monitor服务器上的日志发现MysqL-slave01的Read VIP已被切换到MysqL-slave02上：
3、在monitor服务器上查看客户端状态，发现MysqL-slave02确实绑定了2个Read VIP
4、检查MysqL-slave02的IP，确实如此
5、将MysqL-slave01的MysqL服务恢复启动，并在monitor服务器将其设置为online，可以看到切换回去的Read VIP并不是最开始的那个VIP，Read VIP并非固定不变
6、观察monitor服务器的日志内容如下：
7、两个slave的IP信息现在如下：
至此，MysqL-MMM读写分离的高可用架构经简单测试均OK！以下是小结：
1、若master01主节点宕机，由master02备选主节点接管写角色，slave1,slave2指向新master2主库进行复制，slave01,slave02会自动change master到master02。
2、若master01主节点宕机，而master02同步又落后于master01时就变成了主可写状态，则这时的数据主无法保证一致性。
3、若master02,slave01,slave02延迟于master01主，而这个时master01宕机，slave01,slave02将会等待数据追上master01后，再重新指向新的主master02进行复制操作，这时的数据也无法保证同步的一致性。
4、对外提供读写的虚拟IP是由monitor程序控制。如果monitor没有启动那么db服务器不会被分配虚拟ip,但是如果已经分配好了虚拟ip，当monitor程序关闭了，则原先分配的虚拟ip不会关闭，只要不重启网络，外部程序还可以连接访问，这样能对monitor的可靠性要求降低一些，但是如果这时其中的某一个db服务器故障了就无法处理切换。因为agent程序受monitor程序的控制，处理主库切换、从库切换等操作。如果monitor进程关闭了那么agent进程就起不到什么作用，它本身不能处理故障。
5、monitor程序负责监控db服务器的状态，包括MysqL数据库、服务器是否运行、复制线程是否正常、主从延时等，以及控制agent程序处理故障。因此monitor是这个高可用架构中的核心角色，同时也是单点故障的风险点，应该能通过keepalived等方式将monitor也做成高可用，等以后有时间我再进行测试。
6、monitor监控端的配置文件参数“auto_set_online”可以让从故障中恢复的节点自动online，待有空测试下。群集中节点服务器的状态有三种分别是：HARD_OFFLINE→AWAITING_RECOVERY→online
7、默认monitor会控制mmm_agent会将writer db服务器read_only修改为OFF，其它的db服务器read_only修改为ON,所以为了严谨可以在所有的服务器的my.cnf文件中加入read_only=1，由monitor控制writer和read,root用户和复制用户不受read_only参数的影响。
本文出自江健龙的技术博客，转载请注明出处 https://blog.51cto.com/jiangjianlong/2073744
