Centos7+Lvs+keeplived实现Apache高可用的负载均衡
近期一直在练习Linux相关的服务部署，前面文章也介绍了一部分Linux的相关日常服务，今天我们就介绍Centos7+Lvs+keeplived实现Apache高可用的负载均衡，其实该功能对于一个企业运维人员来说是必须要掌握的技能，而且要熟悉相关负载均衡及高可用的相关参数，这样才可以部署出一个属于特殊环境的配置应用，我们都知道lvs、Nginx、haproxy可以实现应用的负载均衡，但是不能实现单点故障，所以我们还需要借助一个应用就是keepalived，当然我们见的最多的就是lvs+keepalived配置应用了。所以我们今天主要介绍的是Centos7+Lvs+keeplived实现Apache高可用的负载均衡， keepalived--master和keepalived--backup 两者之间通过vrrp协议利用组播进行通信，master主机对外接受请求并将请求转发至后方的realserver，backup主机只接受请求而不转发请求。某时刻当backup主机没有接受到master主机发送的信息时，于是发送vrrp通告信息并广播arp信息，宣城自己是master，如果收到其他主机发送的通告信息的优先级比自己的高，那么自己将继续转为backup，优先级别高的机器，此时就是新master主机，并接替原master主机的工作。
每个keepalived机器都对后方的realserver进行监控，只不过master负责将外部请求转发至后方的realserver，backup则不作该处理。而LVS呢，LVS将其控制程序ipvs嵌套至传输层数据流的Input钩子函数上，ipvs将发送至本控制器主机（director）上的数据流在input链上进行截流，通过对数据报文的分析根据自身的算法将数据流转发至后台真正提供服务的主机（Real Server）上，达到根据后端服务器负载能力均衡分配处理任务的效果。对于LVS的更多参数介绍，我们将在下一篇文章中介绍：
环境介绍：
VIP：
Hostname：AA-S
IP:
Role：Apache
Hostname：BB-S
IP:
Role：Apache
Hostname：CC-S
IP:
Role：LVS+Keepalived
Hostname：DD-S
IP:
Role：LVS+Keepalived
我们同样使用Apache作为web服务器
首先是准备Apache服务
Yuminstallhttpd
查看httpd 版本
接下来我们首先要为apache定义一个 默认的页面，方便区分
Vim/var/www/httml/
</html> <!DOCTYPEhtml> <html> <head> <title>WelcometoApache</title> <style> body{ 35em; margin:0auto; font-family:Tahoma,Verdana,Arial,sans-serif; } </style> <styletype="text/css"> h1{color:red} h2{color:blue} h3{color:green} h4{color:yellow} } </style> </head><bodybgcolor='#46A3FF'> <h1>WelcometoAA-SApache</h1> <h2>HostName:AA-S</h2> <h3>IP:</h3> <h4>Service:Apache</h4> <inputtype=buttonvalue="Refresh"onclick="('')"> </body> </html>
启动服务
Systemctlstarthttpd
Firewall-cmd--zone=public--add-port='80/tcp'--permanent
或者vim/etc/firewalld/zone/
添加一下格式
<portportocal='tcp'port='80'>
接下来我们在本地访问测试一下
接下来我们也同样按照方法部署第二台apache服务，方法跟上面完全一样
</html> <!DOCTYPEhtml> <html> <head> <title>WelcometoApache</title> <style> body{ 35em; margin:0auto; font-family:Tahoma,sans-serif; } </style> <styletype="text/css"> h1{color:red} h2{color:blue} h3{color:green} h4{color:yellow} } </style> </head><bodybgcolor='#FF7F50'> <h1>WelcometoBB-SApache</h1> <h2>HostName:BB-S</h2> <h3>IP:</h3> <h4>Service:Apache</h4> <inputtype=buttonvalue="Refresh"onclick="('')"> </body> </html>
测试访问
接下来开始安装LVS
我们在上
yuminstallipvsdm
安装完成
我们同样在第二台服务器上也安装IVS
yuminstall-yipvsadm
接下来我们继续安装keeplived，我们是Keepalived服务和lvs在同一台服务器上
我们首先在第一台服务器上安装，
yuminstallkeepalived
vim/etc/keepalived/
我们查看默认配置
!ConfigurationFileforkeepalived global_defs{ notification_email{ acassen@ failover@ sysadmin@ } notification_email_from@ smtp_server smtp_connect_timeout30 router_idLVS_DEVEL } vrrp_instanceVI_1{ stateMASTER interfaceeth0 virtual_router_id51 priority100 advert_int1 authentication{ auth_typePASS auth_pass1111 } virtual_ipaddress{ } } virtual_server443{ delay_loop6 lb_algorr lb_kindNAT nat_mask persistence_timeout50 protocolTCP real_server443{ weight1 SSL_GET{ url{ path/ digestff20ad2481f97b1754ef3e12ecd3a9cc } url{ path/mrtg/ digest9b3a0c85a887a256d6939da88aabd8cd } connect_timeout3 nb_get_retry3 delay_before_retry3 } } } virtual_server1358{ delay_loop6 lb_algorr lb_kindNAT persistence_timeout50 protocolTCP sorry_server1358 real_server1358{ weight1 HTTP_GET{ url{ path/testurl/ digest640205b7b0fc66c1ea91c463fac6334d } url{ path/testurl2/ digest640205b7b0fc66c1ea91c463fac6334d } url{ path/testurl3/ digest640205b7b0fc66c1ea91c463fac6334d } connect_timeout3 nb_get_retry3 delay_before_retry3 } } real_server1358{ weight1 HTTP_GET{ url{ path/testurl/ digest640205b7b0fc66c1ea91c463fac6334c } url{ path/testurl2/ digest640205b7b0fc66c1ea91c463fac6334c } connect_timeout3 nb_get_retry3 delay_before_retry3 } } } virtual_server1358{ delay_loop3 lb_algorr lb_kindNAT nat_mask persistence_timeout50 protocolTCP real_server1358{ weight1 HTTP_GET{ url{ path/testurl/ digest640205b7b0fc66c1ea91c463fac6334d } url{ path/testurl2/ digest640205b7b0fc66c1ea91c463fac6334d } url{ path/testurl3/ digest640205b7b0fc66c1ea91c463fac6334d } connect_timeout3 nb_get_retry3 delay_before_retry3 } } real_server1358{ weight1 HTTP_GET{ url{ path/testurl/ digest640205b7b0fc66c1ea91c463fac6334d } url{ path/testurl2/ digest640205b7b0fc66c1ea91c463fac6334d } url{ path/testurl3/ digest640205b7b0fc66c1ea91c463fac6334d } connect_timeout3 nb_get_retry3 delay_before_retry3 } } }
cp/etc/keepalived//etc/keepalived/
接下来清空配置
Echo>keepalived
然后粘贴以下代码，需要注意的是里面interface需要跟当前的系统对应，不然会无法监听端口；
通过ip a sh 查看，比如默认一般是eth0，而我的系统是ens160
!ConfigurationFileforkeepalived global_defs{ notification_email{ acassen@ failover@ sysadmin@ } notification_email_from@ smtp_server smtp_connect_timeout30 router_idLVS_DEVEL } vrrp_instanceVI_1{#定义一个vrrp组，组名唯一 stateMASTER#定义改主机为keepalived的master主机 interfaceens160#监控eth0号端口 virtual_router_id58#虚拟路由id号为58，id号唯一，这个id决定了多播的MAC地址 priority150#设置本节点的优先级，master的优先级要比backup的优先级别高，数值要大 advert_int1#检查间隔，默认为1秒 authentication{ auth_typePASS#认证方式，密码认证 auth_pass1111#认证的密码，这个密码必须和backup上的一致 } virtual_ipaddress{#设置虚拟的ip，这个ip是以后对外提供服务的ip。 } } virtual_server80{#虚拟主机设置，ip同上。 delay_loop2#服务器轮询的时间间隔 lb_algorr#lvs的调度算法 lb_kindDR#lvs的集群模式 nat_mask persistence_timeout50#会话超时50s protocolTCP#健康检查是用tcp还是udp real_server80{#后端真实主机1 weight100#每台机器的权重，0表示不给该机器转发请求，知道它恢复正常。 TCP_CHECK{#健康检查项目，以下 connect_timeout3 nb_get_retry3 delay_before_retry3 connect_port80 } } real_server80{#后端真实主机2 weight100#每台机器的权重，0表示不给该机器转发请求，知道它恢复正常。 TCP_CHECK{#健康检查项目，以下 connect_timeout3 nb_get_retry3 delay_before_retry3 connect_port80 } } }
我们接着在第二台服务器也安装keepalived
我们同样备份文件
cp/etc/keepalived//etc/keepalived/
echo>/etc/keepalived/
接下来我们需要配置backup的keepalived服务，
其实差别跟master的稍微有点差别：
state MASTER >> > state BACKUP #定义改主机为keepalived的backup主机，监控主master
priority 150 >>> priority 100 #设置本节点的优先级，数值要比master主机上的小
vim/etc/keepalived/
然后粘贴以下代码，需要注意的是里面interface需要跟当前的系统对应，不然会无法监听端口；
通过ip a sh 查看，比如默认一般是eth0，而我的系统是ens160
!ConfigurationFileforkeepalived global_defs{ notification_email{ acassen@ failover@ sysadmin@ } notification_email_from@ smtp_server smtp_connect_timeout30 router_idLVS_DEVEL } vrrp_instanceVI_1{#定义一个vrrp组，组名唯一 stateBACKUP#定义改主机为keepalived的master主机 interfaceens160#监控eth0号端口 virtual_router_id58#虚拟路由id号为58，id号唯一，这个id决定了多播的MAC地址 priority100#设置本节点的优先级，master的优先级要比backup的优先级别高，数值要大 advert_int1#检查间隔，默认为1秒 authentication{ auth_typePASS#认证方式，密码认证 auth_pass1111#认证的密码，这个密码必须和backup上的一致 } virtual_ipaddress{#设置虚拟的ip，这个ip是以后对外提供服务的ip。 } } virtual_server80{#虚拟主机设置，ip同上。 delay_loop2#服务器轮询的时间间隔 lb_algorr#lvs的调度算法 lb_kindDR#lvs的集群模式 nat_mask persistence_timeout50#会话超时50s protocolTCP#健康检查是用tcp还是udp real_server80{#后端真实主机1 weight100#每台机器的权重，0表示不给该机器转发请求，知道它恢复正常。 TCP_CHECK{#健康检查项目，以下 connect_timeout3 nb_get_retry3 delay_before_retry3 connect_port80 } } real_server80{#后端真实主机2 weight100#每台机器的权重，0表示不给该机器转发请求，知道它恢复正常。 TCP_CHECK{#健康检查项目，以下 connect_timeout3 nb_get_retry3 delay_before_retry3 connect_port80 } } }
接下来就是测试keepalived的配置了
我们在两台服务器上分别启动keepalived服务
systemctlstartkeepalived
我们在master上查看网络监听状态。
然后在Master主机上查看网络监听状态。
然后我们查看master主机上的ipvsadm
我们通过以上可以得知，虚拟ip此时绑定在--master上，然后停止上的keepalived服务，查看查看--Backup上的虚拟ip状态，已经监听到了Backup主机的网络端口上。
然后主机的状态就没有虚拟ip了
另外我们查看一下ipvsadm的状态。
首先是master主机上的：
然后是backup上的
我们可以查看一下切换的log
我们在第二台服务器上查看log
cat/etc/log/message
以上的配置，keepalived的高可用功能已经实现。
我们也可以查看一下keepalived的状态
systemctlstatuskeepalived
接下来我们要实现realserver服务器配置
我们需要在两台web(http),，需要在这两台服务器上配置虚拟VIP，所以在服务器上执行以下脚本
#!/bin/bash #chkconfig:23458535 #Description:Startrealserverwithhostboot VIP= functionstart(){ ifconfiglo:0$VIPnetmaskbroadcast$VIP echo1>/proc/sys/net/ipv4/conf/lo/arp_ignore echo2>/proc/sys/net/ipv4/conf/lo/arp_announce echo1>/proc/sys/net/ipv4/conf/all/arp_ignore echo2>/proc/sys/net/ipv4/conf/all/arp_announce echo“RealServer$(uname-n)started” } functionstop(){ ifconfiglo:0down ifconfiglo:0$VIPnetmaskbroadcast$VIP echo0>/proc/sys/net/ipv4/conf/lo/arp_ignore echo0>/proc/sys/net/ipv4/conf/lo/arp_announce echo0>/proc/sys/net/ipv4/conf/all/arp_ignore echo0>/proc/sys/net/ipv4/conf/all/arp_announce echo“RealServer$(uname-n)stopped” } case$1in start) start ;; stop) stop ;; *) echo“Usage:$0{start|stop}” exit1 esac
我们保存退出后，需要给执行权限
chmoea+xrealserver
另外我们将脚本拷贝到第二台web服务器上，然后执行上面同样的操作
scprealserverroot@:/DATA
然后在两台服务器上都需要执行这个脚本
./realserverstart
接着我们可以再查看一下ipvsadm
我们在两台服务器上分别执行
接下来我们就尝试通虚拟IP来尝试访问
我们回头看看里面lvs策略
vim/etc/keepalived/ #回话超时50s
最后我们说一下如何将realserver的脚本添加到随系统启动
我们将使用chkconfig --add 来管理服务器的添加、顺序
chkconfig--addrealserver cprealserver/etc//将脚本拷贝到指定目录 chkconfig--addrealserver添加realserver脚本到自动启动 chkconfig--list查看自动启动服务
通过以上配置后，我们就可以通过服务进行操作了
/etc//realserverstop /etc//realserverstart
chkconfigrealserveron设置为自动启动
