CentOS7 haproxy+keepalived实现高可用集群搭建

于 2018-06-05 08:19:16 发布
阅读量489 收藏 3
点赞数 1
分类专栏： HAProxy
本文介绍如何使用HAproxy和Keepalived搭建RabbitMQ的负载均衡与高可用环境，包括具体步骤与配置示例。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >


2017年12月21日 12:11:25
阅读数：1493

一、搭建环境

　　CentOS7 64位

        Keepalived  1.3.5

        Haproxy 1.5.18

　　后端负载主机：192.168.166.21   192.168.166.22   两台节点上安装rabbitmq服务

        Haproxy 也是安装在 192.168.166.21 和 192.168.166.22 上，用于对外提供 RabbitMQ 均衡

        Keepalived实现haproxy的主备，高可用（避免单点问题），192.168.166.21（主）192.168.166.22（备），虚拟地址VIP 192.168.166.29

 rabbitmq配置可以参看

http://blog.csdn.net/sj349781478/article/details/78841382

http://blog.csdn.net/sj349781478/article/details/78845852


二、HAproxy简介

1）HAProxy提供高可用性、负载均衡以及基于TCP和HTTP应用的代理，支持虚拟主机，它是免费、快速并且可靠的一种解决方案。

2）HAProxy特别适用于那些负载特大的web站点，这些站点通常又需要会话保持或七层处理。

3）HAProxy运行在当前的硬件上，完全可以支持数以万计的并发连接。并且它的运行模式使得它可以很简单安全的整合进您当前的架构中， 同时可以保护你的web服务器不被暴露到网络上。

4）HAProxy实现了一种事件驱动, 单一进程模型，此模型支持非常大的并发连接数。多进程或多线程模型受内存限制 、系统调度器限制以及无处不在的锁限制，很少能处理数千并发连接。事件驱动模型因为在有更好的资源和时间管理的用户空间(User-Space) 实现所有这些任务，所以没有这些问题。此模型的弊端是，在多核系统上，这些程序通常扩展性较差。这就是为什么他们必须进行优化以 使每个CPU时间片(Cycle)做更多的工作。


三、HAproxy配置

1、安装haproxy
# yum install haproxy -y

 2、编辑配置文件

vi /etc/haproxy/haproxy.cfg 之后添加：

listen rabbitmq_local_cluster 0.0.0.0:56722
　　#配置TCP模式 
　　mode tcp
　　option tcplog 
　　#简单的轮询 
　　balance roundrobin 
　　#rabbitmq集群节点配置 
　　server mq01 192.168.166.21:5672 check inter 5000 rise 2 fall 2 
　　server mq02 192.168.166.22:5672 check inter 5000 rise 2 fall 2 

因为我是在同一台服务器上，如果haproxy与后端服务器分开，建议端口一致。
3、启动
# haproxy -f /etc/haproxy/haproxy.cfg
4、重启动
# service haproxy restart

5、查看haproxy是否已经启动


6、haproxy启用监控页面

编辑haproxy.cfg  加上下面参数  
listen admin_stats
        stats   enable
        bind    *:9090    //监听的ip端口号
        mode    http    //开关
        option  httplog
        log     global
        maxconn 10
        stats   refresh 30s   //统计页面自动刷新时间
        stats   uri /admin    //访问的uri   ip:8080/admin
        stats   realm haproxy
        stats   auth admin:Redhat  //认证用户名和密码
        stats   hide-version   //隐藏HAProxy的版本号
        stats   admin if TRUE   //管理界面，如果认证成功了，可通过webui管理节点
保存退出后
重起service haproxy restart
然后访问 http://ip:9090/admin          用户名:admin 密码:Redhat
 


---------------------------------------------------------------------------------------------

参数举例说明：【/usr/local/haproxy/haproxy.cfg】

###########全局配置#########
global
　　log 127.0.0.1 local0 #[日志输出配置，所有日志都记录在本机，通过local0输出]
　　log 127.0.0.1 local1 notice #定义haproxy 日志级别[error warringinfo debug]
　　daemon #以后台形式运行harpoxy
　　nbproc 1 #设置进程数量
　　maxconn 4096 #默认最大连接数,需考虑ulimit-n限制
　　#user haproxy #运行haproxy的用户
　　#group haproxy #运行haproxy的用户所在的组
　　#pidfile /var/run/haproxy.pid #haproxy 进程PID文件
　　#ulimit-n 819200 #ulimit 的数量限制
　　#chroot /usr/share/haproxy #chroot运行路径
　　#debug #haproxy 调试级别，建议只在开启单进程的时候调试
　　#quiet

########默认配置############
defaults
　　log global
　　mode http #默认的模式mode { tcp|http|health }，tcp是4层，http是7层，health只会返回OK
　　option httplog #日志类别,采用httplog
　　option dontlognull #不记录健康检查日志信息
　　retries 2 #两次连接失败就认为是服务器不可用，也可以通过后面设置
　　#option forwardfor #如果后端服务器需要获得客户端真实ip需要配置的参数，可以从Http Header中获得客户端ip
　　option httpclose #每次请求完毕后主动关闭http通道,haproxy不支持keep-alive,只能模拟这种模式的实现
　　#option redispatch #当serverId对应的服务器挂掉后，强制定向到其他健康的服务器，以后将不支持
　　option abortonclose #当服务器负载很高的时候，自动结束掉当前队列处理比较久的链接
　　maxconn 4096 #默认的最大连接数
　　timeout connect 5000ms #连接超时
　　timeout client 30000ms #客户端超时
　　timeout server 30000ms #服务器超时
　　#timeout check 2000 #心跳检测超时
　　#timeout http-keep-alive10s #默认持久连接超时时间
　　#timeout http-request 10s #默认http请求超时时间
　　#timeout queue 1m #默认队列超时时间
　　balance roundrobin #设置默认负载均衡方式，轮询方式
　　#balance source #设置默认负载均衡方式，类似于nginx的ip_hash
　　#balnace leastconn #设置默认负载均衡方式，最小连接数

########统计页面配置########
listen stats
　　bind 0.0.0.0:1080 #设置Frontend和Backend的组合体，监控组的名称，按需要自定义名称
　　mode http #http的7层模式
　　option httplog #采用http日志格式
　　#log 127.0.0.1 local0 err #错误日志记录
　　maxconn 10 #默认的最大连接数
　　stats refresh 30s #统计页面自动刷新时间
　　stats uri /stats #统计页面url
　　stats realm XingCloud\ Haproxy #统计页面密码框上提示文本
　　stats auth admin:admin #设置监控页面的用户和密码:admin,可以设置多个用户名
　　stats auth Frank:Frank #设置监控页面的用户和密码：Frank
　　stats hide-version #隐藏统计页面上HAProxy的版本信息
　　stats admin if TRUE #设置手工启动/禁用，后端服务器(haproxy-1.4.9以后版本)

########设置haproxy 错误页面#####
#errorfile 403 /home/haproxy/haproxy/errorfiles/403.http
#errorfile 500 /home/haproxy/haproxy/errorfiles/500.http
#errorfile 502 /home/haproxy/haproxy/errorfiles/502.http
#errorfile 503 /home/haproxy/haproxy/errorfiles/503.http
#errorfile 504 /home/haproxy/haproxy/errorfiles/504.http

########frontend前端配置##############
frontend main
　　bind *:80 #这里建议使用bind *:80的方式，要不然做集群高可用的时候有问题，vip切换到其他机器就不能访问了。
　　acl web hdr(host) -i www.abc.com  #acl后面是规则名称，-i为忽略大小写，后面跟的是要访问的域名，如果访问www.abc.com这个域名，就触发web规则，。
　　acl img hdr(host) -i img.abc.com  #如果访问img.abc.com这个域名，就触发img规则。
　　use_backend webserver if web   #如果上面定义的web规则被触发，即访问www.abc.com，就将请求分发到webserver这个作用域。
　　use_backend imgserver if img   #如果上面定义的img规则被触发，即访问img.abc.com，就将请求分发到imgserver这个作用域。
　　default_backend dynamic #不满足则响应backend的默认页面

########backend后端配置##############
backend webserver #webserver作用域
　　mode http
　　balance roundrobin #balance roundrobin 负载轮询，balance source 保存session值，支持static-rr，leastconn，first，uri等参数
　　option httpchk /index.html HTTP/1.0 #健康检查, 检测文件，如果分发到后台index.html访问不到就不再分发给它
　　server web1 10.16.0.9:8085 cookie 1 weight 5 check inter 2000 rise 2 fall 3
　　server web2 10.16.0.10:8085 cookie 2 weight 3 check inter 2000 rise 2 fall 3
　　#cookie 1表示serverid为1，check inter 1500 是检测心跳频率 
　　#rise 2是2次正确认为服务器可用，fall 3是3次失败认为服务器不可用，weight代表权重

backend imgserver
　　mode http
　　option httpchk /index.php
　　balance roundrobin 
　　server img01 192.168.137.101:80 check inter 2000 fall 3
　　server img02 192.168.137.102:80 check inter 2000 fall 3

backend dynamic 
　　balance roundrobin 
　　server test1 192.168.1.23:80 check maxconn 2000 
　　server test2 192.168.1.24:80 check maxconn 2000


listen tcptest 
　　bind 0.0.0.0:5222 
　　mode tcp 
　　option tcplog #采用tcp日志格式 
　　balance source 
　　#log 127.0.0.1 local0 debug 
　　server s1 192.168.100.204:7222 weight 1 
　　server s2 192.168.100.208:7222 weight 1
---------------------------------------------------------------------------------------------

四、Keepalived介绍

keepalived是一个免费开源的，用C编写的类似于layer3, 4 & 7交换机制软件，具备我们平时说的第3层、第4层和第7层交换机的功能。主要提供loadbalancing（负载均衡）和 high-availability（高可用）功能，负载均衡实现需要依赖Linux的虚拟服务内核模块（ipvs），而高可用是通过VRRP协议实现多台机器之间的故障转移服务。 

五、Keepalived配置

1、安装haproxy
# yum install keepalived -y

2、配置文件

利用keepalived做主备，避免单点问题，实现高可用，在192.168.166.21和192.168.166.22节点上安装最新版keepalived

192.168.166.21（主）修改keepalived.conf为：Primary配置：

global_defs {
   router_id mq01
}
vrrp_script chk_haproxy
{
     script "/etc/keepalived/scripts/haproxy_check.sh"
     interval 2
     timeout 2
     fall 3
}
vrrp_instance haproxy {
    state MASTER 
    interface eth1 
    virtual_router_id 29
    priority  150    
    authentication {         auth_type PASS         auth_pass 29     }   
    virtual_ipaddress { 
    192.168.166.29
    }
    track_script {
         chk_haproxy
    }
    notify_master "/etc/keepalived/scripts/haproxy_master.sh"
}

192.168.166.22（备）修改keepalived.conf为：Secondary配置：

global_defs { 
 
   

         router_id mq02 
    
} 
    
 
    
vrrp_script chk_haproxy 
    
{ 
    
     script "/etc/keepalived/scripts/haproxy_check.sh" 
    
     interval 2 
    
     timeout 2 
    
     fall 3 
    
} 
    
vrrp_instance haproxy { 
    
    state BACKUP  
    
    interface eth1  
    
    virtual_router_id 29 
    
    priority  100     
   
 
   

         authentication {         auth_type PASS         auth_pass 29     }    
    
    virtual_ipaddress {  
    
    192.168.166.29 
    
    } 
    
    track_script { 
    
         chk_haproxy 
    
    } 
    
    notify_master "/etc/keepalived/scripts/haproxy_master.sh" 
   
 
   

     } 
   
 
    
  
 
  

     【haproxy_check.sh文件内容】 
  
 
  

         #!/bin/bash 
  
 
  

         LOGFILE="/var/log/keepalived-haproxy-state.log" 
  
 
  

         date >> $LOGFILE 
  
 
  

         if [ `ps -C haproxy --no-header |wc -l` -eq 0 ];then 
  
 
  

         echo "fail: check_haproxy status" >> $LOGFILE 
  
 
  

         exit 1 
  
 
  

         else 
  
 
  

         echo "success: check_haproxy status" >> $LOGFILE 
  
 
  

         exit 0 
  
 
  

         fi 
  
 
  

      
  
 
  

    【haproxy_master.sh文件内容】 
  
 
  

          
   #!/bin/bash 
  
 
  

         LOGFILE="/var/log/keepalived-haproxy-state.log" 
  
 
  

         echo "Being Master ..." >> $LOGFILE 
  
 
  
赋权限  chmod 777  haproxy_check.sh  haproxy_master.sh
 
  
　　启动keepalived即可，192.168.166.29是对外提供的统一地址。通过192.168.166.29:56722就可以访问rabbitmq服务。
 
  
 
  
3、启动keepalived
 
  
#keepalived -D
 
  
4、查看keepalived是否启动
 
  

 
  

 
  

 
  
六、切换测试
 
  
1）关闭主keepalived，VIP是否切换至备机，业务是否正常，恢复原状；（验证keepalived高可用）
 
  
2）关闭主HAproxy，VIP是否切换至备机，业务是否正常，恢复原状；（验证HAproxy高可用）
 
  
3）关闭后台服务器mq01，业务是否正常。（验证HAproxy状态检查）
 
  

 
  
keepalived参考：http://blog.51cto.com/lanlian/1303195
 
  
haproxy监控页面配置参考：http://blog.csdn.net/dylan_csdn/article/details/51261421
 
 
 

 

 
 

   版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/sj349781478/article/details/78862315 
 
 


                

        

    

  



    


            

  



          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值