部署LVS-DR群集

最新推荐文章于 2024-10-09 16:15:55 发布

Obsession1234

最新推荐文章于 2024-10-09 16:15:55 发布

阅读量635

点赞数 24

文章标签： lvs 服务器网络

本文链接：https://blog.csdn.net/lxplxplike/article/details/139592699

版权

1.在LVS-DR负载均衡集群中，负载均衡器与节点服务器都要配置相同的VIP地址；在局域网中具有相同的IP地址，势必会造成各服务器ARP通信的紊乱。

2.路由器根据ARP表项，会将新来的请求报文转发给Real Server，导致Director的VIP失效。

前言

DR模式名词解释

DS（Director Server）	调度器，lvs的前端设备（调度器）
RS（Real SERVER）	真正提供服务的后端服务器（节点服务器）
RIP（RealServer IP）	后端服务器的ip地址
DIP	调度器和后端服务器通信的ip
CIP（Client IP）	源IP （客户端的IP）
VIP（Virtual IP）	目的IP （设置的统一入口），对外公布的ip，客户请求进来的ip
源MAC地址	DS调度器的MAC地址
目的MAC地址	RS真正服务器的MAC地址

一.LVS-DR数据包流向分析

1.数据包流向分析

（1）客户端发送请求到 Director Server（负载均衡器），请求的数据报文（源 IP 是 CIP,目标 IP 是 VIP）到达内核空间。

（2）Director Server 和 Real Server 在同一个网络中，数据通过二层数据链路层来传输。

（3）内核空间判断数据包的目标IP是本机VIP，此时IPVS（IP虚拟服务器）比对数据包请求的服务是否是集群服务，是集群服务就重新封装数据包。修改源 MAC 地址为 Director Server 的 MAC地址，修改目标 MAC 地址为 Real Server 的 MAC 地址，源 IP 地址与目标 IP 地址没有改变，然后将数据包发送给 Real Server。

（4）到达 Real Server 的请求报文的 MAC 地址是自身的 MAC 地址，就接收此报文。数据包重新封装报文(源 IP 地址为 VIP，目标 IP 为 CIP)，将响应报文通过 lo 接口传送给物理网卡然后向外发出。

（5）Real Server 直接将响应报文传送到客户端。

2.DR 模式的特点

（1）Director Server（调度器）和 Real Server（节点服务器）必须在同一个物理网络中。

（2）Real Server 可以使用私有地址，也可以使用公网地址。如果使用公网地址，可以通过互联

网对 RIP 进行直接访问。

（3）Director Server作为群集的访问入口，但不作为网关使用。

（4）所有的请求报文经由 Director Server，但回复响应报文不能经过 Director Server。

（5）Real Server 的网关不允许指向 Director Server IP，即Real Server发送的数据包不允许经

过 Director Server。

（6）Real Server 上的 lo 接口配置 VIP 的 IP 地址。

二.LVS-DR中的ARP问题

1.在LVS-DR负载均衡集群中，负载均衡器与节点服务器都要配置相同的VIP地址；在局域网中具有相同的IP地址，势必会造成各服务器ARP通信的紊乱。

（1）当ARP广播发送到LVS-DR集群时，因为负载均衡器和节点服务器都是连接到相同的网络上，它们都会接收到ARP广播

（2）只有前端的负载均衡器进行响应，其他节点服务器不应该响应ARP广播

解决办法：

对节点服务器进行处理，使其不响应针对VIP的ARP请求

使用虚接口lo:0承载VIP地址

设置内核参数arp_ignore=1：系统只响应目的IP为本地IP的ARP请求

2.路由器根据ARP表项，会将新来的请求报文转发给Real Server，导致Director的VIP失效。

（1）RealServer返回报文（源IP是VIP）经路由器转发，重新封装报文时，需要先获取路由器的MAC地址。

（2）发送ARP请求时，Linux默认使用IP包的源IP地址（即VIP）作为ARP请求包中的源IP地址，而不使用发送接口的IP地址。

（3）路由器收到ARP请求后，将更新ARP表项。原有的VIP对应Director的MAC地址，会被更新为VIP对应的Real Server的MAC地址。导致网关设备的ARP缓存表紊乱。

解决方法：

对节点服务器进行处理，设置内核参数arp announce=2:系统不使用IP包的源地址来设置ARP请求的源地址，而选择发送接口的IP地址；

解决ARP的两个问题的设置方法

三.构建LVS-DR群集

准备四台虚拟机

一台做NFS共享服务为192.168.10.40

两台为web服务器作为节点服务器分别为192.168.10.20 和192.168.10.30

还有一台做DR服务器为192.168.10.10

其中设置虚拟IP（VIP）为192.168.10.100

1.构建NFS共享存储服务

（1）关闭防火墙

systemctl disable --now firewalld.service 
setenforce 0
vim /etc/sysconfig/selinux

（2）安装 nfs-utils 和 rpcbind （默认已安装）

yum install -y nfs-tils rpcbind

（3）创建共享目录并输入内容

 mkdir /share/{xy101,xy102} -p

echo '<h1>this is xy101 web!</h1>' > /share/xy101/test.html
echo '<h1>this is xy102 web!</h1>' > /share/xy102/test.html

vim /etc/exports

/share/xy101 192.168.10.0/24(ro) （仅读）
/share/xy102 192.168.10.0/24(ro)

（4）查看共享目录

systemctl enable --now rpcbind nfs

showmount -e

2.构建节点服务器

（1）关闭防火墙

systemctl disable --now firewalld.service 
setenforce 0
vim /etc/sysconfig/selinux

（2）启动 rpcbind 服务并查看共享目录

systemctl start rpcbind
showmount -e 192.168.10.40

（3）安装 nginx 并启动（我这里使用在线源安装）

yum install -y nginx
systemctl start nginx

（4）配置虚拟 IP 地址

cd /etc/sysconfig/network-scripts/
cp ifcfg-lo ifcfg-lo:0
vim ifcfg-lo:0

systemctl restart network
ifconfig

重启 nginx 并设置开机自启

systemctl restart nginx
systemctl enable nginx

（5）调整内核的 ARP 响应参数以阻止更新 VIP 的 MAC 地址，避免发生冲突

vim /etc/sysctl.conf

net.ipv4.conf.lo.arp_ignore = 1   
net.ipv4.conf.lo.arp_announce = 2 
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2

sysctl -p

（6）设置路由和添加挂载目录

route add -host 192.168.10.100 lo:0

mount 192.168.10.40:/share/xy101 /usr/share/nginx/html/

route add -host 192.168.10.100 dev lo:0

mount 192.168.10.40:/share/xy102 /usr/share/nginx/html/

（7）关闭长连接

vim /etc/nginx/nginx.conf
systemctl restart nginx

3.配置负载调度器

（1）关闭防火墙

systemctl disable --now firewalld.service 
setenforce 0
vim /etc/sysconfig/selinux

（2）安装 ipvsadm 并创建相关文件

yum install -y ipvsadm

touch /etc/sysconfig/ipvsadm

开启服务并查看状态
systemctl start ipvsadm
systemctl status ipvsadm

modprobe ip_vs

查看ip_vs的方法

lsmod
cat /proc/net/ip_vs

（3）配置虚拟 IP 地址

cd /etc/sysconfig/network-scripts/

cp ifcfg-lo ifcfg-ens33:0

vim ifcfg-ens33:0

systemctl restart network

ifconfig

（4）调整 proc 响应参数

vim /etc/sysctl.conf

net.ipv4.ip_forward = 0
net.ipv4.conf.all.send_redirects = 0
net.ipv4.conf.default.send_redirects = 0
net.ipv4.conf.ens33.send_redirects = 0

sysctl -p

（5）配置负载分配策略

ipvsadm -A -t 192.168.10.100:80 -s rr

ipvsadm -a -t 192.168.10.100:80 -r 192.168.10.20:80 -g

ipvsadm -a -t 192.168.10.100:80 -r 192.168.10.30:80 -g

ipvsadm

清空策略和保存策略

ipvsadm -C         #清空策略

ipvsadm-save -n > /opt/ipvsadm.bak     #保存策略

ipvsadm -ln        #查看策略

4.测试 LVS 群集

http://192.168.10.100/test.html

总结：

LVS-DR模式部署

（1）部署NFS共享存储

（2）部署Web服务器，注意：配置lo:0虚接口承载VIP；修改内核参数 arp_ignore=1、

arp_announce=2防止网关ARP紊乱问题；添加路由 route add -host <VIP> dev lo:0

（3）部署调度器，注意：配置ensXX:0虚接口承载VIP；修改内核参数ip_forward=0、

send_redirects=0关闭IP转发和重定向功能；安装ipvsadm工具，添加虚拟服务器和真实服务器

的配置，使用-g选项选择LVS-DR模式；

（4）客户端访问VIP进行测试，注意：如何客户端跨网段，则调度器和节点服务器的默认网关要

指向网关路由器的地址；