linux|Linux企业化运维--7.LVS负载均衡
目录
1. LVS
2. LVS的作用
3.LVS的3种工作模式
4.DR模式实现负载均衡
ARP协议
5.LVS心跳检测keepalived
6.LVS冗余——高可用
1. LVS LVS的英文全称是Linux Virtual Server,Linux虚拟服务器,是一个虚拟的服务器集群系统。在linux
内存2.6中,它已经成为内核的一部分,在此之前的内核版本则需要重新编译内核。
2. LVS的作用 LVS主要用于多服务器的负载均衡。它工作在网络层,可以实现高性能,高可用的服务器集群技术。
它廉价,可把许多低性能的服务器组合在一起形成一个超级服务器。
它易用,配置非常简单,且有多种负载均衡的方法。它稳定可靠,即使在集群的服务器中某台服务器无法正常工作,也不影响整体效果。
另外可扩展性也非常好。
优点:DR模式的负载均衡
抗负载能力强,性能高,能达到F5的60%,对内存和CPU资源消耗比较低
工作在网络4层,通过VRRP协议(仅作代理之用),具体的流量是由linux内核来处理,因此没有流量的产生。
稳定,可靠性高,自身有完美的热备方案(Keepalived+lvs)
支持多种负载均衡算法:rr(轮询),wrr(带权轮询)、lc(最小连接)、wlc(带权最小连接)
LVS工作模式有4种: (1) NAT 地址转换 (2) DR 直接路由 (3) TUN 隧道 (4) FULL-NAT
转发效率和稳定性比nginx和haproxy高
缺点:
只能做代理使用,只支持四层协议。
不支持正则处理,不支持动静分离。
文章图片
文章图片
3.LVS的3种工作模式 1、基于NAT的LVS模式负载均衡
NAT(Network AddressTranslation)即网络地址转换,其作用是通过数据报头的修改,使得位于企业内部的私有IP地址可以访问外网,以及外部用用户可以访问位于公司内部的私有IP主机.2、基于TUN的LVS负载均衡
第一步,用户通过互联网DNS服务器解析到公司负载均衡设备上面的外网地址,相对于真实服务器而言,LVS外网IP又称VIP(Virtual IPAddress),用户通过访问VIP,即可连接后端的真实服务器(Real
Server),而这一切对用户而言都是透明的,用户以为自己访问的就是真实服务器,但他并不知道自己访问的VIP仅仅是一个调度器,也不清楚后端的真实服务器到底在哪里、有多少真实服务器。
第二步,用户将请求发送至124.126.147.168,此时LVS将根据预设的算法选择后端的一台真实服务器(192.168.0.1~192.168.0.3),将数据请求包转发给真实服务器,并且在转发之前LVS会修改数据包中的目标地址以及目标端口,目标地址与目标端口将被修改为选出的真实服务器IP地址以及相应的端口。
第三步,真实的服务器将响应数据包返回给LVS调度器,调度器在得到响应的数据包后会将源地址和源端口修改为VIP及调度器相应的端口,修改完成后,由调度器将响应数据包发送回终端用户,另外,由于LVS调度器有一个连接Hash表,该表中会记录连接请求及转发信息,当同一个连接的下一个数据包发送给调度器时,从该Hash表中可以直接找到之前的连接记录,并根据记录信息选出相同的真实服务器及端口信息。
在LVS(NAT)模式的集群环境中,由于所有的数据请求及响应的数据包都需要经过LVS调度器转发,如果后端服务器的数量大于10台,则调度器就会成为整个集群环境的瓶颈。我们知道,数据请求包往往远小于响应数据包的大小。因为响应数据包中包含有客户需要的具体数据,所以LVS(TUN)的思路就是将请求与响应数据分离,让调度器仅处理数据请求,而让真实服务器响应数据包直接返回给客户端。VS/TUN工作模式拓扑结构如图3所示。其中,IP隧道(IP tunning)是一种数据包封装技术,它可以将原始数据包封装并添加新的包头(内容包括新的源地址及端口、目标地址及端口),从而实现将一个目标为调度器的VIP地址的数据包封装,通过隧道转发给后端的真实服务器(RealServer),通过将客户端发往调度器的原始数据包封装,并在其基础上添加新的数据包头(修改目标地址为调度器选择出来的真实服务器的IP地址及对应端口),LVS(TUN)模式要求真实服务器可以直接与外部网络连接,真实服务器在收到请求数据包后直接给客户端主机响应数据。3、基于DR的LVS负载均衡
在LVS(TUN)模式下,由于需要在LVS调度器与真实服务器之间创建隧道连接,这同样会增加服务器的负担。与LVS(TUN)类似,DR模式也叫直接路由模式,其体系结构如图4所示,该模式中LVS依然仅承担数据的入站请求以及根据算法选出合理的真实服务器,最终由后端真实服务器负责将响应数据包发送返回给客户端。与隧道模式不同的是,直接路由模式(DR模式)要求调度器与后端服务器必须在同一个局域网内,VIP地址需要在调度器与后端所有的服务器间共享,因为最终的真实服务器给客户端回应数据包时需要设置源IP为VIP地址,目标IP为客户端IP,这样客户端访问的是调度器的VIP地址,回应的源地址也依然是该VIP地址(真实服务器上的VIP),客户端是感觉不到后端服务器存在的。由于多台计算机都设置了同样一个VIP地址,所以在直接路由模式中要求调度器的VIP地址是对外可见的,客户端需要将请求数据包发送到调度器主机,而所有的真实服务器的VIP地址必须配置在Non-ARP的网络设备上,也就是该网络设备并不会向外广播自己的MAC及对应的IP地址,真实服务器的VIP对外界是不可见的,但真实服务器却可以接受目标地址VIP的网络请求,并在回应数据包时将源地址设置为该VIP地址。调度器根据算法在选出真实服务器后,在不修改数据报文的情况下,将数据帧的MAC地址修改为选出的真实服务器的MAC地址,通过交换机将该数据帧发给真实服务器。整个过程中,真实服务器的VIP不需要对外界可见。4.DR模式实现负载均衡 server1为调度器,负载流量均衡(基于4层即传输层进行调度,调度算法有WRR/WLC等,传输协议为TCP/UDP),server2和server3为真实服务器
【linux|Linux企业化运维--7.LVS负载均衡】server1中安装ipvsadm,用于管理LVS的策略规则,从而调度用户访问
文章图片
文章图片
文章图片
文章图片
文章图片
文章图片
文章图片
ipvsadm -A 添加规则;-t tcp协议;-s 调度;rr 轮循
ipvsadm -a: -a向tcp虚拟服务添加-r real server真实服务器-g 直连即DR模式
文章图片
pvsadm -ln:查看当前连接情况,-ln没有解析,-l有解析
文章图片
Forward:转发方式,当前是路由转发;ipvsadm策略的保存和启用
Weight:权重;
ActiveConn:当前活跃的连接数;
InActConn:当前不活跃的连接数
文章图片
运用systemctl启动,可以设置开机自启动
文章图片
内核查询模块
文章图片
添加一个对外访问的虚拟IP:172.25.134.100即 VIP,提供虚拟服务的ip地址,但最好是独立出来的IP,不要和原IP混用
文章图片
LVS-DR集群类型要求,当用户向vip发起请求时,调度器和真实服务器上必须都要有vip,因此需要给server2和server3添加虚拟IP,/32只是本机使用
server2和server3添加虚拟IP100
文章图片
此时使用真机curl 172.25.134.100,能够成功轮询server2,server3
ARP协议 ARP协议是将IP地址映射为MAC地址的协议,其在协议上使用ARP请求及ARP应答报文来实现
当真机执行arp -d 删除指定虚拟IP的ARP缓存后,将不能得到172.25.134.100的MAC地址。
再次Ping之后又可以得到,但是已经不是调度器的地址
此时curl 172.25.134.100,只有server3,已经不轮循访问,说明此时客户端向vip发起请求时,并没有经过调度器而是直接到达了真实服务器
文章图片
所以我们要防止客户端直接访问真实服务器, 需要禁掉设备的APR响应
在server2和server3真实服务器上安装ARP防火墙arptables——用于管理内核中的ARP包过滤规则表
文章图片
文章图片
只针对ARP协议,当数据包的目的地址是100时就丢弃该数据包,当从本机发送出的数据包IP是100时,mangle转换数据包源地址,这样就不会作为100被捕获MAC地址,伪装源地址IP为172.25.134.2,不会接收数据,也不会被捕获MAC
文章图片
filter表有三个链,一个是INPUT,表示外面发进来的ARP包;另外一个是OUTPUT,表示本机发出的ARP包;第三个是FORWARD,转发ARP包
-A:向规则链中追加规则
-d:指定要匹配ARP包的目的IP地址
-j:指定满足添加的规则时执行的动作
-s:指定要匹配ARP包的源ip地址
-g:直连
-r:真实服务器地址
文章图片
复制策略到server3修改启用
文章图片
文章图片
查看策略
arptables-save
文章图片
保存策略
arptables-save > /etc/sysconfig/arptables
文章图片
当真机执行arp -d 删除指定虚拟IP的ARP缓存后,将不能得到172.25.134.100的MAC地址。 再次Ping之后又可以得到,为server1的MAC地址
文章图片
本地ARP缓存的100对应是server1的MAC地址
文章图片
5.LVS心跳检测keepalived 当真实服务器宕机的时候,客户访问时当LVS匹配到宕机主机时客户端会报错,ipvsadm策略依然可以看到服务器存在,所以引入LVS高可用来解决这个问题,ipvsadm没有健康检测功能,后端服务是否正常需要通过keepalived来检测
文章图片
文章图片
删掉server1上手动设置的虚拟ip172.25.33.100
文章图片
文章图片
notification_email_from keepalived@localhost#设置通知邮件,出了问题给谁发送邮件
smtp_connect_timeout 30#超时时间
#vrrp_strict#注释vrrp_strict,这一参数功能是在出问题时抓取数据包
delay_loop 3#对后端的健康检测频率,3s
lb_algo rr#调度算法
#persistence_timeout 50#持久连接,即在多长时间内DR会将所有连接请求持续调度给一个后端
virtual_router_id85#范围255以内,一般1-254,控制哪些虚拟主机为一组,如server1和server4的virtual_router_id相同,server1为master,server4为backup,为一组。
文章图片
LVS集群策略设定,设定之后不需要手动设置VIP及ipvsadm设置的规则
文章图片
文章图片
ipvsadm -C清除设置的规则
文章图片
配置完毕,关闭server2的httpd
文章图片
之前检测到的server2消失
文章图片
文章图片
客户端client访问VS虚拟服务器,虚拟服务器发送到RS真实服务器,RS回传到客户端
6.LVS冗余——高可用 当调度器server1的lvs down掉,lvs就无法正常使用
所以要配置lvs的备用调度器server4
server4安装keepalived
文章图片
文章图片
文章图片
文章图片
修改配置文件并启动keepalived
文章图片
修改BACKUP、优先级,优先级要比server1优先级低
文章图片
当server1正常时连接正常
文章图片
关闭server1的keepalived
systemctl stop keepalived
lvs正常使用,MAC地址为server4的MAC地址
文章图片
文章图片
重新server1的keepalived
文章图片
server1比server4优先级高,重新启动时,MAC地址变为server1的MAC地址
文章图片
文章图片
推荐阅读
- Linux下面如何查看tomcat已经使用多少线程
- Beego打包部署到Linux
- Linux|109 个实用 shell 脚本
- linux定时任务contab
- 芯灵思SinlinxA33开发板Linux内核定时器编程
- day16-Linux|day16-Linux 软件管理
- 如何在阿里云linux上部署java项目
- mac|mac 链接linux服务器 如何在Mac上连接服务器
- Linux|Linux 服务器nginx相关命令
- linux笔记|linux 常用命令汇总(面向面试)