落花踏尽游何处,笑入胡姬酒肆中。这篇文章主要讲述F5 GTM DNS 知识点和实验 6 -智能DNS算法相关的知识,希望能为你提供帮助。
第六章:负载智能dns解析
6.1两层负载均衡(two-tiered load balancing)
当BIG-IP dns接收到一个dns请求,他会使用两层负载均衡的方法选择一个最好的解析结果。
1、第一次尝试,使用wide IP 的负载方法选择最好的pool池子。
2、第二次尝试,使用pool的负载方法选择最好的virtual server。
文章图片
每个pool池的三个层级轮训方法执行顺序如下:
- preferred:最优的负载方法。包含动态和静态方法。
- alternate:当preferred因为缺少度量值(metric)导致不能使用时候选择的方法,包含动态和静态,但不能基于path。通常这里选用静态。
- fallback:当alternate因为缺少服务器度量值(server metric)时候选用的方法。
全球负载均衡默认设置注:仅翻译,并未测试。
- respect fallback dependency:如果开启,并且需要使用fallback进行负载均衡,则会基于virtual server的状态进行回复,如果关闭(默认),并且使用fallback负载方案,则可能回复一个不可用virtual server。
- ignore path ttl:如果开启,将忽略path ttl,这适用于基于path负载的方法,如果关闭(默认),一旦ttl超时,他就不能作为度量值进行解析。
- verify virtual server availability:如果开启(默认),在解析这个请求之前,dns系统先检查virtual server的可用性。
文章图片
6.2静态负载方法
- round robin
- ratio
- global availability
- static persist
- drop packet
- topology
- falback ip
- return to dns
- none
文章图片
?轮询,就是顺序调用pool和pool member,如下图。
文章图片
ratio:
文章图片
权重,高权重的将会获得更多次选择。如下图。他的执行顺序是先逐个取值,进行一轮之后,再进行第二轮,对于3号,第一轮权重值被取完,则不进行第二轮取值。以此类推。
文章图片
global availability:
文章图片
这种算法下,big-ip总是会使用第一个pool和第一个vs进行回复,所以你配置的pool和pool member顺序尤为重要。只有第一个vs不能用,才会选择第二个vs。但是当第一个vs恢复,又会将第一个vs作为最优解进行回复。如下图。
文章图片
总是使用第一个可用的pool和virtual server,你可以调整顺序。如果pool1先故障,之后又恢复,则会向用户发送pool2,然后又继续发送pool1。
文章图片
文章图片
static persist:
文章图片
这个算法只能用于pool中,和global availability相似,static persist总是使用第一个可用的vs,但是不同的是他会对每一个ldns进行哈希,哈希过后,vs的顺序是不一样的,然后再取第一个可用vs作为最优解。
文章图片
当1号不可用,则会使用序列中的第二个vs作为最优解。
文章图片
drop packet:如果vs都不可用,期望啥都不回复,则可以在alternate上使用drop packet。这种情况dns会尝试解析,但如果失败,就啥都不回复,ldns等待超时然后请求其他的dns。
fallback ip:只回复fallback ip,这个ip在回复之前是不会做可用性检查的。如果你想在preferred和alternate不可用的时候使用fallbcak ip,你可以配置这个负载方法。
topology:基于拓扑的响应,取决于配置。后边详细讲。
return to dns:使用bind中对应域名的记录解析
6.3动态负载方法
- round trip time
- Completion rate
- hops
- least connnection
- kilobytes per second
- cpu
- packet rate
- virtual server capacity
- virtual server score
- quality of service
文章图片
round trip time:
文章图片
RTT使用数据中心到ldns最快的节点作为最优解,这些度量值都是由big3d同步到各个设备上。RTT是不能使用在alternate中的。如果RTT的计算结果相同,则会在相同的结果中轮询作为最优解。
文章图片
Completion rate:
文章图片
和RTT很像,Completion rate选择丢包和超时最少的vs作为最优解,同样他也不能作为alternate负载算法。
hops:
文章图片
选择一个从datecenter到ldns条数最少的节点作为最优解,它使用traceroute工具去测量跳数。
文章图片
least connnection:
文章图片
使用vs连接数最少的节点,他是通过bigip从F5设备上获得的数据,通过snmp从非F5设备上获得的数据。
文章图片
kilobytes per second :
文章图片
使用流量最小的节点。他是通过bigip从F5设备上获得的数据,通过snmp从非F5设备上获得的数据。
cpu:
文章图片
使用cpu最小的节点。他是通过bigip从F5设备上获得的数据,通过snmp从非F5设备上获得的数据。
packet rate:
文章图片
和least connnection相似,使用数据包速率最少的节点,他是通过bigip从F5设备上获得的数据,通过snmp从非F5设备上获得的数据。
文章图片
virtual server capacity:
文章图片
基于pool池中可用vs个数去配置权重,然后进行负载。
virtual server score:
文章图片
只能用于ltm上配置了score的vs。
quality of service:你可以使用以上多个度量值进行综合定义,去进行负载均衡,下图就是说你可以使用哪些度量值决定qos的算法。和其他的动态算法一样,如果其中一个度量值没有收集完数据,qos是无法进行计算的。
文章图片
举个例子,比如,我们对virtual server capacity 和round trip time定义了权重,分别是20和10.
文章图片
其中,vs_100.10.10.1的得分通过公式
(6*20+3*10)/(20+10)=5
算得为5,以此类推,分别是上图的结果,所以最优解是100.10.10.3。
6.4负载均衡算法列表(网上的)
忘记是网上找的还是官网的文档,写的不错
静态负载均衡算法
算法 | 描述 | 使用场景 |
---|---|---|
drop packet | 丢弃DNS请求 | 确保GTM不将DNS解析成不可用的IP |
fallback IP | 将DNS请求解析成指定的IP,即fallback IP ,GTM不监控这个IP可用性 | 当主用和备用都不可用时,GTM就会用fallback IP回应DNS请求,不管fallback IP 是否可用。相当于逃生通道 |
global availability | 顺序分配,只有前面的IP不可用时,才会将DNS解析到后面的服务器 | 服务器之间性能或其他方面不同,有偏好承载业务的服务器 |
None | 如果备用的负载分担方式是none,GTM直接跳过备用方式,使用fallback定义的方式进行负载分担;如果fallback方式是none,且配置了多个pool,直接使用下个pool;如果所有pool都不可用,返回一个pool的聚合地址; 如果所有地址池的首选的负载均衡方式都已经配置,且备选和fallback方式为none,当首选负载分担方式无法选出IP时,使用下一个可用的pool | 未想到使用该方式的场景 |
ratio | 按权重将DNS请求分配到不同的服务器 | 用于服务器之间性能不同,或者对某些服务器有偏好的情况 |
return to DNS | 使用本地DNS回应域名解析请求 | 用于临时将一个pool从服务中移除 |
round-robin | 轮询 | |
static persist | 根据哈希算法,将相同的IP地址的请求解析到相同的VS上 | 用于特定源地址解析到相同的VS上场景 |
topology | 根据DNS请求中的地理位置信息,返回和请求地理相近的域名解析,需要预先配置拓扑的记录 | 期望用户请求访问同区域或同数据中心的资源 |
算法 | 描述 |
---|---|
completion rate | 如果一个VS和客户LDNS在数据包交互过程中保持最小的丢包或最少的超时包,GTM将使用该VS回应DNS请求 |
CPU | GTM使用当前CPU利用率最小的VS作为DNS请求的回应 |
hops | GTM使用 和客户之间路由跳数最小的VS作为DNS请求的回应 |
kbyte/s | 使用当前处理流量最少的VS作为DNS请求的回应 |
least connection | 使用最小连接数的VS作为DNS请求的回应 |
packet rate | 使用处理包数量最少的VS作为DNS请求的回应 |
Qos | GTM在配置了针对每个VS的测量后,使用Qos分数最高的VS作为DNS请求的回应 |
RTT | 使用和客户LDNS RTT最短的 VS作为DNS请求的相应 |
VS score | 配置了如果VS使用了LTM,可以使用VS score 最高的VS作为DNS请求的回应 |
VS capacity | 如果配置了多个pool,根据每个pool可用的VS分配权重,权重最高的pool接收最多流量,同样pool中权重最高的server接收最流量,该算法所有的pool的server都会接受到流量。 |
你可以使用linux 的syslog,也可以使用高速日志存储系统,高速的日志服务器可以选择splunk,remote high-speed syslog等。高速日志系统各组件关系如下,高速日志系统搭建不做介绍。
文章图片
日志输出内容
文章图片
日志输出样式
文章图片
实验 修改wide ip的日志选项GUI
路径:DNS??GSLB : Wide IPs : Wide IP List??Properties : www.train10.com : A
配置:
- Load-Balancing Decision Log:全部勾选
文章图片
TMSH
modify gtm wideip a www.train10.com load-balancing-decision-log-verbositypool-member-selection pool-member-traversal pool-selection pool-traversal
修改log profileGUI
路径:DNS??Delivery : Profiles : Other : DNS Logging??New...
配置:
- Name:local_dns_logging_profile
- Log Publisher:default-ipsec-log-publisher
- Log Responses:enable
文章图片
TMSH
create ltm profile dns-logging local_dns_logging_profile log-publisher default-ipsec-log-publisher enable-response-logging yes
更新dns profileGUI
路径:DNS??Delivery : Profiles : DNS??Properties : dns
配置:
- Logging:enabled
- Logging Profile:local_dns_logging_profile
文章图片
TMSH
modify ltm profile dns dns enable-logging yes log-profile local_dns_logging_profile
测试使用
for i in `seq 1000`;
do sleep 1;
dig @2.2.2.1 +short www.train10.com;
done
发起访问,再通过System??Logs : Local Traffic查看日志,或者使用 tail -f /var/log/ltm进行查看。
6.6 手工恢复
在使用global availability的负载算法时候,会出现一个问题,假设最优解此时不可用了,则会使用第二个vs作为最优解,但如果第一个vs恢复,则dns解析结果又会变为第一个vs,这种情况,如果发生中断的应用无法从主站点和辅助站点之间复制数据,就可能出现数据错误问题,这时应该由管理员判断恢复时间,比如找一个流量最小的时候进行恢复,从而减小影响面。
示例
文章图片
正常情况写解析的地址是A和X但是当两个vs失效,则会解析成B和Y,但是A和X的图标会变得不一样,A会变成黑色菱形,而X会变成红色菱形,此时如果A和X恢复,左侧的会继续解析成B,并且A的图标变成黑色圆形,但是右侧的会解析成X,并且X的图标会变成绿色圆形。
文章图片
文章图片
只有管理员手工恢复才能将A的图标变为绿色圆形。
文章图片
配置位置
文章图片
6.7 基于拓扑的负载
如果你的数据中心在多个国家或者大洲有建设,那么基于拓扑的负载均衡是最好的选择,你可以配置ip的地理位置,或者使用F5提供的地理信息数据,再或者你可以购买第三方的数据库,dns将会提供一个最近的vs作为最优解。
【F5 GTM DNS 知识点和实验 6 -智能DNS算法】
文章图片
基于拓扑的负载均衡算法可以用于wide ip选择pool池,也可以应用在pool池选择vs的时候。
配置步骤:
- 创建一个区域(可选)
- 创建拓扑记录
- 将基于拓扑的负载均衡算法应用于wide IP或者pool
文章图片
如果在wide IP选择一个pool池的时候,没有对应的拓扑记录,则会使用轮询的算法进行负载,如果在pool选一个vs的时候,没有找到对应的拓扑记录,则会使用alternate负载均衡算法。
big-ip 使用ip geolocation database存储ip地理信息,默认的数据库中提供ipv4的大洲、国家、市县、运营商和组织信息,提供ipv6的大洲和国家信息。
默认的数据库文件被存放在/usr/share/GeoIP/文件夹下,更新的话请参照http://downloads.f5.com,把下载的文件放置在/shared/GeoIP/文件夹中。
自定义记录你还可以自定义,topology的记录存储在bigip_gtm.conf下。格式如下:
- an ldns request source statement
- a destination statement
- an operator
- a weight
理解topology的匹配规则拓扑记录的顺序取决于配置内容和是否打开了最长匹配。
最长匹配开启之后,为确保查询最快,会自动更改拓扑记录的顺序,将最最长匹配记录放在列表最顶端,而最短匹配放在底部。
选取过程先根wide ip的配置去匹配拓扑数据destination信息,再通过operator(is OR is not)进行判断ldns ip是否满足source的配置,如果满足就得分,如果不满足就不得分,最后选择的跟高的条目作为最优解。
基于拓扑从wide ip中选pool例子:
文章图片
在这个例子中,wide ip 使用基于拓扑的负载均衡算法去选择最优解,当一个请求发来,会先根据wide ip的配置发现有两个pool池作为备选,分别是p1和p2,这时匹配到两个拓扑条目,再查找ldns ip是否是欧洲地址,在进行比较,如果是欧洲地址,则第一条得分高,返回vs1,如果不是欧洲地址,则第二条得分高,返回vs2。
文章图片
上边这个配置是一个有问题的配置,我们来看一下,当一个请求发来,会先根据wide ip的配置发现有两个pool池作为备选,分别是p1和p2,这时匹配到两个拓扑条目,当ldns ip不是100.10.17.20的时候,第一条没有匹配上,所以不得分,第二条匹配上,所以得5分,所以第二条作为最优解。但是如果ldns ip 是100.10.17.20的时候,第一条匹配上,得4分,第二条因为是0.0.0.0/0,表示所有,所以第二条得5分,5分优于4分,所以依然会将第二条作为最优解,显然这不是我们想要的结果,我们只要调整第一条的score值到6,就可以避免这种情况出现。
文章图片
再看下一个例子,这个例子的每一个score都是5,你通过上边相同的解析过程会发现ip为100.10.17.20的ldsn最优解会在p1、p2、p3中间轮询,而ip为100.10.17.0/24的ldsn最优解会在p2、p3中间轮询,其他的ldns最优解是p3。这样也是不符合预期的,我们应该将明细的score值调高,这样才能返回唯一的最优解。
基于拓扑从pool中选vs
文章图片
选择过程和wide ip选择pool是一样的,如果ldns ip在150.0.0.0/8内,则选择seattle作为最优解,否则选择london作为最优解。
文章图片
这个配置,由于它指定了,只有vs是10.10.18.0/24的,且ldns是美国的,才会得分,其他的都不能得分,所以美国的ldns解析的结果一定是在10.10.18.0/24这个范围内。其他地区的ldns解析的结果一定在10.10.19.0/24这个范围内。
实验在实验之前需要在创建一个pool池,并且pool中包含至少两个vs,建议ttl配置成1,并将新建的train10_http2_pool关联到www.train10.com中。
create ltm pool gtm_a_80 members add 172.16.20.5:80 monitor gateway_icmp create ltm virtual gtm_a_80 destination 16.16.16.16:80 pool gtm_a_80 create ltm virtual gtm_a_80_2 destination 17.17.17.17:80 pool gtm_a_80 create gtm pool a train10_http2_pool ttl 1 members addseattle_dns_server:/Common/gtm_a_80 seattle_dns_server:/Common/gtm_a_80_2load-balancing-mode lowest-round-trip-time modify gtm wideip a www.train10.com pools addtrain10_http2_pool
创建一个topology记录GUI
路径:DNS??GSLB : Topology : Records??New Topology...
配置:
文章图片
TMSH
create gtm topology ldns: continent EU server: pool train10_http1_pool score 100
在创建一个非欧洲的解析到train10_http2_pool中。
create gtm topology ldns: not continent EU server: pool train10_http2_pool score 99
修改www.train10.com的负载均衡算法为Topology
modify gtm wideip a www.train10.com pool-lb-mode topology
测试:在centos2上使用
for i in `seq 1000`;
do sleep 1;
dig @2.2.2.1 +short www.train10.com;
done
发现解析的地址在train10_http1_pool内,而在centos1上执行此命令,发现解析的地址在train10_http2_pool内。
推荐阅读
- #yyds干货盘点#Spring源码三千问Spring AOP 中 TargetSource 的作用及原理分析
- 后台应用架构(单体SOA微服务)理解
- MySQL主从复制与读写分离解析和图文详细步骤
- 线程和进程有什么区别(转载)
- CentOS笔记
- Shell编程基础)
- F5 GTM DNS 知识点和实验 7 -同步组
- Python在Kivy中的RecycleView用法示例
- Python使用.kv文件的Kivy中的相对布局