F5 GTM DNS 知识点和实验 6 -智能DNS算法

落花踏尽游何处,笑入胡姬酒肆中。这篇文章主要讲述F5 GTM DNS 知识点和实验 6 -智能DNS算法相关的知识,希望能为你提供帮助。
第六章:负载智能dns解析 6.1两层负载均衡(two-tiered load balancing)
当BIG-IP dns接收到一个dns请求,他会使用两层负载均衡的方法选择一个最好的解析结果。
1、第一次尝试,使用wide IP 的负载方法选择最好的pool池子。
2、第二次尝试,使用pool的负载方法选择最好的virtual server。

F5 GTM DNS 知识点和实验 6 -智能DNS算法

文章图片

每个pool池的三个层级轮训方法执行顺序如下:
  • preferred:最优的负载方法。包含动态和静态方法。
  • alternate:当preferred因为缺少度量值(metric)导致不能使用时候选择的方法,包含动态和静态,但不能基于path。通常这里选用静态。
  • fallback:当alternate因为缺少服务器度量值(server metric)时候选用的方法。
最优解当然是通过preferred的负载方法计算得出,但是当度量值(metric)还没有收集完成,动态负载均衡算法无法使用,这时候就需要使用alternate的静态算法,但是也可能由于到vs的网络不通,导致无法检测vs是否可用,这时候,fallback作为兜底方法将会被启用。
全球负载均衡默认设置注:仅翻译,并未测试。
  • respect fallback dependency:如果开启,并且需要使用fallback进行负载均衡,则会基于virtual server的状态进行回复,如果关闭(默认),并且使用fallback负载方案,则可能回复一个不可用virtual server。
  • ignore path ttl:如果开启,将忽略path ttl,这适用于基于path负载的方法,如果关闭(默认),一旦ttl超时,他就不能作为度量值进行解析。
  • verify virtual server availability:如果开启(默认),在解析这个请求之前,dns系统先检查virtual server的可用性。
F5 GTM DNS 知识点和实验 6 -智能DNS算法

文章图片

6.2静态负载方法
  • round robin
  • ratio
  • global availability
  • static persist
  • drop packet
  • topology
  • falback ip
  • return to dns
  • none
round robin:
F5 GTM DNS 知识点和实验 6 -智能DNS算法

文章图片

?轮询,就是顺序调用pool和pool member,如下图。
F5 GTM DNS 知识点和实验 6 -智能DNS算法

文章图片

ratio:
F5 GTM DNS 知识点和实验 6 -智能DNS算法

文章图片

权重,高权重的将会获得更多次选择。如下图。他的执行顺序是先逐个取值,进行一轮之后,再进行第二轮,对于3号,第一轮权重值被取完,则不进行第二轮取值。以此类推。
F5 GTM DNS 知识点和实验 6 -智能DNS算法

文章图片

global availability:
F5 GTM DNS 知识点和实验 6 -智能DNS算法

文章图片

这种算法下,big-ip总是会使用第一个pool和第一个vs进行回复,所以你配置的pool和pool member顺序尤为重要。只有第一个vs不能用,才会选择第二个vs。但是当第一个vs恢复,又会将第一个vs作为最优解进行回复。如下图。
F5 GTM DNS 知识点和实验 6 -智能DNS算法

文章图片

总是使用第一个可用的pool和virtual server,你可以调整顺序。如果pool1先故障,之后又恢复,则会向用户发送pool2,然后又继续发送pool1。
F5 GTM DNS 知识点和实验 6 -智能DNS算法

文章图片

F5 GTM DNS 知识点和实验 6 -智能DNS算法

文章图片

static persist:
F5 GTM DNS 知识点和实验 6 -智能DNS算法

文章图片

这个算法只能用于pool中,和global availability相似,static persist总是使用第一个可用的vs,但是不同的是他会对每一个ldns进行哈希,哈希过后,vs的顺序是不一样的,然后再取第一个可用vs作为最优解。
F5 GTM DNS 知识点和实验 6 -智能DNS算法

文章图片

当1号不可用,则会使用序列中的第二个vs作为最优解。
F5 GTM DNS 知识点和实验 6 -智能DNS算法

文章图片

drop packet:如果vs都不可用,期望啥都不回复,则可以在alternate上使用drop packet。这种情况dns会尝试解析,但如果失败,就啥都不回复,ldns等待超时然后请求其他的dns。
fallback ip:只回复fallback ip,这个ip在回复之前是不会做可用性检查的。如果你想在preferred和alternate不可用的时候使用fallbcak ip,你可以配置这个负载方法。
topology:基于拓扑的响应,取决于配置。后边详细讲。
return to dns:使用bind中对应域名的记录解析
6.3动态负载方法
  • round trip time
  • Completion rate
  • hops
  • least connnection
  • kilobytes per second
  • cpu
  • packet rate
  • virtual server capacity
  • virtual server score
  • quality of service
F5 GTM DNS 知识点和实验 6 -智能DNS算法

文章图片

round trip time:
F5 GTM DNS 知识点和实验 6 -智能DNS算法

文章图片

RTT使用数据中心到ldns最快的节点作为最优解,这些度量值都是由big3d同步到各个设备上。RTT是不能使用在alternate中的。如果RTT的计算结果相同,则会在相同的结果中轮询作为最优解。
F5 GTM DNS 知识点和实验 6 -智能DNS算法

文章图片

Completion rate:
F5 GTM DNS 知识点和实验 6 -智能DNS算法

文章图片

和RTT很像,Completion rate选择丢包和超时最少的vs作为最优解,同样他也不能作为alternate负载算法。
hops:
F5 GTM DNS 知识点和实验 6 -智能DNS算法

文章图片

选择一个从datecenter到ldns条数最少的节点作为最优解,它使用traceroute工具去测量跳数。
F5 GTM DNS 知识点和实验 6 -智能DNS算法

文章图片

least connnection:
F5 GTM DNS 知识点和实验 6 -智能DNS算法

文章图片

使用vs连接数最少的节点,他是通过bigip从F5设备上获得的数据,通过snmp从非F5设备上获得的数据。
F5 GTM DNS 知识点和实验 6 -智能DNS算法

文章图片

kilobytes per second :
F5 GTM DNS 知识点和实验 6 -智能DNS算法

文章图片

使用流量最小的节点。他是通过bigip从F5设备上获得的数据,通过snmp从非F5设备上获得的数据。
cpu:
F5 GTM DNS 知识点和实验 6 -智能DNS算法

文章图片

使用cpu最小的节点。他是通过bigip从F5设备上获得的数据,通过snmp从非F5设备上获得的数据。
packet rate:
F5 GTM DNS 知识点和实验 6 -智能DNS算法

文章图片

和least connnection相似,使用数据包速率最少的节点,他是通过bigip从F5设备上获得的数据,通过snmp从非F5设备上获得的数据。
F5 GTM DNS 知识点和实验 6 -智能DNS算法

文章图片

virtual server capacity:
F5 GTM DNS 知识点和实验 6 -智能DNS算法

文章图片

基于pool池中可用vs个数去配置权重,然后进行负载。
virtual server score:
F5 GTM DNS 知识点和实验 6 -智能DNS算法

文章图片

只能用于ltm上配置了score的vs。
quality of service:你可以使用以上多个度量值进行综合定义,去进行负载均衡,下图就是说你可以使用哪些度量值决定qos的算法。和其他的动态算法一样,如果其中一个度量值没有收集完数据,qos是无法进行计算的。
F5 GTM DNS 知识点和实验 6 -智能DNS算法

文章图片

举个例子,比如,我们对virtual server capacity 和round trip time定义了权重,分别是20和10.
F5 GTM DNS 知识点和实验 6 -智能DNS算法

文章图片

其中,vs_100.10.10.1的得分通过公式
(6*20+3*10)/(20+10)=5

算得为5,以此类推,分别是上图的结果,所以最优解是100.10.10.3。
6.4负载均衡算法列表(网上的)
忘记是网上找的还是官网的文档,写的不错
静态负载均衡算法
算法 描述 使用场景
drop packet 丢弃DNS请求 确保GTM不将DNS解析成不可用的IP
fallback IP 将DNS请求解析成指定的IP,即fallback IP ,GTM不监控这个IP可用性 当主用和备用都不可用时,GTM就会用fallback IP回应DNS请求,不管fallback IP 是否可用。相当于逃生通道
global availability 顺序分配,只有前面的IP不可用时,才会将DNS解析到后面的服务器 服务器之间性能或其他方面不同,有偏好承载业务的服务器
None 如果备用的负载分担方式是none,GTM直接跳过备用方式,使用fallback定义的方式进行负载分担;如果fallback方式是none,且配置了多个pool,直接使用下个pool;如果所有pool都不可用,返回一个pool的聚合地址; 如果所有地址池的首选的负载均衡方式都已经配置,且备选和fallback方式为none,当首选负载分担方式无法选出IP时,使用下一个可用的pool 未想到使用该方式的场景
ratio 按权重将DNS请求分配到不同的服务器 用于服务器之间性能不同,或者对某些服务器有偏好的情况
return to DNS 使用本地DNS回应域名解析请求 用于临时将一个pool从服务中移除
round-robin 轮询
static persist 根据哈希算法,将相同的IP地址的请求解析到相同的VS上 用于特定源地址解析到相同的VS上场景
topology 根据DNS请求中的地理位置信息,返回和请求地理相近的域名解析,需要预先配置拓扑的记录 期望用户请求访问同区域或同数据中心的资源
动态负载均衡算法动态负载算法根据big3d agent收集的当前性能的指标和指定的算法,返回指定IP。
算法 描述
completion rate 如果一个VS和客户LDNS在数据包交互过程中保持最小的丢包或最少的超时包,GTM将使用该VS回应DNS请求
CPU GTM使用当前CPU利用率最小的VS作为DNS请求的回应
hops GTM使用 和客户之间路由跳数最小的VS作为DNS请求的回应
kbyte/s 使用当前处理流量最少的VS作为DNS请求的回应
least connection 使用最小连接数的VS作为DNS请求的回应
packet rate 使用处理包数量最少的VS作为DNS请求的回应
Qos GTM在配置了针对每个VS的测量后,使用Qos分数最高的VS作为DNS请求的回应
RTT 使用和客户LDNS RTT最短的 VS作为DNS请求的相应
VS score 配置了如果VS使用了LTM,可以使用VS score 最高的VS作为DNS请求的回应
VS capacity 如果配置了多个pool,根据每个pool可用的VS分配权重,权重最高的pool接收最多流量,同样pool中权重最高的server接收最流量,该算法所有的pool的server都会接受到流量。
6.5 日志 LOG
你可以使用linux 的syslog,也可以使用高速日志存储系统,高速的日志服务器可以选择splunk,remote high-speed syslog等。高速日志系统各组件关系如下,高速日志系统搭建不做介绍。
F5 GTM DNS 知识点和实验 6 -智能DNS算法

文章图片

日志输出内容
F5 GTM DNS 知识点和实验 6 -智能DNS算法

文章图片

日志输出样式
F5 GTM DNS 知识点和实验 6 -智能DNS算法

文章图片

实验 修改wide ip的日志选项GUI
路径:DNS??GSLB : Wide IPs : Wide IP List??Properties : www.train10.com : A
配置:
  • Load-Balancing Decision Log:全部勾选
F5 GTM DNS 知识点和实验 6 -智能DNS算法

文章图片

TMSH
modify gtm wideip a www.train10.com load-balancing-decision-log-verbositypool-member-selection pool-member-traversal pool-selection pool-traversal

修改log profileGUI
路径:DNS??Delivery : Profiles : Other : DNS Logging??New...
配置:
  • Name:local_dns_logging_profile
  • Log Publisher:default-ipsec-log-publisher
  • Log Responses:enable
F5 GTM DNS 知识点和实验 6 -智能DNS算法

文章图片

TMSH
create ltm profile dns-logging local_dns_logging_profile log-publisher default-ipsec-log-publisher enable-response-logging yes

更新dns profileGUI
路径:DNS??Delivery : Profiles : DNS??Properties : dns
配置:
  • Logging:enabled
  • Logging Profile:local_dns_logging_profile
F5 GTM DNS 知识点和实验 6 -智能DNS算法

文章图片

TMSH
modify ltm profile dns dns enable-logging yes log-profile local_dns_logging_profile

测试使用
for i in `seq 1000`; do sleep 1; dig @2.2.2.1 +short www.train10.com; done

发起访问,再通过System??Logs : Local Traffic查看日志,或者使用 tail -f /var/log/ltm进行查看。
6.6 手工恢复
在使用global availability的负载算法时候,会出现一个问题,假设最优解此时不可用了,则会使用第二个vs作为最优解,但如果第一个vs恢复,则dns解析结果又会变为第一个vs,这种情况,如果发生中断的应用无法从主站点和辅助站点之间复制数据,就可能出现数据错误问题,这时应该由管理员判断恢复时间,比如找一个流量最小的时候进行恢复,从而减小影响面。
示例
F5 GTM DNS 知识点和实验 6 -智能DNS算法

文章图片

正常情况写解析的地址是A和X但是当两个vs失效,则会解析成B和Y,但是A和X的图标会变得不一样,A会变成黑色菱形,而X会变成红色菱形,此时如果A和X恢复,左侧的会继续解析成B,并且A的图标变成黑色圆形,但是右侧的会解析成X,并且X的图标会变成绿色圆形。
F5 GTM DNS 知识点和实验 6 -智能DNS算法

文章图片

F5 GTM DNS 知识点和实验 6 -智能DNS算法

文章图片

只有管理员手工恢复才能将A的图标变为绿色圆形。
F5 GTM DNS 知识点和实验 6 -智能DNS算法

文章图片

配置位置
F5 GTM DNS 知识点和实验 6 -智能DNS算法

文章图片

6.7 基于拓扑的负载
如果你的数据中心在多个国家或者大洲有建设,那么基于拓扑的负载均衡是最好的选择,你可以配置ip的地理位置,或者使用F5提供的地理信息数据,再或者你可以购买第三方的数据库,dns将会提供一个最近的vs作为最优解。
【F5 GTM DNS 知识点和实验 6 -智能DNS算法】
F5 GTM DNS 知识点和实验 6 -智能DNS算法

文章图片

基于拓扑的负载均衡算法可以用于wide ip选择pool池,也可以应用在pool池选择vs的时候。
配置步骤:
  • 创建一个区域(可选)
  • 创建拓扑记录
  • 将基于拓扑的负载均衡算法应用于wide IP或者pool
F5 GTM DNS 知识点和实验 6 -智能DNS算法

文章图片

如果在wide IP选择一个pool池的时候,没有对应的拓扑记录,则会使用轮询的算法进行负载,如果在pool选一个vs的时候,没有找到对应的拓扑记录,则会使用alternate负载均衡算法。
big-ip 使用ip geolocation database存储ip地理信息,默认的数据库中提供ipv4的大洲、国家、市县、运营商和组织信息,提供ipv6的大洲和国家信息。
默认的数据库文件被存放在/usr/share/GeoIP/文件夹下,更新的话请参照http://downloads.f5.com,把下载的文件放置在/shared/GeoIP/文件夹中。
自定义记录你还可以自定义,topology的记录存储在bigip_gtm.conf下。格式如下:
  • an ldns request source statement
  • a destination statement
  • an operator
  • a weight
其中source和destination可以是大洲、国家、运营商,子网等信息,operator可以填入is或者is not,weight作为权重,在多条记录同时被匹配上时weight值高的将会被选为最优解。
理解topology的匹配规则拓扑记录的顺序取决于配置内容和是否打开了最长匹配。
最长匹配开启之后,为确保查询最快,会自动更改拓扑记录的顺序,将最最长匹配记录放在列表最顶端,而最短匹配放在底部。
选取过程先根wide ip的配置去匹配拓扑数据destination信息,再通过operator(is OR is not)进行判断ldns ip是否满足source的配置,如果满足就得分,如果不满足就不得分,最后选择的跟高的条目作为最优解。
基于拓扑从wide ip中选pool例子:
F5 GTM DNS 知识点和实验 6 -智能DNS算法

文章图片

在这个例子中,wide ip 使用基于拓扑的负载均衡算法去选择最优解,当一个请求发来,会先根据wide ip的配置发现有两个pool池作为备选,分别是p1和p2,这时匹配到两个拓扑条目,再查找ldns ip是否是欧洲地址,在进行比较,如果是欧洲地址,则第一条得分高,返回vs1,如果不是欧洲地址,则第二条得分高,返回vs2。
F5 GTM DNS 知识点和实验 6 -智能DNS算法

文章图片

上边这个配置是一个有问题的配置,我们来看一下,当一个请求发来,会先根据wide ip的配置发现有两个pool池作为备选,分别是p1和p2,这时匹配到两个拓扑条目,当ldns ip不是100.10.17.20的时候,第一条没有匹配上,所以不得分,第二条匹配上,所以得5分,所以第二条作为最优解。但是如果ldns ip 是100.10.17.20的时候,第一条匹配上,得4分,第二条因为是0.0.0.0/0,表示所有,所以第二条得5分,5分优于4分,所以依然会将第二条作为最优解,显然这不是我们想要的结果,我们只要调整第一条的score值到6,就可以避免这种情况出现。
F5 GTM DNS 知识点和实验 6 -智能DNS算法

文章图片

再看下一个例子,这个例子的每一个score都是5,你通过上边相同的解析过程会发现ip为100.10.17.20的ldsn最优解会在p1、p2、p3中间轮询,而ip为100.10.17.0/24的ldsn最优解会在p2、p3中间轮询,其他的ldns最优解是p3。这样也是不符合预期的,我们应该将明细的score值调高,这样才能返回唯一的最优解。
基于拓扑从pool中选vs
F5 GTM DNS 知识点和实验 6 -智能DNS算法

文章图片

选择过程和wide ip选择pool是一样的,如果ldns ip在150.0.0.0/8内,则选择seattle作为最优解,否则选择london作为最优解。
F5 GTM DNS 知识点和实验 6 -智能DNS算法

文章图片

这个配置,由于它指定了,只有vs是10.10.18.0/24的,且ldns是美国的,才会得分,其他的都不能得分,所以美国的ldns解析的结果一定是在10.10.18.0/24这个范围内。其他地区的ldns解析的结果一定在10.10.19.0/24这个范围内。
实验在实验之前需要在创建一个pool池,并且pool中包含至少两个vs,建议ttl配置成1,并将新建的train10_http2_pool关联到www.train10.com中。
create ltm pool gtm_a_80 members add 172.16.20.5:80 monitor gateway_icmp create ltm virtual gtm_a_80 destination 16.16.16.16:80 pool gtm_a_80 create ltm virtual gtm_a_80_2 destination 17.17.17.17:80 pool gtm_a_80 create gtm pool a train10_http2_pool ttl 1 members addseattle_dns_server:/Common/gtm_a_80 seattle_dns_server:/Common/gtm_a_80_2load-balancing-mode lowest-round-trip-time modify gtm wideip a www.train10.com pools addtrain10_http2_pool

创建一个topology记录GUI
路径:DNS??GSLB : Topology : Records??New Topology...
配置:
F5 GTM DNS 知识点和实验 6 -智能DNS算法

文章图片

TMSH
create gtm topology ldns: continent EU server: pool train10_http1_pool score 100

在创建一个非欧洲的解析到train10_http2_pool中。
create gtm topology ldns: not continent EU server: pool train10_http2_pool score 99

修改www.train10.com的负载均衡算法为Topology
modify gtm wideip a www.train10.com pool-lb-mode topology

测试:在centos2上使用
for i in `seq 1000`; do sleep 1; dig @2.2.2.1 +short www.train10.com; done

发现解析的地址在train10_http1_pool内,而在centos1上执行此命令,发现解析的地址在train10_http2_pool内。

    推荐阅读