HDFS机架感知 HDFS机架感知

Hadoop版本：2.9.2

什么是机架感知通常大型 Hadoop 集群是以机架的形式来组织的，同一个机架上的不同节点间的网络状况比不同机架之间的更为理想，NameNode 设法将数据块副本保存在不同的机架上以提高容错性。
HDFS 不能够自动判断集群中各个 DataNode 的网络状况情况，Hadoop 允许集群的管理员通过配置 net.topology.script.file.name 参数来确定节点所处的机架，配置文件提供了 ip 到 rackid 的翻译。NameNode 通过这个配置知道集群中各个 DataNode 机器的 rackid。如果 net.topology.script.file.name 没有设定，则每个 ip 都会被翻译成 /default-rack。机器感知如下图所示：

文章图片

图中的 D 和 R 是交换机，H 是 DataNode，则 H1 的 rackid = /D1/R1/H1，有了 rackid 信息（这些 rackid 信息可以通过 net.topology.script.file.name 配置）就可以计算出任意两台 DataNode 之间的距离。

distance(/D1/R1/H1 , /D1/R1/H1) = 0 相同的 DataNode
distance(/D1/R1/H1 , /D1/R1/H2) = 2 同 rack 下的不同 DataNode
distance(/D1/R1/H1 , /D1/R2/H4) = 4 同 IDC 下的不同 DataNode
distance(/D1/R1/H1 , /D2/R3/H7) = 6 不同 IDC 下的 DataNode

说明：

当没有配置机架信息时，所有的机器 Hadoop 都在同一个默认的机架下，名为 "/defult-rack"，这种情况的任何一台 DataNode 机器，bug物理上是否属于同一个机架，都会被认为是在同一个机架下。
一旦配置 net.topology.script.file.name，就按照网络拓扑结构来寻找 DataNode：net.topology.script.file.name 这个配置选项的 value 指定为一个可执行程序，通常为一个脚本。

Hadoop机架感知的作用不开启机架感知的缺点默认情况下，hadoop 的机架感知是没有被启用的。所以，在通常情况下，hadoop 集群的 HDFS 在选机器的时候，是随机选择的。
也就是说，如果实际节点不完全在相同的机架，但是又没有配置机架感知很有可能在写数据时：
hadoop 将第一块数据 block1 写到了 rack1 上，然后随机的选择下将 block2 写入到了 rack2 下，此时两个 rack 之间产生了数据传输的流量，再接下来，在随机的情况下，又将 block3 重新又写回了 rack1，此时，两个 rack 之间又产生了一次数据流量。在 job 处理的数据量非常的大，或者往 hadoop 推送的数据量非常大的时候，这种情况会造成 rack 之间的网络流量成倍的上升，成为性能的瓶颈，进而影响作业的性能以至于整个集群的服务。
开启机架感知的优势不同节点之间的通信能够尽量发生在同一个机架之内，而不是跨机架；
为了提高容错能力，DataNode 会尽可能把数据块的副本放到多个机架上。
机架感知的配置检查当前集群机架配置情况执行hdfs dfsadmin -printTopology打印当前机架信息，可以看到默认所有节点都是一个机架 default-rack，此时没有配置机架感知。

hdfs dfsadmin -printTopology

文章图片

自定义机器机架位置新建机架配置文件topology.data

vim $HADOOP_HOME/topology.data

【HDFS机架感知】由于官方配置文件没有确切的说明到底是主机名还是 ip 地址会被传入到脚本，所以在脚本中最好兼容主机名和 ip 地址。

192.168.166.121hadoop1/switch1/rack1 192.168.166.122hadoop2/switch1/rack1 192.168.166.123hadoop3/switch1/rack2

自定义机架感知脚本在Hadoop的安装目录下新建脚本topology.sh

vim $HADOOP_HOME/topology.sh

编写脚本内容

#!/bin/bash # 此处是你的机架配置文件topology.sh所在目录 HADOOP_CONF=/opt/servers/hadoop while [ $# -gt 0 ] ; do #脚本第一个参数节点ip或者主机名称赋值给nodeArg nodeArg=$1 #以只读的方式打开机架配置文件 exec<${HADOOP_CONF}/topology.data #声明返回值临时变量 result="" #开始逐行读取 while read line do #赋值行内容给ar，通过这种变量=（值）的方式赋值，下面可以通过数组的方式取出每个词 ar=( $line ) #判断输入的主机名或者ip是否和该行匹配 if [ "${ar[0]}" = "$nodeArg" ]||[ "${ar[1]}" = "$nodeArg" ] then #将机架信息赋值给result result="${ar[2]}" fi done shift #-z判断字符串长度是否为0，不为0输出实际机架，为0返回默认机架信息 if [ -z "$result" ] then echo -n "/default-rack" else echo -n "$result" fi done

配置core-site.xml文件机架感知脚本必须添加可执行权限