先看下资料写入的流程图
文章插图
一个packet写入流程
以文字形式梳理上述步骤
目标
将一个本地文件a.txt上传到hdfs文件系统中 。hdfs中默认blockSize=128M
复制因子默认为3
仔细步骤软件根据配置消息与NameNode建立连接 。并跟你说NameNode 。将a.txt文件上传到hdfs的/tmp/a.txt路径
NameNode生成一个值为1的blockId（用来创建对应blockId的block文件） 。并根据复制因子3返回对应个数的可用来存放目前block的DataNode节点到软件 。例如（DN1、DN2、DN3）
软件与DN1建立连接 。之后将blockId、DN2、DN3等有关资料先发送给DN1
DN1接收到这种消息之后与DN2建立连接 。之后将blockID、DN3等有关资料发送给DN2
DN2接收到这种资料之后与DN3建立连接 。之后将blockID发送给DN3
软件读取本地文件内容并放入内存缓冲区中 。当缓冲区满 。开始将缓冲区中的资料取出 。并计算校验和（每512字节的实际资料会计算出一个4字节的校验和 。这512字节的资料和校验和称为一个chunk） 。之后这种chunk写入到一个dataPacket中 。当dataPacket中chunk的数量或实际资料大小达到一定阈值后将这种dataPacket发送给DN1 。并将这种dataPacket放入到一个ackQueue队列中（当软件接收到DN1的确认写入的消息之后才将这种dataPacket从队列中移除）
DN1接收到软件发送的资料之后 。将dataPacket中的资料和校验和写入本地文件中 。之后将dataPacket发送给DN2
DN2接收到DN1发送的资料之后 。将dataPacket中的资料和校验和写入本地文件中 。之后dataPacket发送给DN3
DN3接收到DN2发送的资料之后 。将dataPacket中的资料和校验和写入本地文件中 。之后发送确认消息给DN2
DN2接收到DN3的确认消息之后将DN2自己的确认消息和DN3的确认消息发送给DN1
DN1接收到DN2发来的确认消息后（包含DN2和DN3的确认消息） 。将DN1自己的确认消息和DN2、DN3的确认消息一起响应给软件
软件接收到消息之后对DN1、DN2、DN3的确认消息进行验证 。验证成功 。则将ackQueue中的dataPacket移除
软件继续执行一样的操作 。直到发送出的线下资料量达到blockSize大小 。此时此刻一个block的写入完毕
小心当软件发送资料的字节数量达到一个blockSize之后 。会向NameNode从头开始请求一个新的blockId及有关的DataNode消息哦
下面以流程图的方法加深资料写入DataNode过程的理解
图示（以一个packet写入为例）【hadoop文档仓库 简述hadoop和opc的通信】
文章插图
推荐阅读
- 真正能与东北虎一较高低的动物有哪些？
- 无限火力“蹦迪流”机器人玩法火了,无限E技能,对手毫无还手之力,如何操作？
- 如果人类缩小十倍,除人类的生物变大十倍,人类还是地球霸主吗？
- 宫斗剧排行榜大全,十大最经典好看的宫斗剧
- 为什么大部分玩家都很喜欢无限火力？
- 雪胆多少钱 雪胆简介
- 一头壮年的非洲雄狮,至少能杀死几头东北虎？
- 无限火力快乐不起来怎么办？
- 铅中毒简介 铅中毒百科