大数据入门与实战-Hadoop核心HDFS
课程链接:https://www.imooc.com/video/16287
Hadoop简介
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。
详情见:Hadoop基本介绍
一、 HDFS概念及优缺点
- 应用场景与特点
- 普通的成百上千的机器
- 按TB甚至PB为单位的大量的数据
- 简单便捷的文件获取
- HDFS概念
数据块是抽象块而非整个文件作为存储单元,默认大小为64MB,一般设置为128M,备份x3
文章图片
DataNode存储检索数据块,向NameNode更新所存储块的列表
- HDFS优点
- 适合大文件存储,支持TB,PB级的数据存储
- 可以构建在廉价的机器上,并有一定的容错和恢复机制
- 支持流式数据访问,一次写入、多次读取最高效
- HDFS缺点
- 不适合大量小文件存储
- 不适合并发写入,不支持文件随机修改
- 不支持随机读等低延时的访问方式
文章图片
HDFS写流程:(1)客户端向NameNode发起写数据请求(2)分块写入DateNode节点,DataNode自动完成副本备份(3)DataNode向NameNode汇报存储完成,NameNode通知客户端
文章图片
HDFS读流程:(1)客户端向NameNode发起读数据请求(2)NameNode找出距离最近的DataNode节点信息(3)客户端从DataNode分块下载文件
三、Shell命令操作HDFS
文章图片
将home下的mk.txt上传到hdfs
文章图片
四 、Python程序操作HDFS hdfs3:http://hdfs3.readthedocs.io/en/latest/
文章图片
【大数据入门与实战-Hadoop核心HDFS】
推荐阅读
- 我要做大厨
- Docker应用:容器间通信与Mariadb数据库主从复制
- 《真与假的困惑》???|《真与假的困惑》??? ——致良知是一种伟大的力量
- 知识
- 三十年后的广场舞大爷
- 奔向你的城市
- 村里的故事|村里的故事 --赵大头
- 期刊|期刊 | 国内核心期刊之(北大核心)
- 华为旁!大社区、地铁新盘,佳兆业城市广场五期!
- 汇讲-勇于突破