锐客网

  1. 首页 > 睿知 > it技术 > >

linuxhdfs命令 hdfsshell命令( 三 )

IT技术命令


1.3 -mkdir 创建目录
1.4 -put 从Linux上传文件到hdfs
1.5 -get 从hdfs下载文件到linux
1.6 -text 查看文件内容
1.7 -rm 表示删除文件
1.7 -rmr 表示递归删除文件
2.hdfs在对数据存储进行block划分时，如果文件大小超过block，那么按照block大小进行划分；不如block size的，划分为一个块，是实际数据大小 。
*****PermissionDenyException权限不足**********
hadoop常用命令：
hdfs dfs查看Hadoop HDFS支持的所有命令
hdfs dfs –ls列出目录及文件信息
hdfs dfs –lsr循环列出目录、子目录及文件信息
hdfs dfs –put test.txt /user/sunlightcs将本地文件系统的test.txt复制到HDFS文件系统的/user/sunlightcs目录下
hdfs dfs –get /user/sunlightcs/test.txt .将HDFS中的test.txt复制到本地文件系统中，与-put命令相反
hdfs dfs –cat /user/sunlightcs/test.txt查看HDFS文件系统里test.txt的内容
hdfs dfs –tail /user/sunlightcs/test.txt查看最后1KB的内容
hdfs dfs –rm /user/sunlightcs/test.txt从HDFS文件系统删除test.txt文件 ， rm命令也可以删除空目录
hdfs dfs –rmr /user/sunlightcs删除/user/sunlightcs目录以及所有子目录
hdfs dfs –copyFromLocal test.txt /user/sunlightcs/test.txt从本地文件系统复制文件到HDFS文件系统，等同于put命令
hdfs dfs –copyToLocal /user/sunlightcs/test.txt test.txt从HDFS文件系统复制文件到本地文件系统 ， 等同于get命令
hdfs dfs –chgrp [-R] /user/sunlightcs修改HDFS系统中/user/sunlightcs目录所属群组，选项-R递归执行，跟linux命令一样
hdfs dfs –chown [-R] /user/sunlightcs修改HDFS系统中/user/sunlightcs目录拥有者，选项-R递归执行
hdfs dfs –chmod [-R] MODE /user/sunlightcs修改HDFS系统中/user/sunlightcs目录权限，MODE可以为相应权限的3位数或+/-{rwx} ， 选项-R递归执行
hdfs dfs –count [-q] PATH查看PATH目录下，子目录数、文件数、文件大小、文件名/目录名
hdfs dfs –cp SRC [SRC …] DST将文件从SRC复制到DST，如果指定了多个SRC ， 则DST必须为一个目录
hdfs dfs –du PATH显示该目录中每个文件或目录的大小
hdfs dfs –dus PATH类似于du，PATH为目录时，会显示该目录的总大小
hdfs dfs –expunge清空回收站，文件被删除时，它首先会移到临时目录.Trash/中，当超过延迟时间之后，文件才会被永久删除
hdfs dfs –getmerge SRC [SRC …] LOCALDST [addnl]获取由SRC指定的所有文件 ， 将它们合并为单个文件 ， 并写入本地文件系统中的LOCALDST，选项addnl将在每个文件的末尾处加上一个换行符
hdfs dfs –touchz PATH创建长度为0的空文件
hdfs dfs –test –[ezd] PATH对PATH进行如下类型的检查：-e PATH是否存在，如果PATH存在，返回0 ， 否则返回1-z 文件是否为空 ， 如果长度为0 ， 返回0 ， 否则返回1-d 是否为目录，如果PATH为目录 ， 返回0，否则返回1
hdfs dfs –text PATH显示文件的内容 ， 当文件为文本文件时，等同于cat，文件为压缩格式（gzip以及hadoop的二进制序列文件格式）时，会先解压缩hdfs dfs –help ls查看某个[ls]命令的帮助文档
本文转自
修修改hdfs上的文件所属用户、所属组等读写执行控制权限HDFS支持权限控制，但支持较弱 。HDFS的设计是基于POSIX模型的，支持按用户、用户组、其他用户的读写执行控制权限 。在linux命令行下，可以使用下面的命令修改文件的权限、文件所有者，文件所属组：
sudo addgroup Hadoop#添加一个hadoop组
sudo usermod -a -G hadoop larry#将当前用户加入到hadoop组
sudo gedit etc/sudoers#将hadoop组加入到sudoer

推荐阅读


上一篇：安卓虚拟多任务键修改，安卓多任务切换app

下一篇：关于绿色t恤配什么视频的信息