锐客网

  1. 首页 > it技术 > >

hdfs命令学习

程序员

【hdfs命令学习】本文旨在增加记忆
URI格式是scheme://authority/path

  1. cat
    将指定文件内容输出到标准输出（stdout）
    使用方式： hadoop fs -cat URI [URI ...]
    例子：
    输出hsfs文件系统上部分文件内容：
    hadoop fs -cat hdfs://host1:port1/file1 hdfs://host2:port2/file2
    输出本地文件的内容
    hadoop fs -cat file:///file1
  1. chgrp
    修改文件所属的组，使用-R将递归改变目录结构下的文件属组，命令使用者必须是文件所有者或者超级用户
    使用方式：
    hadoop fs -chgrp [-R] GROUP URI
    hadoop fs -chgrp newgroup hdfs://host:port/file
  1. chmod
    修改文件权限，使用 -R将递归改变目录结构下的文件权限，命令使用这必须是文件所有者或者超级用户
    使用方式：
    hadoop fs -chmod [-R] URI [URI …]
    hadoop fs -chmod -R 750 hdfs://host:port/file
  1. chown
    改变文件的拥有者，使用-R将递归改变目录结构下文件的拥有者，命令使用者必须是文件所有者或者是超级用户
    使用方式：
    hadoop fs -chown [-R] [OWNER] [:GROUP] URI [URI ...]
    hadoop fs -chown -R newowner:newgroup hdfs://host:port/dir
    hadoop fs -chown newowner:newgroup hdfs://host/port/file
  1. copyFromLocal
    复制本地文件到目的路径，除了限定源路径是本地文件外，和put命令相似
    使用方式：
    hadoop fs -copyFromLocal URI
  1. copyToLocal
    复制文件到本地指定路径，除限定目标路径是本地文件外，和get类似
    使用方式：
    hadoop fs -copyToLocal
  1. cp
    从源路径复制文件到目标路径，（可以允许有多个源路径，但是此时目标路径必须是目录）
    使用方式：
    hadoop fs -cp /srcfile /dstfile
    hadoop fs -cp /srcfile1 /srcfile2 /dstdir
  1. du
    显示目录中所有文件大小，或者当只指定一个文件时显示该文件大小
    使用方式：
    hadoop fs -du /dir
    hadoop fs -du /file
  1. expunge
    清空回收站
    使用方式：
    hadoop fs -expunge
  1. get
    复制文件到本地
    使用方式：
    hadoop fs -get /hadoop/file localfile
    hadoop fs -get hdfs://host:port/file localfile
  1. put
    从本地文件系统复制一个或多个源路径文件到目的路径，也支持从标准输入中读取输入写入到目的文件
    使用方式：
    hadoop fs -put localfile /dst/file
    hadoop fs -put localfile1 localfile2 /dst/dir
    hadoop fs -put localfile hdfs://host/port/dst/file
    从标准输入中读取输入：
    hadoop fs -put - hdfs://host/port/dst/file
  1. ls
    显示文件或者目录信息
    使用方式：
    hadoop fs -get /hadoop/file
    hadoop fs -get /hadoop/dir
  1. lsr
    ls的递归版本，类似于unix中的ls -R
  1. mkdir
    创建目录
    使用方式：
    hadoop fs -mkdir /hadoop/dir1 /hadoop/dir2
  1. mv
    将文件从源路径移动到目的路径
    使用方式：
    hadoop fs -mv /scr/file /dst/file
  2. rm
    删除指定目录和文件，只能删除非空目录和文件
    使用方式：
    hadoop fs -rm /file
  3. rmr
    rm的递归版本
    使用方式：
    hadoop fs -rmr /dir
  1. setrep
    改变一个文件的副文本系数，-R选项用于递归改变一个目录下所有文件副文本系数
    使用方式:
    hadoop fs -setrep -w 3 -R /dir
  2. stat
    返回指定路径的统计信息
    使用方式：
    hadoop fs -stat path
  1. tail
    将尾部文件1k内容输出到标准输出，和unix中的类似
    使用方式：
    hadoop fs -tail path
  2. test
    用于检查文件或者目录
    使用方式：
    检查文件是否存在，存在返回0
    hadoop fs -test -e file
    检查文件是否为空，空返回0
    hadoop fs -test -z file
    检查路径是否为目录，是目录返回1
    hadoop fs -test -d pathname
  3. text
    将源文件输出为文本格式
    使用方式：
    hadoop fs -text
  4. touchz
    创建一个0字节空文件
    使用方式：
    hadoop fs -touchz filename
参考文章：http://hadoop.apache.org/docs...

    推荐阅读


    上一篇：浪潮云说直播间-云溪数据库之ClickHouse原理解析今晚开讲

    下一篇：拓端tecdat|拓端tecdat|matlab使用经验模式分解emd 对信号进行去噪