Hadoop HDFS常用命令

   日期:2020-05-16     浏览:104    评论:0    
核心提示:在Linux命令行终端,我们可以利用Shell命令对Hadoop进行操作。利用这些命令可以完成HDFS中文档的上传、下载、复制、查看文件信息、格式化名称节点等操作。关于HDFS的Shell命令有一个统的格式。hadoop command [genericOptions] [commandoptions]HDFS有很多命令,其中fs命令可以说是HDFS最常用的命令,利用fs命令可以查看HDFS文件系统的目录结构、上传和下载数据、创建文件等。该命令的用法如下。hadoop fs [genericopt大数据

在Linux命令行终端,我们可以利用Shell命令对Hadoop进行操作。利用这些命令可以完成HDFS中文档的上传、下载、复制、查看文件信息、格式化名称节点等操作。关于HDFS的Shell命令有一个统的格式。

hadoop command [genericOptions] [commandoptions]

HDFS有很多命令,其中fs命令可以说是HDFS最常用的命令,利用fs命令可以查看HDFS文件系统的目录结构、上传和下载数据、创建文件等。该命令的用法如下。

hadoop fs [genericoptions] [commandoptions ]

具体如下。

  • hadoop fs -Is < path >。显示< path >指定的文件的详细信息。
  • hadoop fs -ls -R < path >。Is 命令的递归版本。
  • hadoop fs -cat < path >。将< path >指定的文件的内容输出到标准输出( stdout )。
  • hadoop fs -chgrp [-R] group < path >。将< path >指定的文件所属的组改为group,使用-R对< path >指定的文件夹内的文件进行递归操作。这个命令只适用于超级用户。
  • hadoop fs -chown [-R] [owner] [: [group]] < path >。改变< path >指定的文件的拥有者,-R用于递归改变文件夹内的文件的拥有者。这个命令只适用于超级用户。
  • hadoop fs -chmod [-R] < mode >< path >。 将< path >指定的文件的权限更改为< mode >。这个命令只适用于超级用户和文件的所有者。
  • hadoop fs -tail [-f] < path >。将< path >指定的文件最后1KB的内容输出到标准输出( stdout)上,-f选项用于持续检测新添加到文件中的内容。
  • hadoop fs -stat [format] < path >。以指定的格式返回< path >指定的文件的相关信息。当不指定formnat的时候,返回文件< path >的创建日期。
  • hadoop fs -touchz < path >。创建一个< path >指定的空文件。
  • hadoop fs -mkdir [-p] < paths >。创建< paths >指定的一个或多个文件夹,-p 选项用于递归创建子文件夹。
  • hadoop fs -copyFromlLocal < localsrc >< dst >。 将本地源文件< localsrc >复制到路径< dst >指定的文件或文件夹中。
  • hadoop fs -copyToLocal [-ignoreerc] [-crc] < target > < localdst >。将目标文件< target >复制到本地文件或文件夹< localdst >中,可用 -ignoreerc 选项复制CRC校验失败的文件,使用 -crc 选项复制文件以及CRC信息。
  • hadoop fs -cp < src >< dst >。将文件从源路径< src >复制到目标路径< dst >。
  • hadoop fs -du < path >。显示< path >指定的文件或文件夹中所有文件的大小。
  • hadoop fs -expunge。清空回收站,请参考HDFS官方文档以获取更多关于回收站特性的信息。
  • hadoop fs -get [-ignorecrc] [-crc] < src > < localdst >。 复制< src >指定的文件到本地文件系统< localds t>指定的文件或文件夹,可用 -ignorecrc 选项复制CRC校验失败的文件,使用-crc 选项复制文件以及CRC信息。
  • hadoop fs -getmerge [-nl] < src > < localdst >。 对< src >指定的源目录中的所有文件进行合并,写入< localdst >指定的本地文件。 -nl 是可选的,用于指定在每个文件结尾添加一个换行符。
  • hadoop fs -put < localsrc > < dst >。 从本地文件系统中复制< localsrc >指定的单个或多个源文件到< dst>指定的目标文件系统中,也支持从标准输人( stdin )中读取输人写入目标文件系统。
  • hadoop fs -moveFromLocal < localsrc >< dst >。与 put 命令功能相同,但是文件上传结束后会从本地文件系统中删除< localsrc> 指定的文件。
  • hadoop fs -mv < src >< dest >。将文件从源路径< src >移动到目标路径< dst >。
  • hadoop fs -rm < path >。删除< path >指定的文件,只删除非空目录和文件。
  • hadoop fs -rm -r < path >。删除< path >指定的文件夹及其下的所有文件, -r 选项表示递归删除子目录。
  • hadoop fs -setrep [-R] < path >。改变< path >指定的文件的副本系数,-R 选项用于递归改变目录下所有文件的副本系数。
  • hadoop fs-test [ezd]< path >。检查< path >指定的文件或文件夹的相关信息。不同选项的作用如下。
    • -e检查文件是否存在,如果存在则返回0,否则返回1。
    • -z检查文件是否是0字节,如果是则返回0,否则返回1。
    • -d如果路径是个目录,则返回1,否则返回0。
  • hadoop fs -text < path >。将< path > 指定的文件输出为文本格式,文件的格式允许是 zip 和 TextRecordInputStream 等。
 
打赏
 本文转载自:网络 
所有权利归属于原作者,如文章来源标示错误或侵犯了您的权利请联系微信13520258486
更多>最近资讯中心
更多>最新资讯中心
更多>相关资讯中心
0相关评论

推荐图文
推荐资讯中心
点击排行
最新信息
新手指南
采购商服务
供应商服务
交易安全
关注我们
手机网站:
新浪微博:
微信关注:

13520258486

周一至周五 9:00-18:00
(其他时间联系在线客服)

24小时在线客服