HDFS命令示例和用法

1. Hadoop HDFS命令

在本教程中，我们将学习最重要和最常用的Hadoop HDFS命令，借助它我们将能够执行HDFS文件操作，如复制文件，更改文件权限，查看文件内容，更改文件所有权， 创建目录等。在这个Hadoop命令教程中，我们提到了最常用的HDFS命令。

2. Hadoop HDFS命令：简介

Hadoop HDFS是一个分布式文件系统，为具有巨大尺寸的文件提供冗余存储空间。 它用于存储范围从TB到PB的文件。

3. Hadoop HDFS命令

Hadoop文件系统shell命令用于执行各种Hadoop HDFS操作，并用于管理HDFS群集上的文件。所有Hadoop shell命令都由bin / hdfs脚本调用。

3.1 version

Hadoop HDFS?version命令用法

Version

Hadoop HDFS version命令示例

hdfs dfs?version

Hadoop HDFS version命令说明

这个Hadoop命令打印Hadoop版本

3.2?MKDIR

Hadoop HDFS mkdir命令用法

mkdir <path>

Hadoop HDFS mkdir命令示例

hdfs dfs -mkdir / user / zhiyun / dir1

Hadoop HDFS mkdir命令描述

这个HDFS命令将路径URI作为参数并创建目录。

创建缺少的路径中的任何父目录（例如，Linux中的mkdir -p）。

从HDFS功能指南了解Hadoop HDFS的各种功能。

3.3 ?LS

Hadoop HDFS ls命令用法

ls <path>

Hadoop HDFS ls命令示例

hdfs dfs -ls / user / zhiyun / dir1

Hadoop HDFS ls Commnad说明

此Hadoop HDFS ls命令显示由用户提供的路径指定的目录内容列表，显示每个条目的名称，权限，所有者，大小和修改日期。

Hadoop HDFS ls命令示例

hdfs dfs -ls -R

Hadoop HDFS ls说明

该Hadoop fs命令的行为与-ls相似，但会递归显示路径的所有子目录中的条目。

3.4 put

Hadoop HDFS put 命令用法

Put <localSrc> <dest>

Hadoop HDFS put命令示例

hdfs dfs -put / home / zhiyun / Desktop / sample / user / zhiyun / dir1

Hadoop HDFS put 命令描述

这个hadoop basic命令将文件或目录从本地文件系统复制到DFS内的目标。

3.5 ?copyFromLocal

Hadoop HDFS copyFromLocal命令用法

copyFromLocal <localSrc> <dest>

Hadoop HDFS copyFromLocal命令示例

hdfs dfs -copyFromLocal / home / zhiyun / Desktop / sample / user / zhiyun / dir1

Hadoop HDFS copyFromLocal命令说明

这个hadoop shell命令与put命令类似，但源限制为本地文件引用。

3.6 Get

Hadoop HDFS get 命令用法

Get [-crc] <src> <localDest>

Hadoop HDFS?get命令示例

hdfs dfs -get / user / zhiyun / dir2 / sample / home / zhiyun / Desktop

Hadoop HDFS get 命令描述

此HDFS fs命令将由源标识的HDFS中的文件或目录复制到由本地目标标识的本地文件系统路径。

Hadoop HDFS get 命令示例

hdfs dfs -getmerge / user / zhiyun / dir2 / sample / home / zhiyun / Desktop

Hadoop HDFS get 命令描述

此HDFS基本命令将检索与用户在HDFS中输入的源路径匹配的所有文件，并将它们的副本创建为由本地目标标识的本地文件系统中的单个合并文件。

Hadoop HDFS?get 命令示例

hadoop fs -getfacl / user / zhiyun / dir1 / sample

hadoop fs -getfacl -R / user / zhiyun / dir1

Hadoop HDFS get命令描述

此Apache Hadoop命令显示文件和目录的访问控制列表（ACL）。如果目录包含默认ACL，则getfacl也会显示默认ACL。

选项：

-R：它递归地显示所有文件和目录的所有ACL的列表。

路径：要列出的文件或目录。

Hadoop HDFS?get命令示例

hadoop fs -getfattr -d / user / zhiyun / dir1 / sample

Hadoop HDFS get 命令描述

此HDFS文件系统命令显示是否有文件或目录的任何扩展属性名称和值。

选项：

-R：递归地列出所有文件和目录的属性。

-n名称：它显示指定的扩展属性值。

-d：它显示与路径名关联的所有扩展属性值。

-e编码：提取它们后编码值。有效的转换后的编码形式是“文本”，“十六进制”和“base64”。编码为文本字符串的所有值都带有双引号（“”），前缀0x和0用于转换和编码为十六进制和base64的所有值。

路径：文件或目录。

3.7 ?copyToLocal

Hadoop HDFS copyToLocal命令用法

copyToLocal <src> <localDest>

Hadoop HDFS copyToLocal命令示例

hdfs dfs -copyToLocal / user / zhiyun / dir1 / sample / home / zhiyun / Desktop

Hadoop HDFS copyToLocal说明

与get命令类似，只有不同之处在于，目标被限制为本地文件引用。

3.8 cat

Hadoop HDFS cat命令用法

Cat <文件名>

Hadoop HDFS cat命令示例

hdfs dfs -cat / user / zhiyun / dir1 / sample

Hadoop HDFS cat命令说明

这个Hadoop fs shell命令在控制台或标准输出上显示文件名的内容。

3.9 ?MV

Hadoop HDFS mv命令用法

mv <src> <dest>

Hadoop HDFS mv命令示例

hadoop fs -mv /user/zhiyun/dir1/purchases.txt / user / zhiyun / dir2

Hadoop HDFS mv命令说明

这个基本的HDFS命令将HDFS中的源文件或目录指向目标。

3.10 ?CP

Hadoop HDFS cp命令用法

cp <src> <dest>

Hadoop HDFS cp命令示例

hadoop fs -cp /user/zhiyun/dir2/purchases.txt / user / zhiyun / dir1

Hadoop HDFS cp命令说明

这个Hadoop文件系统shell命令将HDFS中由源标识的文件或目录复制到目标。

3.11 ?moveFromLocal

HDFS moveFromLocal命令用法

moveFromLocal <localSrc> <dest>

HDFS moveFromLocal命令示例

hdfs dfs -moveFromLocal / home / zhiyun / Desktop / sample / user / zhiyun / dir1

HDFS moveFromLocal命令说明

此HDFS命令将文件或目录从本地源识别的本地文件系统复制到HDFS中的目标，然后在成功时删除本地副本。

3.12 ?moveToLocal

HDFS moveToLocal命令用法

moveToLocal <src> <localDest>

HDFS moveToLocal命令示例

hdfs dfs -moveToLocal / user / zhiyun / dir2 / sample / user / zhiyun / Desktop

HDFS moveToLocal命令说明

这个hadoop基本命令就像-get一样工作，但在成功时删除HDFS副本。

3.13 tail

HDFS tail命令用法

hdfs dfs -tail [-f] <filename>

HDFS tail命令示例

“hdfs dfs -tail /user/zhiyun/dir2/purchases.txt

hdfs dfs -tail -f /user/zhiyun/dir2/purchases.txt“

HDFS?tail Commnad说明

显示控制台或stdout上文件的最后1KB。

3.14 ?RM

HDFS rm命令用法

rm <路径>

HDFS rm命令示例

hdfs dfs -rm / user / zhiyun / dir2 / sample

HDFS rm命令说明

此Hadoop命令将删除用户提供的路径上存在的文件或空目录。

HDFS rm命令示例

hdfs dfs -rm -r / user / zhiyun / dir2

HDFS rm命令说明

递归版本的删除。

3.15 expunge

HDFS?expunge 命令用法

hdfs dfs -expunge

HDFS expunge命令示例

hdfs dfs -expunge

HDFS expunge命令描述

这个Hadoop shell命令用于清空垃圾。

3.16 CHOWN

HDFS chown命令用法

hdfs dfs -chown [-R] [OWNER] [：[GROUP]] URI [URI]

HDFS chown命令示例

hdfs dfs -chown -R zhiyun / opt / hadoop / logs

HDFS chown命令说明

此Hadoop HDFS Commmand更改文件的所有者。 使用-R，通过目录的结构递归地进行更改。 用户应该是超级用户。

3.17 chgrp命令

HDFS chgrp命令用法

hdfs dfs -chgrp [-R] <NewGroupName> <文件或目录名称>

HDFS chgrp命令示例

hdfs dfs -chgrp [-R]新组样本

HDFS chgrp说明

Hadoop chgrp shell命令用于更改文件组关联。另外，您可以尝试-R选项，通过目录结构的方式递归地进行更改。

3.18 ?setrep

HDFS setrep命令用法

setrep [-R] [-w] rep <path>

HDFS setrep命令示例

hdfs dfs -setrep -w 3 / user / zhiyun / dir1

HDFS setrep命令说明

该HDFS命令用于更改文件的复制因子。如果输入的路径是一个目录，那么这个命令将递归地改变用户提供的路径下的目录树中存在的所有文件的复制因子。

选项：

-w标志请求该命令等待复制过程完成。这可能需要很长时间才能完成。

-R标志被接受用于向后兼容。它不做任何改变。

 

3.19 du

HDFS du命令用法

du <path>

HDFS du命令示例

hdfs dfs -du / user / zhiyun / dir1 / sample

HDFS du命令说明

此HDFS dfs命令显示用户提供的路径上存在的所有文件的磁盘使用情况（以字节为单位）;报告文件名是使用完整的HDFS协议前缀完成的。

HDFS du命令示例

hdfs dfs -du -s / user / zhiyun / dir1 / sample

HDFS du说明

该Hadoop基本命令与-du类似，但它会打印路径中所有文件/目录的磁盘使用量摘要。

3.20 ?DF

HDFS df命令用法

hdfs dfs -df [-h] URI [URI …]

HDFS dfs命令示例

hdfs dfs -df -h

HDFS dfs命令说明

这个Hadoop fs显示可用空间。

3.21 ?touchz

Hadoop touchz命令用法

touchz <路径>

Hadoop touchz命令示例

hdfs dfs -touchz / user / zhiyun / dir2

 

Hadoop touchz命令说明

这个HDFS基本在包含当前时间的路径上创建一个文件作为时间戳。如果文件已经存在于路径中，则失败，除非文件已经大小为0。

3.22 test

Hadoop test命令用法

hdfs dfs -test – [ezd] URI

Hadoop?test命令示例

“hdfs dfs -test -e示例

hdfs dfs -test -z示例

hdfs dfs -test -d示例“

Hadoop test 命令描述

Hadoop fs shell命令 test用于文件测试操作。

如果路径存在，它会给出1个输出;它具有零长度，或者它是一个目录或其他0。

选项：

-d：如果用户给出的路径是一个目录，那么它给出0输出。

-e：如果用户给出的路径存在，则它给出0输出。

-f：如果用户给出的路径是一个文件，那么它给出0输出。

-s：如果用户给出的路径不是空的，则它给出0输出。

-z：如果文件长度为零，则它输出0。

3.23 text

Hadoop text命令用法

hdfs dfs -text <source>

Hadooo text命令示例

hdfs dfs -text / user / zhiyun / dir1 / sample

Hadoop?text命令说明

hdfs fs?text命令获取一个源文件并以文本格式输出该文件。 允许的格式是zip和TextRecordInputStream。

3.24 stat

Hadoop stat命令用法

hdfs dfs -stat路径

Hadoop stat命令示例

hdfs dfs -stat / user / zhiyun / dir1

Hadoop stat命令描述

％b：如果格式是以块为单位接受文件大小的字符串。

％n：文件名

％o：块大小

％r：复制

％y，％Y：修改日期。

3.25 ?appendToFile

Hadoop appendToFile命令用法

hadoop fs -appendToFile <localsource> … <dst>

Hadoop appendToFile命令示例

hadoop fs -appendToFile / home / zhiyun / Desktop / sample / user / zhiyun / dir1

Hadoop appendToFile命令说明

此Hadoop fs命令将单个源或多个源从本地文件系统追加到目标文件系统。它还从标准输入读取输入并将其添加到目标文件系统。

3.26 checksum

Hadoop?checksum命令用法

hadoop fs -checksum URI

Hadoop checksum命令示例

hadoop fs -checksum / user / zhiyun / dir1 / sample

Hadoop checksum命令说明

3.27 count

Hadoop count命令用法

hdfs dfs -count [-q] <路径>

Hadoop count命令示例

hdfs dfs -count / user / zhiyun

此HDFS DFS命令计算目录的数量，存在的文件数量以及与指定文件模式匹配的路径下的字节数。

3.28 ?find

命令用法

hadoop fs -find <path> … <expression> …

命令示例

hadoop fs -find / user / zhiyun / dir1 / -name sample -print

描述

查找与指定表达式匹配的所有文件，并执行所选的所有操作。 如果没有指定路径，则默认为当前工作目录。 如果没有指定表达式，则默认为-print。

3.29 ?help

命令用法

hadoop fs –help

命令示例

hadoop fs -help

描述

它显示用户输入的命令的使用信息。 用户应该排除cmd中的前导‘ – ‘字符。

3.30 setfattr

命令用法

hadoop fs -setfattr -n name [-v value] | -x名称<路径>

命令示例

hdfs dfs -setfattr -n user.myAttr -v myValue /user/zhiyun/dir2/purchases.txt

hdfs dfs -setfattr -n user.noValue /user/zhiyun/dir2/purchases.txt

hdfs dfs -setfattr -x user.myAttr /user/zhiyun/dir2/purchases.txt

描述

为文件或目录设置扩展属性名称和值。

选项：

-b：它删除除基本ACL条目以外的所有条目。为了与许可位兼容，用户，组和其他人保留所有条目。

-n名称：它显示扩展属性名称。

-v value：显示扩展属性值。对于这些值，有三种不同的编码方法。如果任何参数包含在双引号中，则参数值是内部的字符串。如果在任何参数之前有0x或0X作为前缀，那么它被认为是一个十六进制数字。如果在任何参数之前有0或0S，那么它被认为是base64编码。

-x name：它删除扩展属性。

路径：文件或目录。

3.31 truncate

命令用法

hadoop fs -truncate [-w] <length> <路径>

命令示例

hadoop fs -truncate 55 /user/zhiyun/dir2/purchases.txt /user/zhiyun/dir1/purchases.txt

hadoop fs -truncate -w 127 /user/zhiyun/dir2/purchases.txt

描述

它将所有文件截断（缩短）到与指定文件模式匹配的指定长度。

选项：

-w标志请求在必要时该命令等待块恢复完成。没有-w标志的文件可能会在恢复过程的一段时间内保持未关闭状态。此时该文件无法重新打开追加。

3.32 ?usage

命令用法

hadoop fs -usage命令

命令示例

hadoop fs -usage mkdir

描述

返回单个命令的帮助。