内容
- 1. Hadoop HDFS命令
- 2. Hadoop HDFS命令:简介
- 3. Hadoop HDFS命令
- 3.1 version
- 3.2?MKDIR
- 3.3 ?LS
- 3.4 put
- 3.5 ?copyFromLocal
- 3.6 Get
- 3.7 ?copyToLocal
- 3.8 cat
- 3.9 ?MV
- 3.10 ?CP
- 3.11 ?moveFromLocal
- 3.12 ?moveToLocal
- 3.13 tail
- 3.14 ?RM
- 3.15 expunge
- 3.16 CHOWN
- 3.17 chgrp命令
- 3.18 ?setrep
- 3.19 du
- 3.20 ?DF
- 3.21 ?touchz
- 3.22 test
- 3.23 text
- 3.24 stat
- 3.25 ?appendToFile
- 3.26 checksum
- 3.27 count
- 3.28 ?find
- 3.29 ?help
- 3.30 setfattr
- 3.31 truncate
- 3.32 ?usage
1. Hadoop HDFS命令
在本教程中,我们将学习最重要和最常用的Hadoop HDFS命令,借助它我们将能够执行HDFS文件操作,如复制文件,更改文件权限,查看文件内容,更改文件所有权, 创建目录等。在这个Hadoop命令教程中,我们提到了最常用的HDFS命令。
2. Hadoop HDFS命令:简介
Hadoop HDFS是一个分布式文件系统,为具有巨大尺寸的文件提供冗余存储空间。 它用于存储范围从TB到PB的文件。
3. Hadoop HDFS命令
Hadoop文件系统shell命令用于执行各种Hadoop HDFS操作,并用于管理HDFS群集上的文件。所有Hadoop shell命令都由bin / hdfs脚本调用。
3.1 version
Hadoop HDFS?version命令用法
Version
Hadoop HDFS version命令示例
hdfs dfs?version
Hadoop HDFS version命令说明
这个Hadoop命令打印Hadoop版本
3.2?MKDIR
Hadoop HDFS mkdir命令用法
mkdir <path>
Hadoop HDFS mkdir命令示例
hdfs dfs -mkdir / user / zhiyun / dir1
Hadoop HDFS mkdir命令描述
这个HDFS命令将路径URI作为参数并创建目录。
创建缺少的路径中的任何父目录(例如,Linux中的mkdir -p)。
从HDFS功能指南了解Hadoop HDFS的各种功能。
3.3 ?LS
Hadoop HDFS ls命令用法
ls <path>
Hadoop HDFS ls命令示例
hdfs dfs -ls / user / zhiyun / dir1
Hadoop HDFS ls Commnad说明
此Hadoop HDFS ls命令显示由用户提供的路径指定的目录内容列表,显示每个条目的名称,权限,所有者,大小和修改日期。
Hadoop HDFS ls命令示例
hdfs dfs -ls -R
Hadoop HDFS ls说明
该Hadoop fs命令的行为与-ls相似,但会递归显示路径的所有子目录中的条目。
3.4 put
Hadoop HDFS put 命令用法
Put <localSrc> <dest>
Hadoop HDFS put命令示例
hdfs dfs -put / home / zhiyun / Desktop / sample / user / zhiyun / dir1
Hadoop HDFS put 命令描述
这个hadoop basic命令将文件或目录从本地文件系统复制到DFS内的目标。
3.5 ?copyFromLocal
Hadoop HDFS copyFromLocal命令用法
copyFromLocal <localSrc> <dest>
Hadoop HDFS copyFromLocal命令示例
hdfs dfs -copyFromLocal / home / zhiyun / Desktop / sample / user / zhiyun / dir1
Hadoop HDFS copyFromLocal命令说明
这个hadoop shell命令与put命令类似,但源限制为本地文件引用。
3.6 Get
Hadoop HDFS get 命令用法
Get [-crc] <src> <localDest>
Hadoop HDFS?get命令示例
hdfs dfs -get / user / zhiyun / dir2 / sample / home / zhiyun / Desktop
Hadoop HDFS get 命令描述
此HDFS fs命令将由源标识的HDFS中的文件或目录复制到由本地目标标识的本地文件系统路径。
Hadoop HDFS get 命令示例
hdfs dfs -getmerge / user / zhiyun / dir2 / sample / home / zhiyun / Desktop
Hadoop HDFS get 命令描述
此HDFS基本命令将检索与用户在HDFS中输入的源路径匹配的所有文件,并将它们的副本创建为由本地目标标识的本地文件系统中的单个合并文件。
Hadoop HDFS?get 命令示例
hadoop fs -getfacl / user / zhiyun / dir1 / sample
hadoop fs -getfacl -R / user / zhiyun / dir1
Hadoop HDFS get命令描述
此Apache Hadoop命令显示文件和目录的访问控制列表(ACL)。如果目录包含默认ACL,则getfacl也会显示默认ACL。
选项:
-R:它递归地显示所有文件和目录的所有ACL的列表。
路径:要列出的文件或目录。
Hadoop HDFS?get命令示例
hadoop fs -getfattr -d / user / zhiyun / dir1 / sample
Hadoop HDFS get 命令描述
此HDFS文件系统命令显示是否有文件或目录的任何扩展属性名称和值。
选项:
-R:递归地列出所有文件和目录的属性。
-n名称:它显示指定的扩展属性值。
-d:它显示与路径名关联的所有扩展属性值。
-e编码:提取它们后编码值。有效的转换后的编码形式是“文本”,“十六进制”和“base64”。编码为文本字符串的所有值都带有双引号(“”),前缀0x和0用于转换和编码为十六进制和base64的所有值。
路径:文件或目录。
3.7 ?copyToLocal
Hadoop HDFS copyToLocal命令用法
copyToLocal <src> <localDest>
Hadoop HDFS copyToLocal命令示例
hdfs dfs -copyToLocal / user / zhiyun / dir1 / sample / home / zhiyun / Desktop
Hadoop HDFS copyToLocal说明
与get命令类似,只有不同之处在于,目标被限制为本地文件引用。
3.8 cat
Hadoop HDFS cat命令用法
Cat <文件名>
Hadoop HDFS cat命令示例
hdfs dfs -cat / user / zhiyun / dir1 / sample
Hadoop HDFS cat命令说明
这个Hadoop fs shell命令在控制台或标准输出上显示文件名的内容。
3.9 ?MV
Hadoop HDFS mv命令用法
mv <src> <dest>
Hadoop HDFS mv命令示例
hadoop fs -mv /user/zhiyun/dir1/purchases.txt / user / zhiyun / dir2
Hadoop HDFS mv命令说明
这个基本的HDFS命令将HDFS中的源文件或目录指向目标。
3.10 ?CP
Hadoop HDFS cp命令用法
cp <src> <dest>
Hadoop HDFS cp命令示例
hadoop fs -cp /user/zhiyun/dir2/purchases.txt / user / zhiyun / dir1
Hadoop HDFS cp命令说明
这个Hadoop文件系统shell命令将HDFS中由源标识的文件或目录复制到目标。
3.11 ?moveFromLocal
HDFS moveFromLocal命令用法
moveFromLocal <localSrc> <dest>
HDFS moveFromLocal命令示例
hdfs dfs -moveFromLocal / home / zhiyun / Desktop / sample / user / zhiyun / dir1
HDFS moveFromLocal命令说明
此HDFS命令将文件或目录从本地源识别的本地文件系统复制到HDFS中的目标,然后在成功时删除本地副本。
3.12 ?moveToLocal
HDFS moveToLocal命令用法
moveToLocal <src> <localDest>
HDFS moveToLocal命令示例
hdfs dfs -moveToLocal / user / zhiyun / dir2 / sample / user / zhiyun / Desktop
HDFS moveToLocal命令说明
这个hadoop基本命令就像-get一样工作,但在成功时删除HDFS副本。
3.13 tail
HDFS tail命令用法
hdfs dfs -tail [-f] <filename>
HDFS tail命令示例
“hdfs dfs -tail /user/zhiyun/dir2/purchases.txt
hdfs dfs -tail -f /user/zhiyun/dir2/purchases.txt“
HDFS?tail Commnad说明
显示控制台或stdout上文件的最后1KB。
3.14 ?RM
HDFS rm命令用法
rm <路径>
HDFS rm命令示例
hdfs dfs -rm / user / zhiyun / dir2 / sample
HDFS rm命令说明
此Hadoop命令将删除用户提供的路径上存在的文件或空目录。
HDFS rm命令示例
hdfs dfs -rm -r / user / zhiyun / dir2
HDFS rm命令说明
递归版本的删除。
3.15 expunge
HDFS?expunge 命令用法
hdfs dfs -expunge
HDFS expunge命令示例
hdfs dfs -expunge
HDFS expunge命令描述
这个Hadoop shell命令用于清空垃圾。
3.16 CHOWN
HDFS chown命令用法
hdfs dfs -chown [-R] [OWNER] [:[GROUP]] URI [URI]
HDFS chown命令示例
hdfs dfs -chown -R zhiyun / opt / hadoop / logs
HDFS chown命令说明
此Hadoop HDFS Commmand更改文件的所有者。 使用-R,通过目录的结构递归地进行更改。 用户应该是超级用户。
3.17 chgrp命令
HDFS chgrp命令用法
hdfs dfs -chgrp [-R] <NewGroupName> <文件或目录名称>
HDFS chgrp命令示例
hdfs dfs -chgrp [-R]新组样本
HDFS chgrp说明
Hadoop chgrp shell命令用于更改文件组关联。另外,您可以尝试-R选项,通过目录结构的方式递归地进行更改。
3.18 ?setrep
HDFS setrep命令用法
setrep [-R] [-w] rep <path>
HDFS setrep命令示例
hdfs dfs -setrep -w 3 / user / zhiyun / dir1
HDFS setrep命令说明
该HDFS命令用于更改文件的复制因子。如果输入的路径是一个目录,那么这个命令将递归地改变用户提供的路径下的目录树中存在的所有文件的复制因子。
选项:
-w标志请求该命令等待复制过程完成。这可能需要很长时间才能完成。
-R标志被接受用于向后兼容。它不做任何改变。
3.19 du
HDFS du命令用法
du <path>
HDFS du命令示例
hdfs dfs -du / user / zhiyun / dir1 / sample
HDFS du命令说明
此HDFS dfs命令显示用户提供的路径上存在的所有文件的磁盘使用情况(以字节为单位);报告文件名是使用完整的HDFS协议前缀完成的。
HDFS du命令示例
hdfs dfs -du -s / user / zhiyun / dir1 / sample
HDFS du说明
该Hadoop基本命令与-du类似,但它会打印路径中所有文件/目录的磁盘使用量摘要。
3.20 ?DF
HDFS df命令用法
hdfs dfs -df [-h] URI [URI …]
HDFS dfs命令示例
hdfs dfs -df -h
HDFS dfs命令说明
这个Hadoop fs显示可用空间。
3.21 ?touchz
Hadoop touchz命令用法
touchz <路径>
Hadoop touchz命令示例
hdfs dfs -touchz / user / zhiyun / dir2
Hadoop touchz命令说明
这个HDFS基本在包含当前时间的路径上创建一个文件作为时间戳。如果文件已经存在于路径中,则失败,除非文件已经大小为0。
3.22 test
Hadoop test命令用法
hdfs dfs -test – [ezd] URI
Hadoop?test命令示例
“hdfs dfs -test -e示例
hdfs dfs -test -z示例
hdfs dfs -test -d示例“
Hadoop test 命令描述
Hadoop fs shell命令 test用于文件测试操作。
如果路径存在,它会给出1个输出;它具有零长度,或者它是一个目录或其他0。
选项:
-d:如果用户给出的路径是一个目录,那么它给出0输出。
-e:如果用户给出的路径存在,则它给出0输出。
-f:如果用户给出的路径是一个文件,那么它给出0输出。
-s:如果用户给出的路径不是空的,则它给出0输出。
-z:如果文件长度为零,则它输出0。
3.23 text
Hadoop text命令用法
hdfs dfs -text <source>
Hadooo text命令示例
hdfs dfs -text / user / zhiyun / dir1 / sample
Hadoop?text命令说明
hdfs fs?text命令获取一个源文件并以文本格式输出该文件。 允许的格式是zip和TextRecordInputStream。
3.24 stat
Hadoop stat命令用法
hdfs dfs -stat路径
Hadoop stat命令示例
hdfs dfs -stat / user / zhiyun / dir1
Hadoop stat命令描述
%b:如果格式是以块为单位接受文件大小的字符串。
%n:文件名
%o:块大小
%r:复制
%y,%Y:修改日期。
3.25 ?appendToFile
Hadoop appendToFile命令用法
hadoop fs -appendToFile <localsource> … <dst>
Hadoop appendToFile命令示例
hadoop fs -appendToFile / home / zhiyun / Desktop / sample / user / zhiyun / dir1
Hadoop appendToFile命令说明
此Hadoop fs命令将单个源或多个源从本地文件系统追加到目标文件系统。它还从标准输入读取输入并将其添加到目标文件系统。
3.26 checksum
Hadoop?checksum命令用法
hadoop fs -checksum URI
Hadoop checksum命令示例
hadoop fs -checksum / user / zhiyun / dir1 / sample
Hadoop checksum命令说明
3.27 count
Hadoop count命令用法
hdfs dfs -count [-q] <路径>
Hadoop count命令示例
hdfs dfs -count / user / zhiyun
此HDFS DFS命令计算目录的数量,存在的文件数量以及与指定文件模式匹配的路径下的字节数。
3.28 ?find
命令用法
hadoop fs -find <path> … <expression> …
命令示例
hadoop fs -find / user / zhiyun / dir1 / -name sample -print
描述
查找与指定表达式匹配的所有文件,并执行所选的所有操作。 如果没有指定路径,则默认为当前工作目录。 如果没有指定表达式,则默认为-print。
3.29 ?help
命令用法
hadoop fs –help
命令示例
hadoop fs -help
描述
它显示用户输入的命令的使用信息。 用户应该排除cmd中的前导‘ – ‘字符。
3.30 setfattr
命令用法
hadoop fs -setfattr -n name [-v value] | -x名称<路径>
命令示例
hdfs dfs -setfattr -n user.myAttr -v myValue /user/zhiyun/dir2/purchases.txt
hdfs dfs -setfattr -n user.noValue /user/zhiyun/dir2/purchases.txt
hdfs dfs -setfattr -x user.myAttr /user/zhiyun/dir2/purchases.txt
描述
为文件或目录设置扩展属性名称和值。
选项:
-b:它删除除基本ACL条目以外的所有条目。为了与许可位兼容,用户,组和其他人保留所有条目。
-n名称:它显示扩展属性名称。
-v value:显示扩展属性值。对于这些值,有三种不同的编码方法。如果任何参数包含在双引号中,则参数值是内部的字符串。如果在任何参数之前有0x或0X作为前缀,那么它被认为是一个十六进制数字。如果在任何参数之前有0或0S,那么它被认为是base64编码。
-x name:它删除扩展属性。
路径:文件或目录。
3.31 truncate
命令用法
hadoop fs -truncate [-w] <length> <路径>
命令示例
hadoop fs -truncate 55 /user/zhiyun/dir2/purchases.txt /user/zhiyun/dir1/purchases.txt
hadoop fs -truncate -w 127 /user/zhiyun/dir2/purchases.txt
描述
它将所有文件截断(缩短)到与指定文件模式匹配的指定长度。
选项:
-w标志请求在必要时该命令等待块恢复完成。没有-w标志的文件可能会在恢复过程的一段时间内保持未关闭状态。此时该文件无法重新打开追加。
3.32 ?usage
命令用法
hadoop fs -usage命令
命令示例
hadoop fs -usage mkdir
描述
返回单个命令的帮助。