Hadoop（3）：HDFS 基本操作

1、Shell命令行客户端

Hadoop 提供了文件系统的 shell 命令行客户端，使用方法如下：

hadoop fs <args>

文件系统 shell 包括与 Hadoop 分布式文件系统（HDFS）以及 Hadoop 支持的其他文件系统（如本地FS，HFTP FS，S3 FS 等）直接交互的各种类似shell的命令。所有FS shell命令都将路径URI作为参数。

URI格式为scheme://authority/path。对于HDFS，该scheme是hdfs，对于本地FS，该scheme是file。scheme和authority是可选的。如果未指定，则使用配置中指定的默认方案。

对于 HDFS,命令示例如下：

hadoop fs -ls hdfs://namenode:host/parent/childhadoop fs -ls /parent/child?

fs.defaultFS中有配置

对于本地文件系统，命令示例如下：

hadoop fs -ls file:///root/

如果使用的文件系统是 HDFS，则使用 hdfs dfs 也是可以的，此时

hadoop fs <args> = hdfs dfs <args>

2、Shell命令选项

选项名称

含义

-ls

-ls < 路径 >

查看指定路径的当前目录结构

-lsr

-lsr < 路径 >

递归查看指定路径的目录结构

-du

-du < 路径 >

统计目录下个文件大小

-dus

-dus < 路径 >

汇总统计目录下文件 ( 夹 ) 大小

-count

-count [-q] < 路径 >

统计文件 ( 夹 ) 数量

-mv

-mv < 源路径 > < 目的路径 >

移动

-cp

-cp < 源路径 > < 目的路径 >

复制

-rm

-rm [-skipTrash] < 路径 >

删除文件 / 空白文件夹

-rmr

-rmr [-skipTrash] < 路径 >

递归删除

-put

-put < 多个 linux 上的文件 > <hdfs 路径 >

上传文件

-copyFromLocal

-copyFromLocal <多个 linux 上的文件 >

从本地复制

-moveFromLocal

-moveFromLocal < 多个 linux 上的文件 >

从本地移动

-getmerge

-getmerge < 源路径 > <linux 路径 >

合并到本地

-cat

-cat <hdfs 路径 >

查看文件内容

-text

-text <hdfs 路径 >

查看文件内容

-copyToLocal

-copyToLocal [-ignoreCrc] [-crc] [hdfs

源路径 ] [linux 目的路径 ]

从本地复制

-moveToLocal

-moveToLocal [-crc] <hdfs 源路径 > <li

nux 目的路径 >

从本地移动

-mkdir

-mkdir <hdfs 路径 >

创建空白文件夹

-setrep

-setrep [-R] [-w] < 副本数 > < 路径 >

修改副本数量

-touchz

-touchz < 文件路径 >

创建空白文件

-stat

-stat [format] < 路径 >

显示文件统计信息

-tail

-tail [-f] < 文件 >

查看文件尾部信息

-chmod

-chmod [-R] < 权限模式 > [ 路径 ]

修改权限

-chown

-chown [-R] [ 属主 ][:[ 属组 ]] 路径

修改属主

-chgrp

-chgrp [-R] 属组名称路径

修改属组

-help

-help [ 命令选项 ]

帮助

3、Shell常用命令介绍

-ls
使用方法：hadoop fs -ls [-h] [-R]
功能：显示文件、目录信息。
示例：hadoop fs -ls /user/hadoop/file1

-mkdir

使用方法：hadoop fs -mkdir [-p]
功能：在 hdfs 上创建目录，-p 表示会创建路径中的各级父目录。
示例：hadoop fs -mkdir –p /user/hadoop/dir1

-put

使用方法：hadoop fs -put [-f] [-p] [ -| … ].
功能：将单个 src 或多个 srcs 从本地文件系统复制到目标文件系统。
-p：保留访问和修改时间，所有权和权限。
-f：覆盖目的地（如果已经存在）
示例：hadoop fs -put -f localfile1 localfile2 /user/hadoop/hadoopdir

-get

使用方法：hadoop fs -get [-ignorecrc] [-crc] [-p] [-f]
-ignorecrc：跳过对下载文件的 CRC 检查。
-crc：为下载的文件写 CRC 校验和。
功能：将文件复制到本地文件系统。
示例：hadoop fs -get hdfs://host:port/user/hadoop/file localfile

-appendToFile

使用方法：hadoop fs -appendToFile …
功能：追加一个文件到已经存在的文件末尾
示例：hadoop fs -appendToFile localfile /hadoop/hadoopfile

-cat

使用方法：hadoop fs -cat [-ignoreCrc] URI [URI …]
功能：显示文件内容到 stdout
示例：hadoop fs -cat /hadoop/hadoopfile

-tail

使用方法：hadoop fs -tail [-f] URI
功能：将文件的最后一千字节内容显示到 stdout。
-f 选项将在文件增长时输出附加数据。
示例：hadoop fs -tail /hadoop/hadoopfile

-chgrp

使用方法：hadoop fs -chgrp [-R] GROUP URI [URI …]
功能：更改文件组的关联。用户必须是文件的所有者，否则是超级用户。
-R 将使改变在目录结构下递归进行。
示例：hadoop fs -chgrp othergroup /hadoop/hadoopfile

-chmod

功能：改变文件的权限。使用-R 将使改变在目录结构下递归进行。
示例：hadoop fs -chmod 666 /hadoop/hadoopfile

-chown

功能：改变文件的拥有者。使用-R 将使改变在目录结构下递归进行。
示例：hadoop fs -chown someuser:somegrp /hadoop/hadoopfile

-copyFromLocal

使用方法：hadoop fs -copyFromLocal URI
功能：从本地文件系统中拷贝文件到 hdfs 路径去
示例：hadoop fs -copyFromLocal /root/1.txt /

-copyToLocal

功能：从 hdfs 拷贝到本地
示例：hadoop fs -copyToLocal /aaa/jdk.tar.gz

-cp

功能：从 hdfs 的一个路径拷贝 hdfs 的另一个路径
示例： hadoop fs -cp /aaa/jdk.tar.gz /bbb/jdk.tar.gz.2

-mv

功能：在 hdfs 目录中移动文件
示例： hadoop fs -mv /aaa/jdk.tar.gz /

-getmerge

功能：合并下载多个文件
示例：比如 hdfs 的目录 /aaa/下有多个文件:log.1, log.2,log.3,…
hadoop fs -getmerge /aaa/log.* ./log.sum

-rm

功能：删除指定的文件。只删除非空目录和文件。
-r 递归删除。
示例：hadoop fs -rm -r /aaa/bbb/

-df

功能：统计文件系统的可用空间信息
示例：hadoop fs -df -h /

-du

功能：显示目录中所有文件大小，当只指定一个文件时，显示此文件的大小。
示例：hadoop fs -du /user/hadoop/dir1

-setrep

功能：改变一个文件的副本系数。-R 选项用于递归改变目录下所有文件的副本系数。
示例：hadoop fs -setrep -w 3 -R /user/hadoop/dir1