Hadoop学习-HDFS

Hdoop之HDFS

什么是HDFS

背景及意义

背景

随着数据量的增加，一个操作系统存不下所有数据，就需要分配到更多的操作系统磁盘中，为了方便管理和维护，需要一种系统来管理多台机器上的文件，这就是分布式文件系统，HDFS只是分布式文件系统中的一种，其他的如：fastdfs 等
定义

HDFS 分布式文件系统，用来管理和存储文件的，由于是分布式的，是由多台服务器组成
特性

HDFS适合一次写入，多次读出的场景，不支持对文件的修改

优点

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-bA1e7nz6-1656919344364)(//p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/ce7812e8fb7b45c28b8664c00b49422e~tplv-k3u1fbpfcp-zoom-1.image)]

缺点

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-kk6gyKIs-1656919344366)(//p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/b0cfb1fc08214f35ab0c3b482867a83f~tplv-k3u1fbpfcp-zoom-1.image)]

组成架构

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-3QAGmg50-1656919344368)(//p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/5303aa23722746c6bc10df54ad7ffa7c~tplv-k3u1fbpfcp-zoom-1.image)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-jIDAQlO8-1656919344369)(//p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/b8d66e9a691040e28515bb7dcd59f6b1~tplv-k3u1fbpfcp-zoom-1.image)]

HDFS文件块大小

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-VqwNjwaA-1656919344371)(//p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/96549458f5064ebebea65b7531308bb0~tplv-k3u1fbpfcp-zoom-1.image)]

块大小影响因素

块设置太小会增加寻址时间，导致程序一直在寻找块的位置
块设置太大，数据传输时间会明显大于定位块位置时间，导致处理这个块数据的程序非常慢

总结： HDFS块大小设置取决于磁盘传输速率

HDFS命令操作

基本语法

hadoop fs 具体命令   OR  /hdfs dfs 具体命令

命令大全

下面的命令和linux下命令基本一致，基本一看就能明白怎么使用，不过多解释

[tian@hadoop201 ~]$ hdfs dfs   个人习惯试用hdfs dfs   也可以试用 hadoop fs
Usage: hadoop fs [generic options][-appendToFile <localsrc> ... <dst>]    #加一个文件到已经存在的文件末尾[-cat [-ignoreCrc] <src> ...]           #显示文件内容[-checksum <src> ...]                    # [-chgrp [-R] GROUP PATH...][-chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH...] # 设置权限[-chown [-R] [OWNER][:[GROUP]] PATH...]           # 设置所有者权限[-copyFromLocal [-f] [-p] [-l] <localsrc> ... <dst>]  # 从本地复制到hdfs [-copyToLocal [-p] [-ignoreCrc] [-crc] <src> ... <localdst>] # 从hdfs复制到本地[-count [-q] [-h] <path> ...]                        # [-cp [-f] [-p | -p[topax]] <src> ... <dst>]   #从HDFS的一个路径拷贝到HDFS的另一个路径[-createSnapshot <snapshotDir> [<snapshotName>]] # 创建快照[-deleteSnapshot <snapshotDir> <snapshotName>]   # 删除快照[-df [-h] [<path> ...]]         # 查看hdfs存储[-du [-s] [-h] <path> ...]      # 查看文件假大小[-expunge][-find <path> ... <expression> ...]      [-get [-p] [-ignoreCrc] [-crc] <src> ... <localdst>]  #等同于copyToLocal，就是从HDFS下载文件到本地[-getfacl [-R] <path>][-getfattr [-R] {-n name | -d} [-e en] <path>][-getmerge [-nl] <src> <localdst>]       #合并下载多个文件，比如HDFS的目录 /user/test下有多个文件:log.1, log.2,log.3,...[-help [cmd ...]]             # 帮助命令[-ls [-d] [-h] [-R] [<path> ...]]   #查看文件夹下文件[-mkdir [-p] <path> ...]         # 创建文件夹[-moveFromLocal <localsrc> ... <dst>]    # 从本地移动到hdfs[-moveToLocal <src> <localdst>]         # 从hdfs移动到本地[-mv <src> ... <dst>]                   # 移动文件[-put [-f] [-p] [-l] <localsrc> ... <dst>] #等同于copyFromLocal[-renameSnapshot <snapshotDir> <oldName> <newName>]  #重命名快照[-rm [-f] [-r|-R] [-skipTrash] <src> ...]      # 删除文件[-rmdir [--ignore-fail-on-non-empty] <dir> ...]     #删除文件夹[-setfacl [-R] [{-b|-k} {-m|-x <acl_spec>} <path>]|[--set <acl_spec> <path>]][-setfattr {-n name [-v value] | -x name} <path>][-setrep [-R] [-w] <rep> <path> ...]      #设置HDFS中文件的副本数量[-stat [format] <path> ...][-tail [-f] <file>]       #显示一个文件的末尾[-test -[defsz] <path>][-text [-ignoreCrc] <src> ...][-touchz <path> ...][-truncate [-w] <length> <path> ...]       # 清空路径[-usage [cmd ...]]Generic options supported are
-conf <configuration file>     specify an application configuration file
-D <property=value>            use value for given property
-fs <local|namenode:port>      specify a namenode
-jt <local|resourcemanager:port>    specify a ResourceManager
-files <comma separated list of files>    specify comma separated files to be copied to the map reduce cluster
-libjars <comma separated list of jars>    specify comma separated jar files to include in the classpath.
-archives <comma separated list of archives>    specify comma separated archives to be unarchived on the compute machines.The general command line syntax is
bin/hadoop command [genericOptions] [commandOptions]

HDFS API操作

上面介绍了如何使用命令操作hdfs，这部分是如何使用代码操作hdfs

环境搭建

解压hadoop-2.7.2 到一个非中文无空格的目录下（所有开发涉及到的软件或配置尽量使用非中文无空格）

我解压到D:\softWare\devSoft\hadoop-2.7.2

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-D5WQsd67-1656919344374)(//p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/d4d59d3a79d04bf4babaf540646603c9~tplv-k3u1fbpfcp-zoom-1.image)]

配置Hadoop环境变量

2.1新建HADOOP_HOME，路径为安装的文件夹 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-gJXJjiez-1656919344376)(//p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/88e2b4820f4d4a268c0c5ae80889d556~tplv-k3u1fbpfcp-zoom-1.image)]

2.2 配置Path环境变量

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-GVxGMF4Z-1656919344378)(//p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/e7ab8046e8374784b7ebea474d94bd6f~tplv-k3u1fbpfcp-zoom-1.image)]
验证是否安装成功

打开CMD 执行hadoop version 能显示当前Hadoop版本即可

C:\Users\Tian>hadoop version
Hadoop 2.7.2
Subversion https://git-wip-us.apache.org/repos/asf/hadoop.git -r b165c4fe8a74265c792ce23f546c64604acf0e41
Compiled by jenkins on 2016-01-26T00:08Z
Compiled with protoc 2.5.0
From source with checksum d0fda26633fa762bff87ec759ebe689c
This command was run using /D:/softWare/devSoft/hadoop-2.7.2/share/hadoop/common/hadoop-common-2.7.2.jar

打开IDEA 使用maven创建hdfsClientDemo工程，并在MAVEN中导入相关依赖

<dependencies><dependency><groupId>junit</groupId><artifactId>junit</artifactId><version>RELEASE</version></dependency><dependency><groupId>org.apache.logging.log4j</groupId><artifactId>log4j-core</artifactId><version>2.8.2</version></dependency><dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-common</artifactId><version>2.7.2</version></dependency><dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-client</artifactId><version>2.7.2</version></dependency><dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-hdfs</artifactId><version>2.7.2</version></dependency><dependency><groupId>jdk.tools</groupId><artifactId>jdk.tools</artifactId><version>1.8</version><scope>system</scope><systemPath>${JAVA_HOME}/lib/tools.jar</systemPath></dependency>
</dependencies>

添加日志配置文件

在项目的src/main/resources目录下，新建一个文件，命名为“log4j.properties”，在文件中填入如下内容

log4j.rootLogger=INFO, stdout
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n
log4j.appender.logfile=org.apache.log4j.FileAppender
log4j.appender.logfile.File=target/spring.log
log4j.appender.logfile.layout=org.apache.log4j.PatternLayout
log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n

创建包名和HdfsClient类

结构如下

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-T7MjlbfO-1656919344380)(//p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/62189a1af5f141cd8e7b2d27028e4b6f~tplv-k3u1fbpfcp-zoom-1.image)]

案例

HDFS文件上传

    @Testpublic void testMkdirs() throws IOException, InterruptedException, URISyntaxException {// 1 获取文件系统Configuration configuration = new Configuration();// 配置在集群上运行// configuration.set("fs.defaultFS", "hdfs://hadoop201:9000");// FileSystem fs = FileSystem.get(configuration);FileSystem fs = FileSystem.get(new URI("hdfs://hadoop201:9000"), configuration, "tian");// 2 创建目录fs.mkdirs(new Path("/test/tian/hdfsDemo"));// 3 关闭资源fs.close();}

可以通过HDFS命令行查看结果，也可以通过WEB端查看结果

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-BOiLFFuB-1656919344381)(//p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/80e9ac5fe7f4406bbc920389b3023d8c~tplv-k3u1fbpfcp-zoom-1.image)]

HDFS文件下载

/*** HDFS文件下载*/@Testpublic void testCopyToLocalFile() throws IOException, InterruptedException, URISyntaxException{// 1 获取文件系统Configuration configuration = new Configuration();FileSystem fs = FileSystem.get(new URI("hdfs://hadoop201:9000"), configuration, "tian");// 2 执行下载操作// boolean delSrc 指是否将原文件删除// Path src 指要下载的文件路径// Path dst 指将文件下载到的路径// boolean useRawLocalFileSystem 是否开启文件校验fs.copyToLocalFile(false, new Path("/word.txt"), new Path("d:/word.txt"), true);// 3 关闭资源fs.close();}

HDFS文件夹删除

@Test
public void testDelete() throws IOException, InterruptedException, URISyntaxException{// 1 获取文件系统Configuration configuration = new Configuration();FileSystem fs = FileSystem.get(new URI("hdfs://hadoop201:9000"), configuration, "tian");// 2 执行删除fs.delete(new Path("/test/tian/hdfsDemo"), true);// 3 关闭资源fs.close();
}

HDFS文件名修改

@Test
public void testRename() throws IOException, InterruptedException, URISyntaxException{// 1 获取文件系统Configuration configuration = new Configuration();FileSystem fs = FileSystem.get(new URI("hdfs://hadoop201:9000"), configuration, "tian"); // 2 修改文件名称fs.rename(new Path("/word.txt"), new Path("/word1.txt"));// 3 关闭资源fs.close();
}

HSFS文件详情查看

查看文件名称、权限、长度、块信息

@Test
public void testListFiles() throws IOException, InterruptedException, URISyntaxException{// 1获取文件系统Configuration configuration = new Configuration();FileSystem fs = FileSystem.get(new URI("hdfs://hadoop201:9000"), configuration, "tian"); // 2 获取文件详情RemoteIterator<LocatedFileStatus> listFiles = fs.listFiles(new Path("/"), true);while(listFiles.hasNext()){LocatedFileStatus status = listFiles.next();// 输出详情// 文件名称System.out.println(status.getPath().getName());// 长度System.out.println(status.getLen());// 权限System.out.println(status.getPermission());// 分组System.out.println(status.getGroup());// 获取存储的块信息BlockLocation[] blockLocations = status.getBlockLocations();for (BlockLocation blockLocation : blockLocations) {// 获取块存储的主机节点String[] hosts = blockLocation.getHosts();for (String host : hosts) {System.out.println(host);}}System.out.println("-----------分割线----------");}// 3 关闭资源
fs.close();
}

HDFS文件和文件夹判断

@Test
public void testListStatus() throws IOException, InterruptedException, URISyntaxException{// 1 获取文件配置信息Configuration configuration = new Configuration();FileSystem fs = FileSystem.get(new URI("hdfs://hadoop201:9000"), configuration, "tian");// 2 判断是文件还是文件夹FileStatus[] listStatus = fs.listStatus(new Path("/"));for (FileStatus fileStatus : listStatus) {// 如果是文件if (fileStatus.isFile()) {System.out.println("f:"+fileStatus.getPath().getName());}else {System.out.println("d:"+fileStatus.getPath().getName());}}// 3 关闭资源fs.close();
}

HDFS流程

HDFS写数据流程

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-7gVCuGhJ-1656919344383)(//p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/bf23587a573f48978e6541731fb77171~tplv-k3u1fbpfcp-zoom-1.image)]

1）客户端通过Distributed FileSystem模块向NameNode请求上传文件，NameNode检查目标文件是否已存在，父目录是否存在。

2）NameNode返回是否可以上传。

3）客户端请求第一个 Block上传到哪几个DataNode服务器上。

4）NameNode返回3个DataNode节点，分别为dn1、dn2、dn3。

5）客户端通过FSDataOutputStream模块请求dn1上传数据，dn1收到请求会继续调用dn2，然后dn2调用dn3，将这个通信管道建立完成。

6）dn1、dn2、dn3逐级应答客户端。

7）客户端开始往dn1上传第一个Block（先从磁盘读取数据放到一个本地内存缓存），以Packet为单位，dn1收到一个Packet就会传给dn2，dn2传给dn3；dn1每传一个packet会放入一个应答队列等待应答。

8）当一个Block传输完成之后，客户端再次请求NameNode上传第二个Block的服务器。（重复执行3-7步）。

HDFS读数据流程

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-kfpJdJZO-1656919344385)(//p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/0a215d8cd73940b8a3f1e90ee9c74659~tplv-k3u1fbpfcp-zoom-1.image)]

1）客户端通过Distributed FileSystem向NameNode请求下载文件，NameNode通过查询元数据，找到文件块所在的DataNode地址。

2）挑选一台DataNode（就近原则，然后随机）服务器，请求读取数据。

3）DataNode开始传输数据给客户端（从磁盘里面读取数据输入流，以Packet为单位来做校验）。

4）客户端以Packet为单位接收，先在本地缓存，然后写入目标文件。

机架感知

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-mWDZt4wp-1656919344386)(//p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/2d66466cdb0449dcb696b143fb65ae2b~tplv-k3u1fbpfcp-zoom-1.image)]

NN和2NN

NameNode中的元数据是存储在哪里的？

新的框架或组件的诞生必然是解决某些问题的

如果存储在磁盘中，因为经常需要随机访问，因此效率很低，如果放在内存中，效率高了，一旦断电，元数据丢失，集群就无法工作了，因此产生在磁盘中备份元数据的FsImage。

新的问题来了，当在内存中更新元数据时，如果同步更新FSImage，那么效率也是很低的，如果不更新，会造成数据不一致，一旦断电，也会丢失数据，==因此，引入Edits文件(只进行追加操作，效率很高)。每当元数据有更新或者添加元数据时，修改内存中的元数据并追加到Edits中。==这样，一旦NameNode节点断电，可以通过FsImage和Edits的合并，合成元数据。

但是，如果长时间添加数据到Edits中，会导致该文件数据过大，效率降低，而且一旦断电，恢复元数据需要的时间过长。因此，需要定期进行FsImage和Edits的合并，如果这个操作由NameNode节点完成，又会效率过低。因此，引入一个新的节点SecondaryNamenode，专门用于FsImage和Edits的合并。

NN和2NN工作机制

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-5f6sPWkT-1656919344387)(//p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/322f6943e9604dc6a84fd23a6dd7df24~tplv-k3u1fbpfcp-zoom-1.image)]

第一阶段：NameNode启动

（1）第一次启动NameNode格式化后，创建Fsimage和Edits文件。如果不是第一次启动，直接加载编辑日志和镜像文件到内存。

（2）客户端对元数据进行增删改的请求。

（3）NameNode记录操作日志，更新滚动日志。

（4）NameNode在内存中对数据进行增删改。
第二阶段：Secondary NameNode工作

（1）Secondary NameNode询问NameNode是否需要CheckPoint。直接带回NameNode是否检查结果。

（2）Secondary NameNode请求执行CheckPoint。

（3）NameNode滚动正在写的Edits日志。

（4）将滚动前的编辑日志和镜像文件拷贝到Secondary NameNode。

（5）Secondary NameNode加载编辑日志和镜像文件到内存，并合并。

（6）生成新的镜像文件fsimage.chkpoint。

（7）拷贝fsimage.chkpoint到NameNode。

（8）NameNode将fsimage.chkpoint重新命名成fsimage。

NN和2NN工作机制详解：

Fsimage：NameNode内存中元数据序列化后形成的文件。

Edits：记录客户端更新元数据信息的每一步操作（可通过Edits运算出元数据）。

NameNode启动时，先滚动Edits并生成一个空的edits.inprogress，然后加载Edits和Fsimage到内存中，此时NameNode内存就持有最新的元数据信息。Client开始对NameNode发送元数据的增删改的请求，这些请求的操作首先会被记录到edits.inprogress中（查询元数据的操作不会被记录在Edits中，因为查询操作不会更改元数据信息），如果此时NameNode挂掉，重启后会从Edits中读取元数据的信息。然后，NameNode会在内存中执行元数据的增删改的操作。

由于Edits中记录的操作会越来越多，Edits文件会越来越大，导致NameNode在启动加载Edits时会很慢，所以需要对Edits和Fsimage进行合并（所谓合并，就是将Edits和Fsimage加载到内存中，照着Edits中的操作一步步执行，最终形成新的Fsimage）。SecondaryNameNode的作用就是帮助NameNode进行Edits和Fsimage的合并工作。

SecondaryNameNode首先会询问NameNode是否需要CheckPoint（触发CheckPoint需要满足两个条件中的任意一个，定时时间到和Edits中数据写满了）。直接带回NameNode是否检查结果。SecondaryNameNode执行CheckPoint操作，首先会让NameNode滚动Edits并生成一个空的edits.inprogress，滚动Edits的目的是给Edits打个标记，以后所有新的操作都写入edits.inprogress，其他未合并的Edits和Fsimage会拷贝到SecondaryNameNode的本地，然后将拷贝的Edits和Fsimage加载到内存中进行合并，生成fsimage.chkpoint，然后将fsimage.chkpoint拷贝给NameNode，重命名为Fsimage后替换掉原来的Fsimage。NameNode在启动时就只需要加载之前未合并的Edits和Fsimage即可，因为合并过的Edits中的元数据信息已经被记录在Fsimage中。

Fsimage和Edits解析

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ibwNxhnP-1656919344389)(//p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/5e49a8998a18489f8fec17a09e3195a4~tplv-k3u1fbpfcp-zoom-1.image)]

可以看出，Fsimage中没有记录块所对应DataNode，为什么？

在集群启动后，要求DataNode上报数据块信息，并间隔一段时间后再次上报。

CheckPoint时间设置

SecondaryNameNode 默认每一个小时执行一次

[hdfs-default.xml]

<property><name>dfs.namenode.checkpoint.period</name><value>3600</value>
</property>

设置为一分钟检查一次操作次数，当操作次数达到一百万时，执行一次

<property><name>dfs.namenode.checkpoint.txns</name><value>1000000</value>
<description>操作动作次数</description>
</property><property><name>dfs.namenode.checkpoint.check.period</name><value>60</value>
<description> 1分钟检查一次操作次数</description>
</property >

NameNode故障处理

NameNode故障后，可以采用如下两种方法恢复数据。

方法一：将SecondaryNameNode中数据拷贝到NameNode存储数据的目录；

kill -9 NameNode进程
删除NameNode存储的数据（/opt/module/hadoop-2.7.2/data/tmp/dfs/name）

rm -rf /opt/module/hadoop-2.7.2/data/tmp/dfs/name/*

拷贝SecondaryNameNode中数据到原NameNode存储数据目录

scp -r tian@hadoop203:/opt/module/hadoop-2.7.2/data/tmp/dfs/namesecondary/* ./name/

重新启动NameNode

sbin/hadoop-daemon.sh start namenode

方法二：使用-importCheckpoint选项启动NameNode守护进程，从而将SecondaryNameNode中数据拷贝到NameNode目录中。

修改hdfs-site.xml中的

<property><name>dfs.namenode.checkpoint.period</name><value>120</value>
</property><property><name>dfs.namenode.name.dir</name><value>/opt/module/hadoop-2.7.2/data/tmp/dfs/name</value>
</property>

kill -9 NameNode进程
删除NameNode存储的数据（/opt/module/hadoop-2.7.2/data/tmp/dfs/name）

rm -rf /opt/module/hadoop-2.7.2/data/tmp/dfs/name/*

如果SecondaryNameNode不和NameNode在一个主机节点上，需要将SecondaryNameNode存储数据的目录拷贝到NameNode存储数据的平级目录，并删除in_use.lock文件

[tian@hadoop201 dfs]$ scp -r tian@hadoop201:/opt/module/hadoop-2.7.2/data/tmp/dfs/namesecondary ./[tian@hadoop201 namesecondary]$ rm -rf in_use.lock[tian@hadoop201 dfs]$ pwd
/opt/module/hadoop-2.7.2/data/tmp/dfs[tian@hadoop201 dfs]$ ls
data  name  namesecondary

导入检查点数据（等待一会ctrl+c结束掉）

bin/hdfs namenode -importCheckpoint

启动NameNode

sbin/hadoop-daemon.sh start namenode

集群安全模式

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-JHqvD9ng-1656919344390)(//p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/06c60817967c4f29aed534fee53d7e78~tplv-k3u1fbpfcp-zoom-1.image)]

基本语法

集群处于安全模式，不能执行重要操作（写操作）。集群启动完成后，自动退出安全模式。

（1）bin/hdfs dfsadmin -safemode get （功能描述：查看安全模式状态）

（2）bin/hdfs dfsadmin -safemode enter （功能描述：进入安全模式状态）

（3）bin/hdfs dfsadmin -safemode leave （功能描述：离开安全模式状态）

（4）bin/hdfs dfsadmin -safemode wait （功能描述：等待安全模式状态）

NameNode多目录设置

NameNode的本地目录可以配置成多个，且每个目录存放内容相同，增加了可靠性

在hdfs-site.xml文件中增加如下内容

<property><name>dfs.namenode.name.dir</name>
<value>file:///${hadoop.tmp.dir}/dfs/name1,file:///${hadoop.tmp.dir}/dfs/name2</value>
</property>

停止集群，删除data和logs中所有数据。

[tian@hadoop201 hadoop-2.7.2]$ rm -rf data/ logs/
[tian@hadoop202 hadoop-2.7.2]$ rm -rf data/ logs/
[tian@hadoop203 hadoop-2.7.2]$ rm -rf data/ logs/

格式化集群并启动。

[tian@hadoop201 hadoop-2.7.2]$ bin/hdfs namenode –format
[tian@hadoop201 hadoop-2.7.2]$ sbin/start-dfs.sh

查看结果

[tian@hadoop201 dfs]$ ll
总用量 12
drwx------. 3 tian tian 4096 12月 11 08:03 data
drwxrwxr-x. 3 tian tian 4096 12月 11 08:03 name1
drwxrwxr-x. 3 tian tian 4096 12月 11 08:03 name2

DataNode

工作机制

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-RkOTexkv-1656919344392)(//p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/bf0143502aa64c1894ed8ee3d9669db6~tplv-k3u1fbpfcp-zoom-1.image)]

1）一个数据块在DataNode上以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是元数据包括数据块的长度，块数据的校验和，以及时间戳。

2）DataNode启动后向NameNode注册，通过后，周期性（1小时）的向NameNode上报所有的块信息。

3）心跳是每3秒一次，心跳返回结果带有NameNode给该DataNode的命令如复制块数据到另一台机器，或删除某个数据块。如果超过10分钟没有收到某个DataNode的心跳，则认为该节点不可用。

4）集群运行中可以安全加入和退出一些机器。

数据完整性

思考：如果电脑磁盘里面存储的数据是控制高铁信号灯的红灯信号（1）和绿灯信号（0），但是存储该数据的磁盘坏了，一直显示是绿灯，是否很危险？同理DataNode节点上的数据损坏了，却没有发现，是否也很危险，那么如何解决呢？

如下是DataNode节点保证数据完整性的方法。

1）当DataNode读取Block的时候，它会计算CheckSum。

2）如果计算后的CheckSum，与Block创建时值不一样，说明Block已经损坏。

3）Client读取其他DataNode上的Block。

4）DataNode在其文件创建后周期验证CheckSum

掉线时限参数设置

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-EBRKpTUw-1656919344393)(//p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/2168e12700bd4107916362bca115c7e0~tplv-k3u1fbpfcp-zoom-1.image)]

需要注意的是hdfs-site.xml 配置文件中的heartbeat.recheck.interval的单位为毫秒，dfs.heartbeat.interval的单位为秒。

<property><name>dfs.namenode.heartbeat.recheck-interval</name><value>300000</value>
</property><property><name>dfs.heartbeat.interval</name><value>3</value>
</property>

服役新节点

背景是公司业务增长，数据量越来越大，原来的节点容量不够了，需要在原有集群基础上动态增加新的数据节点

准备新服务器，取名为Hadoop204
配置Hadoop204和其他DataNode节点一致

注意要无密登录,hosts文件和hostname，关闭防火墙
如果要被群起命令管理需要配置slave，增加新的节点hostname
删除原来HDFS文件系统留存的文件（/opt/module/hadoop-2.7.2/data和log）
source一下配置文件
```
source /etc/profile
```
直接在新机器上单机启动DataNode

hadoop-daemon.sh start datanode
yarn-daemon.sh start nodemanager

如果数据不均衡，可以用命令实现集群的再平衡

./start-balancer.sh

退役旧节点

黑名单退役

在黑名单上面的主机都会被强制退出。

在NameNode的/opt/module/hadoop-2.7.2/etc/hadoop目录下创建dfs.hosts.exclude文件
```
hadoop204 # 添加要退役的节点名称
```

在NameNode的hdfs-site.xml配置文件中增加dfs.hosts.exclude属性

<property>
<name>dfs.hosts.exclude</name><value>/opt/module/hadoop-2.7.2/etc/hadoop/dfs.hosts.exclude</value>
</property>

刷新NameNode、刷新ResourceManager

hdfs dfsadmin -refreshNodes # 刷新namenode节点
yarn rmadmin -refreshNodes  # 刷新ResourceManager

检查Web浏览器，退役节点的状态为decommission in progress（退役中），说明数据节点正在复制块到其他节点
等待退役节点状态为decommissioned（所有块已经复制完成），停止该节点及节点资源管理器。注意：如果副本数是3，服役的节点小于等于3，是不能退役成功的，需要修改副本数后才能退役

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-TDYz7Fqx-1656919344395)(//p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/29bdcc60e8da414ea6beb5cfa173e37c~tplv-k3u1fbpfcp-zoom-1.image)]
如果数据不均衡，可以用命令实现集群的再平衡
```
start-balancer.sh
```

注意：不允许白名单和黑名单中同时出现同一个主机名称。

白名单退役

退役如下节点

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-KYXbaeu6-1656919344396)(//p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/45443185f3b74cb69c9168ef26a739d7~tplv-k3u1fbpfcp-zoom-1.image)]

在NameNode的/opt/module/hadoop-2.7.2/etc/hadoop目录下创建dfs.hosts文件
添加如下主机名称（不添加hadoop204）
```
hadoop201
hadoop202
hadoop203
```

在NameNode的hdfs-site.xml配置文件中增加dfs.hosts属性

<property>
<name>dfs.hosts</name>
<value>/opt/module/hadoop-2.7.2/etc/hadoop/dfs.hosts</value>
</property>

配置文件分发
```
xsync hdfs-site.xml
```

刷新NameNode 更新ResourceManager节点

hdfs dfsadmin -refreshNodes # 刷新namenode节点
yarn rmadmin -refreshNodes  # 刷新ResourceManager

在web浏览器上查看,直接退役掉

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-TAF835jG-1656919344397)(//p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/df3038df9b254cb4953182d0aa6f349e~tplv-k3u1fbpfcp-zoom-1.image)]

Datanode多目录配置

DataNode也可以配置成多个目录，每个目录存储的数据不一样。即：数据不是副本

修改hdfs-site.xml

<property><name>dfs.datanode.data.dir</name>
<value>file:///${hadoop.tmp.dir}/dfs/data1,file:///${hadoop.tmp.dir}/dfs/data2</value>
</property>

分发配置文件
```
xsync hdfs-site.xml
```

刷新

hdfs dfsadmin -refreshNodes # 刷新namenode节点
yarn rmadmin -refreshNodes  # 刷新ResourceManager

查看目录

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-NZ6kEO7V-1656919344398)(//p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/24da4d21b93b4763917254e652b8fe7e~tplv-k3u1fbpfcp-zoom-1.image)]