HDFS错误: File /XXX could only be replicated to 0 nodes instead of minReplication (=1). 解决方法

0.背景

三台centos7的虚拟机进行了完全分布式模式的搭建，Hadoop版本2.7.1
虚拟机 node1为NameNode
node2 为SecondNameNode和DataNode
node3 为 DataNode
该项目是基于HDFS的网盘项目，有上传文件的需求

解决方法：关闭所有虚拟机的防火墙！或者打开DataNode主机的指定端口：50010、50020

systemctl stop firewalld.service

1. 报错

做文件上传时，前端上传文件报错，具体如下：

File /aaa/a.txt.COPYING could only be replicated to 0 nodes instead of minReplication (=1). There are 2 datanode(s) running and 2 node(s) are excluded in this operation.
at org.apache.hadoop.hdfs.server.blockmanagement.BlockManager.chooseTarget4NewBlock(BlockManager.java:1550)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getNewBlockTargets(FSNamesystem.java:3110)
……

用 hadoop fs -put 命令上传也报错

基本分析不是项目前后端代码的问题，考虑Hadoop本身问题。

2.解决

查询资料发现如果问题在Hadoop，可以有如下？

DataNode未成功启动,这个可以在虚拟机里用jps命令查看是否有DataNode的进程

jps

可能是hdfs存储空间不够了，在虚拟机node1输入命令查看

hdfs dfsadmin -report

显然不是，我这里还有10多G的 Remaining

3. centOS7的防火墙问题，导致Hadoop集群通讯出现很多问题。我安装的时候并没有直接关闭firewall防火墙，而是放行了当时需要的几个端口，50070之类。

关闭所有虚拟机防火墙果然成功。

systemctl stop firewalld.service

3.粗暴关闭有必要吗？

虽然是虚拟机里的集群，安全无所谓。但直接关闭防火墙太粗暴，还是放行端口优雅，我测试后发现把所有DataNode下放行如下端口即可，我的DataNode 是Node2 和 Node3。

firewall-cmd --zone=public --add-port=50010/tcp --permanent
firewall-cmd --zone=public --add-port=50020/tcp --permanent
firewall-cmd --zone=public --add-port=50075/tcp --permanent
firewall-cmd --reload
(50075其实不是必须的）
我的node1（NameNode）

我的node3（DataNode）

端口信息参考这里Hadoop3.0开始，需要防火墙开放的端口

HDFS错误: File /XXX could only be replicated to 0 nodes instead of minReplication (=1). 解决方法相关推荐

File XXX could only be replicated to 0 nodes instead of minReplication (=1).
使用如下命令加载HIVE数据时, load data local inpath '/usr/local/testdata/smalltable' into table testtab1; 一直报错,错 ...
HDFS DataNode问题-_COPYING_ could only be replicated to 0 nodes instead of minReplication (=1). There
OS:Ubuntu 12.04 Hadoop:Hadoop-2.7.1自己编译版本问题:文件不能拷贝到HDFS 的问题,也就是HDFS的DataNode没有正常加载. root@bigdatates ...
hadoop学习笔记（一）RemoteException:could only be replicated to 0 nodes instead of minReplication (=1)
最近在学习hadoop的使用从开始使用到现在一直都没出现过这种报错只是想要在hadoop上新建一个文件夹就报错name node is in safe mode 属实给我整懵逼了我以为是我的集群 ...
put: File COPYING could be replicated to 0 nodes instead of minReplication.There are 0 datanodes解决方案
大家好,我是爱编程的喵喵.双985硕士毕业,现担任全栈工程师一职,热衷于将数据思维应用到工作与生活中.从事机器学习以及相关的前后端开发工作.曾在阿里云.科大讯飞.CCF等比赛获得多次Top名次.现 ...
put: File /input._COPYING_ could only be replicated to 0 nodes instead of minReplication (=1). Ther
Hadoop上传文件报错: operation.java.net.NoRouteToHostException: 没有到主机的路由报错:put: File /input.COPYING could ...
could only be replicated to 0 nodes instead of minReplication (=1). There are 1 datanode(s) running
学习使用 Hadoop-3.2.2 API IDEA中使用Java 向hdfs 写入文件时出现如下错误: could only be replicated to 0 nodes instead of ...
could only be replicated to 0 nodes instead of minReplication (=1). There are 2 datanode(s) running
连续奋战7个小时,无果,突然看到一篇文章说可能是网络问题,开了热点问题解决,是校园网的问题 org.apache.hadoop.ipc.RemoteException(java.io.IOExcept ...
我是如何解决jobtracker.info could only be replicated to 0 nodes, instead of 1这个问题的
我按照慕课网上的教程来学习搭建hadoop-1.2.1环境,可是在start-all.sh这步的时候一直通不过,命令行报如下错误 [@soguo /home/denglinjie/hadoop]# s ...
could only be replicated to 1 nodes instead of minReplication (=2). There are 3 datanode(s) running
在一个bash中写了很多连续的hive脚本,总是跑一段时间后出现 org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /t ...