The reported blocks 801 needs additional 1 blocks to reach the threshold 0.9990 of total blocks 803.
The reported blocks 801 needs additional 1 blocks to reach the threshold 0.9990 of total 但数当数据量比较大时,要进行分动态分区就会出现各种各样的问题,
问题1:
The reported blocks 801 needs additional 1 blocks to reach the threshold 0.9990 of total blocks 803.
故障处理，比较粗暴的方式，删除故障分区：
步骤 1 执行命令退出安全模式：hadoop dfsadmin -safemode leave
步骤 2 执行健康检查，删除损坏掉的block。()
sudo -u hdfs hdfs fsck / -delete
问题2:
Call From master/192.168.10.113 to master:10020 failed on connection exception: java.net.ConnectException: Connection refused; For more details see: http://wiki.apache.org/hadoop/ConnectionRefused
原因:没有启动 jobhistory
执行命令
mr-jobhistory-daemon.sh start historyserver
来启动jobhistory
问题3:
RemoteException(java.io.IOException): File /user/hive/warehouse/ods.db/ods_fin_opb_feedetail_plus/.hive-staging_hive_2021-06-07_10-14-59_792_6525550450636989213-1/_task_tmp.-ext-10002/day=2021-02-04/_tmp.000006_1 could only be written to 0 of the 1 minReplication nodes. There are 3 datanode(s) running and 3 node(s) are excluded in this operation
The reported blocks 801 needs additional 1 blocks to reach the threshold 0.9990 of total blocks 803.相关推荐
- 一脸懵逼学习Hive的元数据库Mysql方式安装配置
1:要想学习Hive必须将Hadoop启动起来,因为Hive本身没有自己的数据管理功能,全是依赖外部系统,包括分析也是依赖MapReduce: 2:七个节点跑HA集群模式的: 第一步:必须先将Zook ...
- 模拟namenode挂掉利用secondary namenode恢复
测试机器: 10.0.50.144 master (namenode,datanode) 10.0.50.145 node1 (datanode) 10.0.50.146 node2 ...
- Hive安装中遇到过的坑
实现说明每一个用户的环境都有细微的不一致,所以这里只是个人经过这些坑的处理,但是不意味着所有处理都是这样的操作,仅作为参考. 第一个坑 数据库安装,数据库最好装在Linux上,一直出了很多错,这里有一 ...
- # hive打不开,提示节点过少，进入安全模式~~
hive打不开,提示节点过少,进入安全模式~~ 前段时候给电及除尘,因为经常拆着玩,越熟练越容易大意,一下子把电源排线扯坏了.挼了挼,想凑和着用吧,没想到不知怎么的就会关机,太频繁了.一怒之下取出来剪 ...
- HDFS block丢失过多进入安全模式（safe mode）的解决方法
1.背景 hdfs 重启hdfs,发现HA集群总是nameNode 主备挂掉,然后报错 Safe mode is ON. The number of live datanodes 5 has reac ...
- Python +大数据-hadoop生态-hadoop(三)--Hadoop HDFS
Python +大数据-hadoop生态-hadoop(三)–Hadoop HDFS 今日课程学习目标 理解分布式文件存储的概念与实现 掌握HDFS分块存储.副本机制等特性 学会shell操作HDFS ...
- 2021-12-30大数据学习日志——Hadoop离线阶段——HDFS
学习目标 理解分布式文件存储的概念与实现 掌握HDFS分块存储.副本机制等特性 学会shell操作HDFS 掌握HDFS读写流程 理解NameNode元数据管理机制 理解SecondaryNameNo ...
- hadoop基本知识
服务的基本的启动方法 sbin/start-all.sh 关闭方法 sbin/stop-all.sh 历史记录的启动方法 sbin/mr-jobhistory-daemon.sh start hist ...
- 记录搭建分布式项目环境-MySQL集群
下了好多版本,都没有默认的my.cnf文件,发现5.7.17有,但其实my.cnf可以直接复制一份到etc下面就可以了,然后将basedir和datadir记得改好 [hadoop@localhost ...
最新文章
- Linux 中FTP服务的应用（安装配置）
- 奇瑞s61鸿蒙,数码提前曝光，奇瑞新能源 S61 将搭载华为鸿蒙车机系统
- C语言实现生产者-消费者问题
- 64位oracle客户端_开发小记-golang连接Oracle数据库配置
- jni releative
- tableau必知必会之教你做品牌树的树梢（分类桑基图补丁）
- Boost：使用/type ＜＞语法测试功能对象
- 1-3月我国软件业务收入同比增长12.9%
- SAP Fiori Elements - how to set breakpoint to get converted xml view parsed by f
- Python爬虫利器五Selenium用法
- 异步复位设计中的亚稳态问题及其解决方案
- 设置mysql的interactive_timeout和wait_timeout的值
- 95-10-030-启动-deamon定时任务
- 如何设计可自学习的五子棋 AI？
- maven -父子项目和多模块项目
- 惠普瘦客户机多屏显示T5740
- linux服务器学习笔记：linux如何远程登录？
- 拓端tecdat|R语言数据可视化分析案例：探索BRFSS数据
- SSM项目实战——图书管理系统
- Jetson nano使用anaconda 2021-5-15