记录一次hadoop的空间清理

使用CDH遇到机器并没有跑什么生产项目，但是产生了将近300G/每个节点的数据。
过程中使用hadoop fs -du -h / 来查看hadoop根目录下文件的空间占用量，在这里看到spark占用了差不多1.3T左右的磁盘空间。

运行命令会提示用户没有权限，进去CDH下面的HDFS的配置，搜索dfs.permissions，把检查HDFS权限的√去掉，然后权限就打开了。

同时确定spark并没有需要落定在本地的生产数据，从而确定占用空间的都是代码运行的时候产生的运行文件。
确定可以删除，那就果断删了它们，这里使用hdfs -rm -r /user/**/spark/ 把这些无用文件都删掉。
这里就显示所有的文件是被move到hadoop的回收站。
接下来进入回收站，使用hadoop dfs -expunge 显示标记了checkpoint，但是没有删除记录。
等待大约两分钟后发现并没有删除，果断进入回收站路径，hadoop fs -rmr /user/***/.Trash命令直接删除回收站。
查看文件的占用量发现已经清空了，但是CDH并没有刷新出来，那好，回头去restart一下CDH的agent，再来看，发现已经刷新了，显示占用量之后200G左右。

记录一下可能出现的问题：删除的时候直接把.Trash文件删除了，如果下次出现找不到这个文件，可以试着自行新建一个/user/root/.Trash。

pss：因为删除的时候把spark下面的文件都给删除了，所以运行spark的时候报错说找不到文件/user/spark/applicationHistory。我灵光一闪，进去hdfs -mkdir /user/spark/applicationHistory 自己创建了一个文件，然后。。他就好了。。

记录一次hadoop的空间清理相关推荐

oracle system和sysaux表空间清理和回收
oracle system和sysaux表空间清理和回收前几天和一个网友讨论了下SYSAUX表空间使用率过高的问题,今天有时间整理一下,正好我们的测试数据库也存在这个问题.本案例数据库版本为11 ...
MySQL空间清理的几种具体方法
参考链接: Mysql空间清理,最硬核 1.查看文件磁盘占用 1.1 查看磁盘空间占用 df -lh 1.2 查看目录空间占用找到mysql的数据目录,可以看到binlog文件占用空间较多 du - ...
Mysql空间清理，最硬核
作者:IT邦德中国DBA联盟(ACDU)成员,目前从事DBA及程序编程 (Web\java\Python)工作,主要服务于生产制造现拥有 Oracle 11g OCP/OCM. Mysql.Oce ...
oracle测试环境表空间清理
测试场景下,使用的oralce遇到表空间的占用超大,可以采用如下的方式进行空间的清理首先使用sqlplus连接数据库 sqlplus sys/password@orcl as sysdba 之类进行 ...
计算机管理器磁盘清理,修复win7提示“windows磁盘空间清理管理器已停止工作”的方法...
在长期的使用电脑之后,我们运行的程序会给电脑制造很多的垃圾文件,这些文件有的可以使用第三方工具进行清理,有的只能使用系统自带的磁盘清理器进行删除.在win7中运行磁盘清理器时会遇到系统弹出" ...
LOB字段存放在指定表空间清理CLOB字段及压缩CLOB空间
LOB字段存放在指定表空间清理CLOB字段及压缩CLOB空间把LOB字段的SEGMENT 存放在指定表空间.清理CLOB字段及压缩CLOB空间 1.创建LOB字段存放表空间: create ta ...
HBase中此类异常解决记录org.apache.hadoop.ipc.RemoteException(java.io.IOException):
HBase中此类异常解决记录org.apache.hadoop.ipc.RemoteException(java.io.IOException): 参考文章: (1)HBase中此类异常解决记录org ...
Win10文件夹大小分析、磁盘空间清理工具
Win10文件夹大小分析.磁盘空间清理工具 1.SpaceSniffer 特点:图表界面 2.TreeSize 特点:浏览器界面
[记录点滴] 小心 Hadoop Speculative 调度策略
[记录点滴] 小心 Hadoop Speculative 调度策略文章目录 [记录点滴] 小心 Hadoop Speculative 调度策略 0x00 摘要 0x01 缘由 0x02 代码示例 0 ...

记录一次hadoop的空间清理

记录一次hadoop的空间清理相关推荐

最新文章

热门文章