Hadoop集群扩容新增4T硬盘（解决分区大小问题限制2T问题）

用fdisk分区，发现最大支持2T的分区

简单记录下操作命令流程（建议每次升级扩容一台机子，安全起见以防万一）：

1、查询磁盘信息：
fdisk -l

2、4T硬盘分4个区：
parted /dev/sdc
mklabel gpt
/dev/sdc mkpart sdc1 2048s 1000gb
/dev/sdc mkpart sdc2 1000gb 2000gb
/dev/sdc mkpart sdc3 2000gb 3000gb
/dev/sdc mkpart sdc4 3000gb -1
print
quit

3、格式化：
mkfs.ext4 /dev/sdc1
mkfs.ext4 /dev/sdc2
mkfs.ext4 /dev/sdc3
mkfs.ext4 /dev/sdc4

4、列出分区信息：
parted -l

5 、创建数据目录(/data1已经在hadoop中使用)：
mkdir /data2
mkdir /data3

mkdir /data4

mkdir /data5(预留其他用途)

6、挂载：
mount /dev/sdc1 /data2
mount /dev/sdc2 /data3
mount /dev/sdc3 /data4

mount /dev/sdc4 /data5

7 、查看当前磁盘情况：

df -h

8 、创建DataNode数据目录（注意data的目录所属用户和权限）：
mkdir -p /data2/hadoop/hdfs/data
mkdir -p /data3/hadoop/hdfs/data
mkdir -p /data4/hadoop/hdfs/data

9、配置开机自启动：
vim /etc/fstab
# 在最后面加上如下配置
/dev/sdc1 /data2 ext4 defaults 0 0
/dev/sdc2 /data3 ext4 defaults 0 0
/dev/sdc3 /data4 ext4 defaults 0 0
/dev/sdc4 /data5 ext4 defaults 0 0

Hadoop集群扩容新增4T硬盘（解决分区大小问题限制2T问题）相关推荐

Hadoop集群扩容和缩容：添加白名单和黑名单
不在白名单中的服务器节点可以与集群交互,但是不能存储数据
学习笔记Hadoop（八）—— Hadoop集群的安装与部署（5）—— Hadoop配置参数介绍、Hadoop集群启动与监控
五.Hadoop配置参数介绍 Hadoop集群配置文件主要有: 它们的默认参数配置可以看: core-default.xml :https://hadoop.apache.org/docs/stabl ...
Hadoop集群中添加硬盘
Hadoop工作节点扩展硬盘空间接到老板任务,Hadoop集群中硬盘空间不够用,要求加一台机器到Hadoop集群,并且每台机器在原有基础上加一块2T硬盘,老板给力啊,哈哈. 这些我把完成这项任务的步 ...
大数据技术之Hadoop概述集群环境搭建常见错误解决等
Hadoop概述文章目录 Hadoop概述 1. Hadoop是什么 2. Hadoop发展历史 4. Hadoop的优势 5. Hadoop组成 6. 大数据技术生态体系 7. 推荐系统框架图略图 ...
【Hadoop Summit Tokyo 2016】Rakuten是如何解决由于大规模多租户Hadoop集群造成的迷之问题的...
本讲义出自Tomomichi Hirano在Hadoop Summit Tokyo 2016上的演讲,主要分享了Rakuten公司遇到的大规模多租户Hadoop集群造成的迷之问题:从来不结束任务.数据 ...
hadoop集群硬盘损坏_Hadoop集群(万台规模)的磁盘故障自动处理
之前的系列文章讲述了无状态服务的自动维修. 后来我们尝试将这套方案应用在有状态的Hadoop集群上,经过几个月的线上运行,也取得了不错的效果,本文将分享这个实践过程. 梳理问题我们先调研了下Hado ...
CentOS6上Hadoop集群中服务器cpu sys态异常的定位与解决
问题现象在zabbix系统中,对Hadoop集群的历史监控数据分析时,发现在执行大Job任务时,某些服务节点的cpu sys态很高: 具体以hadoop_A服务节点为例,在10:15-10:40这个 ...
大神如何一招完美解决Hadoop集群无法正常关闭的问题！| 博文精选
来源 | CSDN 博客作者 | Alice菌,责编 | Carol 出品 | CSDN云计算(ID:CSDNcloud) 相信对于大部分的大数据初学者来说,一定遇见过Hadoop集群无法正常关闭的 ...
hadoop 集群启动时 Address already in use 解决方法
搭建好hadoop集群之后,运行start-all.sh脚本,发现有如下报错 starting namenode, logging to /usr/local/hadoop/libexec/../lo ...

Hadoop集群扩容新增4T硬盘（解决分区大小问题限制2T问题）

Hadoop集群扩容新增4T硬盘（解决分区大小问题限制2T问题）相关推荐

最新文章

热门文章