一、节点准备

1、节点配置

hostname

g0

matadata节点

g1

matadata节点

g2

matadata节点

g3

data节点

g4

data节点

g5

data节点

2、安装ntp

yum install ntp -y

service ntpd start

systemctl enable ntpd

二、安装gpfs

1、设置ssh无密码登录

salt-ssh -i '*' cp.get_file salt://id_rsa /root/.ssh/id_rsa

salt-ssh -i '*' cp.get_file salt://id_rsa.pub /root/.ssh/id_rsa.pub

salt-ssh -i '*' cmd.run 'chmod 600 /root/.ssh/id_rsa'

salt-ssh -i '*' cmd.run 'chmod 600 /root/.ssh/id_rsa.pub'

2、安装gpfs

salt-ssh -i 'g*' cmd.run 'cd /root/gpfs && tar xvzf GPFS_4.1_ADV_LSX.tar.gz'

salt-ssh -i 'g*' cmd.run 'cd /root/gpfs/gpfs_install-4.1.0-0_x86_64 --silent'

salt-ssh -i 'g*' cmd.run 'yum localinstall /usr/lpp/mmfs/4.1/*rpm -y'

salt-ssh -i 'g*' cmd.run 'bash /root/gpfs/Spectrum_Scale_Advanced-4.1.1.3-x86_64-Linux-update'

salt-ssh -i 'g*' cmd.run 'mv /usr/lpp/mmfs/4.1.1.3/gpfs.hadoop-connector-2.7.0-2.x86_64.rpm /usr/lpp/mmfs/4.1.1.3/gpfs.hadoop-connector-2.7.0-2.x86_64.rpm.orig'

salt-ssh -i 'g*' cmd.run 'yum localinstall /usr/lpp/mmfs/4.1.1.3/*rpm -y'

3、编译gpfs内核模块，在其中一个节点上执行

3.1、编译内核模块

cd /usr/lpp/mmfs/src/

yum install kernel-devel cpp gcc gcc-c++

make LINUX_DISTRIBUTION=REDHAT_AS_LINUX Autoconfig

make World

make InstallImages

3.2、将gpfs内核模块编译为rpm包

yum install rpm-build

make rpm

3.3、将编译好的rpm包复制到其他节点并安装

4、设置path变量

salt-ssh -i 'g*' file.append /etc/profile 'export PATH=$PATH:/usr/lpp/mmfs/bin/'

三、创建gpfs集群

1、创建gpfs节点

编辑用于创建节点的配置文件

cat <> /root/gpfs_config/nodefile

g0:quorum-manager

g1:quorum-manager

g2:quorum-manager

g3:manager

g4:manager

g5:manager

EOF

创建gpfs集群

mmcrcluster -N /root/gpfs_config/nodefile -p g0 -s g1 -C gpfscluster -A -r /usr/bin/ssh -R /usr/bin/scp

参数：-N表示节点的配置文件

-p表示主节点

-s表示第二节点(Secondary cluster configuration server)

-C集群名称

—A表示当一个节点重启的时候GPFS守护进程不会关闭。

-r和-R都是通信协议。

2、授权license

mmchlicense server --accept -N g0,g1,g2,g3,g4,g5

3、添加nsd

编辑nsdfile.cfg

%pool: pool=system blockSize=512K layoutMap=cluster

%pool: pool=datapool blockSize=2M layoutMap=cluster writeAffinityDepth=1 blockGroupFactor=256

%nsd: device=/dev/vdb servers=g0 nsd=metansd00 usage=metadataOnly pool=system

%nsd: device=/dev/vdb servers=g1 nsd=metansd01 usage=metadataOnly pool=system

%nsd: device=/dev/vdb servers=g2 nsd=metansd02 usage=metadataOnly pool=system

%nsd: device=/dev/vdb servers=g3 nsd=datansd00 usage=dataOnly pool=datapool

%nsd: device=/dev/vdb servers=g4 nsd=datansd01 usage=dataOnly pool=datapool

%nsd: device=/dev/vdb servers=g5 nsd=datansd02 usage=dataOnly pool=datapool

添加nsd

mmcrnsd -F  nsdfile.cfg

4、启动集群

mmstartup -a

# 查看集群状态：

mmgetstate -La

5、创建gpfs文件系统

# mmcrfs /gpfs gpfs -F nsdfile.cfg -A yes -v no

mmcrfs gpfs -F nsdfile.cfg -A yes -B 1M -j hcluster -m 2 -r 2 -M 3 -R 3 -T /gpfs --metadata-block-size 256K -v no

参数说明：

gpfs：表示文件系统的名称

-F：指定NSD配置文件

-A:当系统守护进程启动时该项设置为yes

-B:指定数据块的大小，其值必须是16k,64k,128k,256k,512k,1M,2M,4M,8M,16M.

-j:指定映射类型

-m:元数据副本数的默认值

-M:元数据副本数的最大值

-r:数据副本数的默认值

-R:数据副本数的最大值

-T:挂载点

--metadata-block-size：元数据节点块的大小

-v   校验建立磁盘是否已有文件系统 为否

mmshutdown -a

mmchconfig maxblocksize=2048K

mmstartup -a

mmcrfs gpfs -F nsdfile.cfg -A yes  -j hcluster -m 2 -r 2 -M 3 -R 3 -T /gpfs -v no

6、挂载文件系统

mmmount gpfs /gpfs –N all