Yum安装支持InfiniBand的lustre——Install Lustre with InfiniBand Support By Yum

前言:实验室需要搭建一套Lustre，我在使用了网上各种教程之后总是不成功，于是尝试了使用Lustre的yum库来安装，作如下总结

安装支持InfiniBand的lustre

note:lustre的编译安装太容易出问题，所以这里选用的是yum安装，请确保您的服务器能够连接到相应网络

server端(包括mds与osd)

首先卸载已经安装了的infiniband（未安装可不选）

sudo yum remove neohost-backend
sudo /sbin/ofed_uninstall.sh
#卸载已经安装了的lustre组件
sudo yum remove "*lustre*"

请确认没有多删之后再按y

添加lustre-server的yumrepo

sudo vim /etc/yum.repos.d/lustre-server.repo

写入如下内容

[lustre-server]
name=lustre-server
baseurl=https://downloads.whamcloud.com/public/lustre/lustre-2.12.0-ib/MOFED-4.5-1.0.1.0/el7/server
gpgcheck=0

从lustre网站上安装infiniband相关组件

sudo yum --enablerepo=lustre-server install "*OFED*" "*mlnx*" ibutils

同样，请检查以上包来自于lustre-client而不是其他的镜像源

启动ib

sudo modprobe -rv ib_isert rpcrdma ib_srpt
sudo service openibd start

关于infiniband的config部分我是用的我们实验室的规定，可以根据自己情况修改
如果读者不知道怎么弄，如下操作

/etc/sysconfig/network-scripts/ifcfg-ib0
TYPE=InfiniBand
DEVICE=ib0
NAME=System ib0
BOOTPROTO=static
IPADDR=10.0.0.1
NETMASK=255.255.255.0
BROADCAST=10.0.0.255
NETWORK=10.0.0.0
ONBOOT=yes

请将10.0.0.1修改为每台机器对应的地址

添加e2fsprogs的yumrepo

sudo vim /etc/yum.repos.d/e2fsprogs.repo

写入

[e2fsprogs-el7-x86_64]
name=e2fsprogs-el7-x86_64
baseurl=https://downloads.whamcloud.com/public/e2fsprogs/latest/el7/
enabled=1
priority=1

note:最好打开浏览器手动核对url链接，确保与你的服务器版本对应

安装打过lustre补丁的内核

sudo yum install kernel-3.10.0-957.el7_lustre  kernel-debuginfo-3.10.0-957.el7_lustre kernel-debuginfo-common-x86_64-3.10.0-957.el7_lustre kernel-devel-3.10.0-957.el7_lustre kernel-headers-3.10.0-957.el7_lustre
uname -r
#检查内核是否是3.10.0-957.el7_lustre，不是的话设定手动内核启动模块
sudo reboot

安装lustre

sudo yum --nogpgcheck --enablerepo=lustre-server install kmod-lustre-osd-ldiskfs kmod-lustre lustre lustre-osd-ldiskfs-mount lustre-iokit lustre-tests kmod-lustre-tests

装lustre应该会自动装上e2fsprogs，没有的话就手动yum装一下好了

为lustre添加ib网卡:这一步很重要

sudo vim /etc/modprobe.d/lustre.conf
#写入以下内容
options lnet networks="o2ib0(ib0)"
sudo modprobe -v lustre 无error说明大功告成

如何配置mgs,mdt,ost我会新开一个页面来写，不混在一起。(其实是我累了

client端

首先卸载已经安装了的infiniband

sudo yum remove neohost-backend
sudo /sbin/ofed_uninstall.sh

卸载已经安装了的lustre组件

sudo yum remove "*lustre*"

请确认没有多删之后再按y

添加lustre-client的yumrepo

sudo vim /etc/yum.repos.d/lustre-client.repo

写入

[lustre-client]
name=Lustre Client
gpgcheck=0
baseurl=https://downloads.whamcloud.com/public/lustre/lustre-2.12.0-ib/MOFED-4.5-1.0.1.0/el7/client/

note:最好打开浏览器手动核对url链接，确保与你的服务器版本对应

安装infiniband相关组件

sudo yum --enablerepo=lustre-client install "*OFED*" "*mlnx*" ibutils

同样，请检查以上包来自于lustre-client而不是其他的镜像源

启动ib

sudo modprobe -rv ib_isert rpcrdma ib_srpt
sudo service openibd start

关于infiniband的config与上一段相似

安装lustre的client

sudo yum install kmod-lustre-client  kmod-lustre-client-tests lustre-client  lustre-client-debuginfo lustre-client-tests  lustre-iokit pcp-pmda-lustre pcp-pmda-lustrecomm

如果有一些奇怪的东西混进来了，可以手动指定版本号重新执行yum install

为lustre添加ib网卡

sudo vim /etc/modprobe.d/lustre.conf
#写入以下内容
options lnet networks="o2ib0(ib0)"
sudo modprobe -v lustre

无error说明大功告成
创建40个client并挂载上去(请确保服务器available，如果你还没挂载mds与osd请不要这么做，没有用)

for ((i=0; i<40;i++)); do sudo mkdir /mnt/lustre-client-$i; sudo chown user:group lustre-client-$i; sudo mount -t lustre node6@o2ib0:node7@o2ib0:/lustre  /mnt/lustre-client-$i; done

这个chown user:group自己换一下