CentOS7下实现E9000 + KS3200存储扩容
一、组网规划
1、iSCSI双控直连组网
2、IP规划:包括主机系统和存储系统上的IP规划配置
存储系统侧IP配置需遵循以下原则:
1)iSCSI 主机端口的 IP 地址不能与管理网口的 IP 地址配置在同一个网段中。
2)磁阵每个 GE 口分配独立的 IP 地址, 同一个控制器的 4 个业务网口不可以配置在同一网段。
主机系统侧配置IP的方法在此不做详细介绍
当存储系统和主机系统的IP 都配置好后, 可以使用ping 命令查看路径是否畅通。 如ping不通则需要检查物理链路是否正常,IP 地址配置是否正确等。
二、配置前的准备
1、主机系统上的准备
2、存储系统上的准备【存储系统上,需要创建好业务所需要的 RAID(Redundant Array of Independent Disks) 、LUN(Logical Unit Number)及主机等信息。这些内容都是普遍通用的。在此不再多加描述】
创建存储池
创建主机
创建映射组
注意 映射组、主机、存储池 三者之间的关系
所谓在存储系统上创建存储池,即将多块硬盘虚拟化为一块虚拟硬盘,然后可以在虚拟硬盘上创建逻辑卷;
所谓在存储系统上创建主机,是为了实现在存储系统上创建一个和实际应用服务器主机对应的逻辑实体(与实际业务主机一一对应);
所谓在存储系统上创建映射组,是为了实现一个或多个主机逻辑实体(即实际业务主机)与一个或多个逻辑卷之间的映射;
三、Superpath多路径软件安装
1、将安装包superpath-1.01.24-zte.x86_64.rpm上传到/usr/local/superpath_for_linux目录;
2、使用 cd 命令转到/usr/local/superpath_for_linux目录,执行如下命令进行安装
rpm -ivh superpath-1.01.24-zte.x86_64.rpm
3、执行命令rpm -qa | grep superpath查看Superpath 是否安装成功。如果返回superpath-1.01.24-zte.x86_64则表示安装成功。
注:Superpath 安装完成后,建议重启应用服务器主机。
四、建立iSCSI连接
1)配置主机系统上的iSCSI软件包(以CentOS7为例)
配置流程:
1、配置主机系统启动器
步骤1:安装iSCSI initiator
yum install -y iscsi-initiator-utils
步骤2:修改iSCSI initiator配置文件
建议对/etc/iscsi/iscsid.conf中有关超时检查的时间和自动启动会话分别重新设置如下:
node.session.timeo.replacement_timeout = 1
node.startup = automatic
步骤3:启动iscsi服务
#systemctl start iscsi
设置开机启动服务
#systemctl enable iscsi
步骤4:添加iSCSI initiatorname
(1)使用cat /etc/iscsi/initiatorname.iscsi命令获取iSCSI initiatorname
#cat /etc/iscsi/initiatorname.iscsi
InitiatorName=iqn.1994-05.com.redhat:486042d3c9fb
(2)登录存储系统的管理页面,将“InitiatorName=”后面的主机名称添加到相应的主机ISCSI端口映射组中,管理界面的具体路径为【配置>逻辑>主机>配置】,具体步骤参见“2)配置磁阵端启动器”
步骤5:使用命令建立iSCSI连接
对于存储系统的每一个业务端口IP地址,按照如下方法连接:
(1)使用iscsiadm -m discovery -t st -p xxx.xxx.xxx.xxx命令发现存储设备,其中xxx.xxx.xxx.xxx为存储系统业务端口的IP地址。如
#iscsiadm -m discovery -t st -p 192.168.3.17
192.168.1.17:3260,129 iqn.2099-01.cn.com.zte:usp.spr11-74:4a:a4:06:97:d2
192.168.2.17:3260,130 iqn.2099-01.cn.com.zte:usp.spr11-74:4a:a4:06:97:d2
192.168.3.17:3260,131 iqn.2099-01.cn.com.zte:usp.spr11-74:4a:a4:06:97:d2
192.168.4.17:3260,132 iqn.2099-01.cn.com.zte:usp.spr11-74:4a:a4:06:97:d2
(2)使用iscsiadm -m node -p xxx.xxx.xxx.xxx:3260 --login登录。如:
#iscsiadm -m node -p 192.168.3.17:3260 --login
Logging in to [iface: default, target: iqn.2099-01.cn.com.zte:usp.spr11-74:4a:a4:06:97:d2, portal: 192.168.3.17,3260] (multiple)
Login to [iface: default, target: iqn.2099-01.cn.com.zte:usp.spr11-74:4a:a4:06:97:d2, portal: 192.168.3.17,3260] successful.
使用iscsiadm -m node -p xxx.xxx.xxx.xxx:3260 --logout断开连接(可选)
(3)使用命令iscsiadm -m session查看连接是否成功。如
#iscsiadm -m session
tcp: [2] 192.168.3.17:3260,131 iqn.2099-01.cn.com.zte:usp.spr11-74:4a:a4:06:97:d2 (non-flash)
(4)如果主机侧还有其它的网口与存储端的其它业务端口连通,则存储端其他业务端口的IP地址,在网络连通的情况下,请按照上述步骤进行同样的操作。
步骤6:查看确认是否成功映射磁盘
使用命令iscsiadm -m session -P3查看连接状态。命令输出信息中查看Attached SCSI devices项,看是否有预期的磁盘发现。示例如下:
#fdisk -l
步骤7:使用 Superpath 软件提供的命令,查看该 SCSI 磁盘对应的虚拟盘是否已经生成。
(1)用#systemctl status superpathd.service确认 Superpath 软件是否启动成功。示例如下:
● superpathd.service - Device-Mapper Superpath Device Controller
Loaded: loaded (/usr/lib/systemd/system/superpathd.service; enabled; vendor preset: disabled)
Active: active (running) since Wed 2018-07-25 15:56:53 CST; 13min ago
Process: 20570 ExecStart=/sbin/superpathd (code=exited, status=0/SUCCESS)
Process: 20549 ExecStartPre=/etc/rc.d/boot.superpath preStart (code=exited, status=0/SUCCESS)
Main PID: 20573 (superpathd)
CGroup: /system.slice/superpathd.service
└─20573 /sbin/superpathd
Jul 25 16:03:07 localhost.localdomain superpathd[20573]: [group_by_node_name] enter, map name:'spatha'.
Jul 25 16:03:07 localhost.localdomain superpathd[20573]: [group_by_node_name] sdb: tgt node name:iqn.2... .
Jul 25 16:03:07 localhost.localdomain superpathd[20573]: spatha: domap action is 6.
Jul 25 16:03:07 localhost.localdomain superpathd[20573]: [uevent_listen]: uevent 'add' from '/devices/...3'
Jul 25 16:03:07 localhost.localdomain superpathd[20573]: [uevent_listen]: uevent 'change' from '/devic...3'
Jul 25 16:03:07 localhost.localdomain superpathd[20573]: spatha: load table [0 4294967296 multipath 1 ...1]
Jul 25 16:03:07 localhost.localdomain superpathd[20573]: [start_waiter_thread]: spatha: event checker ...d.
Jul 25 16:03:07 localhost.localdomain superpathd[20573]: [ev_add_path]sdb 8:16 8:0:0:0 path added to d...a.
Jul 25 16:03:07 localhost.localdomain superpathd[20573]: [uev_add_map]dm-3: add map (uevent).
Jul 25 16:03:07 localhost.localdomain superpathd[20573]: [set_scheduler]: map dm-3 current scheduler i...].
Hint: Some lines were ellipsized, use -l to show in full.
如果 Superpath 软件未启动,用# systemctl start superpathd.service 启动进程
(2)使用 superpathd cli 交互命令行中 show topology 命令查看 SCSI 磁盘与虚拟盘的信息:
# superpathd show topology
create: spatha (350015eba95912375) dm-3 ZTE,ZXUSP
size=2.000T features='1 queue_if_no_path' hwhandler='1 alua' wp=rw
`-+- policy='round-robin 0' prio=100 status=active
`- 8:0:0:0 sdb 8:16 active ready running
2)配置磁阵端启动器
完成上面主机系统上启动器相关的配置操作后,还需要将获取到的启动器名称添加到磁阵管理系统中。
步骤1:在存储管理系统的导航树中选择【配置>逻辑>主机>配置】,在下拉菜单中选择创建主机;
步骤2:在弹出的对话框中,端口名称填写在主机上获取到的启动器名称,其它信息可根据实际情况进行填写。
五、使用系统自带的LVM(Logic VolumeManager)卷管理软件实现在线扩容
以虚拟磁盘/dev/mapper/spatha为例
1、使用 pvcreate 命令创建物理卷。
#pvcreate /dev/mapper/spatha
2、将物理卷dev/mapper/spatha添加到卷组centos
#vgextend centos /dev/mapper/spatha
3、在卷组centos中,将原逻辑卷/dev/centos/data的容量增大2T
#lvextend -L +2T /dev/centos/data
4、执行扩容调整,将文件系统增到逻辑卷的大小
#xfs_growfs /dev/centos/data
5、对原/data逻辑卷进行扩容后,再次查看/data目录的磁盘空间大小
# df -hP|grep /data #查看/data目录的磁盘空间大小
六、附录
基于ISCSI做存储扩容后,需要注意的是ISCSI是基于IP网络实现的,主机系统在启动过程中,其网络服务在未启动起来之前,主机系统是扫描不到存储设备上的硬盘的,但是主机系统(如Linux)在启动过程中,一般会先在/etc/fstab中进行硬盘或逻辑卷的挂载(如下图),等主机系统完全启动起来之后才起网络服务,如果/etc/fstab中有逻辑卷是在基于ISCSI存储设备上的硬盘创建的,那么主机系统在启动过程中会出现因挂载ISCSI存储设备上的逻辑卷失败而导致系统起不来的情况(在系统启动过程中可通过按F1按键来查看系统详细的启动过程信息)。
[root@localhost ~]# cat /etc/fstab
#
# /etc/fstab
# Created by anaconda on Tue Sep 26 12:46:12 2017
#
# Accessible filesystems, by reference, are maintained under '/dev/disk'
# See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
#
/dev/mapper/centos-root / xfs defaults 0 0
UUID=de3ba27e-fc0d-4f4e-8e20-a16ed0f3cee4 /boot xfs defaults 0 0
/dev/mapper/centos-data /data xfs defaults,noatime,nodiratime 0 0
/dev/mapper/centos-swap swap swap defaults 0 0
如上所述,逻辑卷data是在基于ISCSI存储设备上的硬盘创建的,直接放在/etc/fstab中挂载会导致主机系统启动失败,解决办法如下:
1、在/etc/fstab中将挂载逻辑卷data的命令行注释掉
[root@localhost ~]# vi /etc/fstab
#
# /etc/fstab
# Created by anaconda on Tue Sep 26 12:46:12 2017
#
# Accessible filesystems, by reference, are maintained under '/dev/disk'
# See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
#
/dev/mapper/centos-root / xfs defaults 0 0
UUID=de3ba27e-fc0d-4f4e-8e20-a16ed0f3cee4 /boot xfs defaults 0 0
#/dev/mapper/centos-data /data xfs defaults,noatime,nodiratime 0 0
/dev/mapper/centos-swap swap swap defaults 0 0
2、在主机系统的网络服务启动起来之后再逻辑卷data,可以在/etc/rc.local中增加挂载命令
# mount LVM LV
sleep 15
mount -t xfs -o noatime /dev/mapper/centos-data /data
总结:基于ISCSI存储设备实现的LVM中的逻辑卷不能放在fstab中挂载,需要等系统启动完成后(确切的说需要等网络服务启动起来之后,iscsi服务会自动连接ISCSI设备,并自动挂载ISCSI设备上的硬盘)再挂载,可以在/etc/rc.local中增加挂载命令
硬盘分区(或LVM分区,即逻辑卷)的UUID信息查看
[root@localhost ~]# blkid
/dev/sda1: UUID="de3ba27e-fc0d-4f4e-8e20-a16ed0f3cee4" TYPE="xfs"
/dev/sda2: UUID="fHo5y6-4KNS-mN1Q-ueW8-ngiN-9oe9-Re7JH5" TYPE="LVM2_member"
/dev/mapper/centos-root: UUID="78a4af74-3fc8-4759-9edf-af73f24493c7" TYPE="xfs"
/dev/mapper/centos-swap: UUID="ae3c18a9-f168-43ec-bbdd-01fec80894f1" TYPE="swap"
/dev/mapper/spatha: UUID="kBBlDq-75Zi-ds9y-8WYt-cf57-wcgn-odBf6m" TYPE="LVM2_member"
/dev/sdb: UUID="kBBlDq-75Zi-ds9y-8WYt-cf57-wcgn-odBf6m" TYPE="LVM2_member"
/dev/mapper/centos-data: UUID="4f4b0d2b-8e22-4e55-978d-738638580263" TYPE="xfs"
查询磁盘的wwid号码
lsscsi -i 最后显示的就是wwid号码,当然还有其他方式可查
[root@rs etc]# lsscsi -i
[0:0:0:0] disk TOSHIBA AL13SEB300 0101 - -
[0:0:1:0] disk TOSHIBA AL13SEB300 0101 - -
[0:1:0:0] disk LSI Logical Volume 3000 /dev/sda 3600508e000000000986beabebc8c980f
[7:0:0:0] disk ZTE ZXUSP V1.0 /dev/sdb 350015eb752ee1006
CentOS7下实现E9000 + KS3200存储扩容相关推荐
- Centos7下安装配置开源存储虚拟化QuadStor(4)----Vdisk Clone
操作环境 同< Centos7下安装配置开源存储虚拟化QuadStor(1)------初始化QuadStor> QuadStor Server:10.10.200.227 iSCSi I ...
- Centos7下,LVM根分区扩容
本次扩容是由于之前给gitlab分配的硬盘空间太小,只有8G.然后有一天,开发人员突然无法上传代码,gitlab网页也打不开.经过一番排查,发现是git服务器的根分区空间满了.那么就对其进行扩容. 1 ...
- CentOS7下Docker Storage Pool扩容
2019独角兽企业重金招聘Python工程师标准>>> CentOS7下Docker Storage Pool扩容 博客分类: dubbo 前言:在docker刚起步的时候,RHEL ...
- linux扩充单个路径下的内存,超详尽!Linux云服务器存储扩容实操
导语 | 随着业务的发展,业务数据不停的增长,原有的磁盘空间可能会出现磁盘空间不够用的情况,因此,需要对磁盘空间进行扩容,以满足业务数据增长的需求.本文总结了Linux环境下云服务器存储扩容的三种方式 ...
- linux 安装redis2.8.3,centos7下安装Redis2.8版本步骤
Redis 简介 Redis支持数据的持久化,可以将内存中的数据保存在磁盘中,重启的时候可以再次加载进行使用. Redis不仅仅支持简单的key-value类型的数据,同时还提供list,set,zs ...
- 【Linux】Centos7安装之后,双系统的情况下,怎么能在CentOS7下访问Windows的磁盘...
想要在CentOS7下访问Windows的NTFS格式的磁盘,需要在Linux下下载ntfs-3g步骤1: 进入root用户下,使用yum命令下载ntfs-3g.[前提是已经添加了常用源:http:/ ...
- centos72安装mysql配置密码_MySQL数据库之170419、Centos7下完美安装并配置mysql5.6
本文主要向大家介绍了MySQL数据库之170419.Centos7下完美安装并配置mysql5.6 ,通过具体的内容向大家展现,希望对大家学习MySQL数据库有所帮助. linxu环境: centos ...
- CentOS7下Hive集群搭建
文章目录 1.下载Hive 2.安装mysql数据库 3.修改配置文件 3.1 hive-site.xml配置文件 3.2 hive-env.sh配置文件 4.新增mysql驱动到hive中 5.将h ...
- Linux系统:Centos7下搭建PostgreSQL关系型数据库
本文源码:GitHub·点这里 || GitEE·点这里 一.PostgreSQL简介 1.数据库简介 PostgreSQL是一个功能强大的开源数据库系统,具有可靠性.稳定性.数据一致性等特点,且可以 ...
最新文章
- BeautifulSoup_第二节
- php微博获取用户信息,获取用户基本信息
- Dubbo-Admin 功能展示与实操解析
- 海史密斯适应型领导力
- “staticMetaObject”: 不是“****”的成员
- you must reset your password using alter table
- FOI冬令营 Day2
- LeetCode 50 实现乘方运算
- 机器学习入门之——动手演示线性模型无法表示的XOR问题
- Android系统启动流程源码分析
- Transactional replication-如何跳过一个事务
- win10 VS2015社区版本 64位 TensorFlow 安装
- 手机Web开发框架集
- 计算机算平方根原理,算术平方根与计算器
- 幼儿抽象逻辑思维举例_语言训练幼儿逻辑思维——抽象篇
- 2022年帝国CMS7.5内核精仿《5288商机网》二次开发多个功能,运营级
- Ubuntu16.04+智能车+YOLO
- 决策树-ID3与C4.5
- Data Augment ------TensorFlow 训练图片处理
- python爬虫自学1-爬取静态网页-2022-02-10
热门文章
- python没有模块_关于python如果没有numpy模块如何处理
- idea创建maven报错 Error adding module to project: null
- mysql官方读已提交场景_mysql-read uncommitted 未提交读-脏读实例场景
- Linux 域名服务及阿里云搭建网站
- Android Foreground Service (前台服务)-by:nixs
- codeforces F. Kate and imperfection
- zabbix5使用SNMP 监控交换机流量
- 写于京东赛(JData)----如期而至,用户购买日期预测----之后
- 天搜科技以感恩文化提升企业“软实力”
- 三轴加速度传感器和六轴惯性传感器_一文读懂三轴,六轴,MEMS陀螺仪(角速率传感器)的区别...