笔者在维护n多dell服务器期间经常遇到这样的问题：

• 服务经常不明原因的挂掉
• 服务器不明原因的重启

• 磁盘突然无法读写

  

  硬盘故障

  经过多次的排查解决，基本上是由于硬盘损坏、cpu散热故障造成的重启。如果可以做到早知早预防，可以减少故障几率。排查时也有了一定的依据。

1.安装dell硬件监控工具-OMSA

#安装dell的yum源（8.2版本以上会出现问题）
wget -q -O - http://linux.dell.com/repo/hardware/DSU_15.12.00/bootstrap.cgi | bash
#最小化安装omsa
yum install -y srvadmin-base srvadmin-storageservices
#做软连接
ln -s /opt/dell/srvadmin/sbin/omreport /usr/bin/omreport
ln -s /opt/dell/srvadmin/sbin/omconfig /usr/bin/omconfig
#启动omsa
/etc/init.d/dataeng start
#加入到开机启动
chkconfig dataeng on
#清理yum源文件
rm -rf /etc/yum.repos.d/dell-*

2.dell硬件监控工具OMSA常用命令

#命令可以查看当前系统中安装的软件和硬件组件的综合摘要。
omreport system summary
#CMOS电池状态
omreport chassis batteries
#风扇状态
omreport chassis fans
#内存状态
omreport chassis memory
#网卡状态
omreport chassis nics
#CPU状态
omreport chassis processors
#温度状态
omreport chassis temps
#硬盘状态
omreport storage pdisk controller=0
#电源状态
omreport chassis pwrsupplies
#raid 状态
omreport storage vdisk controller=0

3.zabbix 自定义key脚本

• 在被监控机上配置zabbix 自定义key文件

vim /usr/local/zabbix/etc/zabbix_agentd.conf.d/hardware#follow is monitor hardware
#状态1表示正常，状态0表示异常
UserParameter=hardware_battery,omreport chassis batteries|awk '/^Status/{if($NF=="Ok") {print 1} else {print 0}}'
UserParameter=hardware_fan_health,awk -vhardware_fan_number=`omreport chassis fans|grep -c "^Index"` -vhardware_fan=`omreport chassis fans|awk '/^Status/{if($NF=="Ok") count+=1}END{print count}'` 'BEGIN{if(hardware_fan_number==hardware_fan) {print 1} else {print 0}}'
UserParameter=hardware_memory_health,awk -vhardware_memory=`omreport chassis memory|awk '/^Health/{print $NF}'` 'BEGIN{if(hardware_memory=="Ok") {print 1} else {print 0}}'
UserParameter=hardware_nic_health,awk -vhardware_nic_number=`omreport chassis nics |grep -c "Interface Name"` -vhardware_nic=`omreport chassis nics |awk '/^Connection Status/{print $NF}'|wc -l` 'BEGIN{if(hardware_nic_number==hardware_nic) {print 1} else {print 0}}'
UserParameter=hardware_cpu,omreport chassis processors|awk '/^Health/{if($NF=="Ok") {print 1} else {print 0}}'
UserParameter=hardware_power_health,awk -vhardware_power_number=`omreport chassis pwrsupplies|grep -c "Index"` -vhardware_power=`omreport chassis pwrsupplies|awk '/^Status/{if($NF=="Ok") count+=1}END{print count}'` 'BEGIN{if(hardware_power_number==hardware_power) {print 1} else {print 0}}'
UserParameter=hardware_temp,omreport chassis temps|awk '/^Status/{if($NF=="Ok") {print 1} else {print 0}}'|head -n 1
UserParameter=hardware_physics_health,awk -vhardware_physics_disk_number=`omreport storage pdisk controller=0|grep -c "^ID"` -vhardware_physics_disk=`omreport storage pdisk controller=0|awk '/^Status/{if($NF=="Ok") count+=1}END{print count}'` 'BEGIN{if(hardware_physics_disk_number==hardware_physics_disk) {print 1} else {print 0}}'
UserParameter=hardware_virtual_health,awk -vhardware_virtual_disk_number=`omreport storage vdisk controller=0|grep -c "^ID"` -vhardware_virtual_disk=`omreport storage vdisk controller=0|awk '/^Status/{if($NF=="Ok") count+=1}END{print count}'` 'BEGIN{if(hardware_virtual_disk_number==hardware_virtual_disk) {print 1} else {print 0}}'

• 重启zabbix agent

/etc/init.d/zabbix_agentd restart

• 在zabbix server 上进行测试

#在server 上执找到自己的zabbix_
/usr/local/zabbix/bin/zabbix_get -s 被监控ip -k 'zabbix key'
#比如我的被监控机器是192.168.1.110
/usr/local/zabbix/bin/zabbix_get -s 192.168.1.110 -k 'hardware_battery'

4.自定义或者导入模板

在文章的最后我会把导出的xml文件贴出来，自己也可以直接根据自定义key写模板。
这里我只监控了，CPU处理器状态、Raid状态、内存状态、物理硬盘状态、网卡状态

zabbix 模板截图

硬件监控图形

5.批量部署OMSA

由于dell官网下载工具实在是慢，有没有下载一次就可以直接用的方法呢，这里给大家介绍个思路

#下载yum只下载不安装工具
yum install yum-downloadonly
#下载OMSA rpm包
yum install --downloadonly srvadmin-all
#进入到保存包的路径下，将带有dell字样文件夹打包放到其他机器，就不用再下载了
cd /var/cache/yum/x86_64/6
#接下来执行第一步就很快安装完成了

6.常见问题

有时，使用omreport时，会出现这个问题是很讨厌的

$ omreport chassis memory
Memory Information
Error : Memory object not found

我们使用了omreport来做监控，但是却无法获得对应的值。这个时候，我们可以首先尝试

/etc/init.d/dataeng restart

看一下是否已经解决了
如果还不行的话，那么就是信号器的使用到达了上限了。可以通过以下方法来查看

#查看上限
$ ipcs -sl
#查看当前使用值
$ ipcs -uscat /proc/sys/kernel/sem来确定是要调整哪个数据值sysctl -w kernel.sem="250 32000 100 256"同时在sysctl.conf加入这行点击(此处)折叠或打开echo "kernel.sem=250 32000 100 256" >> /etc/sysctl.conf

后话：笔者会定期巡检机房，所以在去机房前会生成一个硬件状态报表（当然出现在报表里的不一定是坏了，有的是即将坏掉），这是CMDB的一个小功能。

硬件状态报表

附: zabbix 硬件监控模板

GitHub 模板下载