一起KVM环境下windows7虚拟机异常死机（BSOD）的问题解决

先说一下环境：

一、硬件

８台服务器做的超融合架构，软件存储池，
每台服务器是９６Ｇ内存，两颗Intel(R) Xeon(R) CPU E5-2670 0 @ 2.60GHz，３２线程。
每台服务器是１Ｔ　ＳＳＤ加三块４Ｔ　ＳＡＴＡ，无ｒａｉｄ卡，做的两副本。
服务器集成２个１Ｇ的网口，做端口聚合，对外提供服务。
另加一块四端口千兆网卡，做端口聚合，做内部数据传输。

二、软件

基础系统是Ubuntu 16.04 LTS，基于ＫＶＭ，libvirt的虚拟化管理平台。
虚拟机：ｗｉｎｄｏｗｓ７中文专业版，３２位，
每台虚拟机分配３０７１Ｍ内存，两颗ＣＰＵ(2 sockets) 。
libvirt：1.3.1

三、现象

服务器上的windows，不定时的会卡死，多数每天发生一次到两次，少数三四天卡死一次，极少数会间隔时间更久，
多数发生在电脑空闲时间，
能上互联网的虚拟机多发，
此外无其他明显规律。

四、问题排查

１、先是排查了服务器配置，终端的配置，网络

因为这套架构已经在多地部署，并稳定运行多年，排查完客户的现场网络后，此原因基本排除。

２、后来怀疑存储的问题

使用iostat持续检测两台服务器的三个小时。

iostat -x -m 1

从记录下的日志看服务器存储的平均响应时间一直在正常范围，读写负载也不高。

３、检查服务器的日志

默认libvirt的日志是关闭的，编辑/etc/libvirt/libvirtd.conf，打开warnning级别的日志记录。

log_level = 3
log_outputs="3:file:/var/log/libvirt/libvirtd.log"

从/var/log/libvirt/libvirtd.log看libvirt日志：

2017-03-15 06:03:08.894+0000: 13919: info : libvirt version: 1.3.1, package: 1ubuntu10.5 (Stefan Bader <stefan.bader@canonical.com> Thu, 06 Oct 2016 13:07:20 +0200)
2017-03-15 06:03:08.894+0000: 13919: info : hostname: sc7
2017-03-15 06:03:08.894+0000: 13919: warning : virStorageBackendVolOpen:1535 : ignoring permission error for '/media/vmpool/win7_test.img'
2017-03-15 06:03:48.180+0000: 13914: error : qemuMonitorIO:689 : internal error: End of file from monitor
2017-03-15 06:03:48.180+0000: 13914: error : virNetClientProgramDispatchError:177 : Cannot open log file: '/var/log/libvirt/qemu/vm105.log': Device or resource busy
2017-03-15 06:04:22.540+0000: 13918: error : qemuMigrationCheckJobStatus:2641 : operation failed: migration job: unexpectedly failed
2017-03-15 06:04:57.546+0000: 13918: warning : virStorageBackendVolOpen:1535 : ignoring permission error for '/media/vmpool/win7_test.img'
2017-03-15 06:06:12.507+0000: 13916: error : qemuMigrationCheckJobStatus:2641 : operation failed: migration job: unexpectedly failed
2017-03-15 06:11:21.182+0000: 13918: warning : virStorageBackendVolOpen:1535 : ignoring permission error for '/media/vmpool/win7_test.img'
2017-03-15 06:13:08.112+0000: 13920: error : qemuMigrationCheckJobStatus:2641 : operation failed: migration job: unexpectedly failed
2017-03-15 06:15:09.467+0000: 13919: warning : virStorageBackendVolOpen:1535 : ignoring permission error for '/media/vmpool/win7_test.img'
2017-03-15 06:35:17.680+0000: 13914: error : qemuMonitorIO:689 : internal error: End of file from monitor
2017-03-15 06:35:17.680+0000: 13914: error : virNetClientProgramDispatchError:177 : Cannot open log file: '/var/log/libvirt/qemu/vm102.log': Device or resource busy2017-03-16 00:33:08.324+0000: 13914: error : virNetClientProgramDispatchError:177 : Cannot open log file: '/var/log/libvirt/qemu/vm105.log': Device or resource busy
2017-03-16 02:47:26.712+0000: 13919: warning : virStorageBackendVolOpen:1535 : ignoring permission error for '/media/vmpool/win7_test.img'
2017-03-16 02:52:03.184+0000: 13914: error : qemuMonitorIO:689 : internal error: End of file from monitor
2017-03-16 02:52:03.184+0000: 13914: error : virNetClientProgramDispatchError:177 : Cannot open log file: '/var/log/libvirt/qemu/vm113.log': Device or resource busy
2017-03-16 02:52:26.683+0000: 13919: warning : virStorageBackendVolOpen:1535 : ignoring permission error for '/media/vmpool/win7_test.img'

看到日志中有一些virStorageBackendVolOpen，virNetClientProgramDispa