Qt/C++编写安防视频监控系统27-GPU显示

一、前言

之前用ffmpeg解码的时候，已经做了硬解码的处理，比如支持qsv、dxva2、d3d11va等方式进行硬解码处理，但是当时解码出来以后，还是重新转成了QImage来绘制，这样就大打折扣了，尽管可以看到GPU使用率有了，但是依然耗时的操作还是在CPU绘制显示，这就显得很尴尬了，Qt封装了大部分的opengl的操作，直接做成了QOPenGLWidget，既支持ffmpeg解码出来的yuyv格式的数据显示，还支持硬解码出来的nv12格式的数据显示，很好很强大，这样的话就大大减轻了CPU的压力，专门交给GPU绘制，经过这么一番彻底的改造，效率提升至少5倍，不要太牛逼！如果开启了opengl绘制，则对应内存会增加不少，可能opengl绘制需要开辟很多的内存来交换数据吧。
采用GPU显示需要同时支持yuyv格式和nv12格式，因为有些配置差的电脑，硬解码很可能歇菜，此时就需要用opengl来直接绘制ffmpeg软解码出来的yuyv数据，做到自动切换，这样就兼容了所有的可能的情况。测试发现ffmpeg4的性能要优于ffmpeg3，64位的性能要优于32位的，在64位的操作系统上，UDP协议性能要优于TCP性能，但是可能会丢包。

下面是本人测试的结果：
测试数据，64位WIN10+32位qt5.7+32位ffmpeg3+6路1080P主码流+6路子码流

方案	CPU	内存	GPU
none+none	12%	147MB	0%
dxva2+none	3%	360MB	38%
d3d11va+none	2%	277MB	62%
none+painter	30%	147MB	0%
dxva2+painter	30%	360MB	38%
d3d11va+painter	21%	277MB	62%
none+yuyv	17%	177MB	22%
dxva2+yuyv	25%	400MB	38%
d3d11va+yuyv	18%	30MB	65%
qsv+nv12	22%	970MB	40%
dxva2+nv12	20%	380MB	40%
d3d11va+nv12	15%	320MB	62%

二、功能特点

软件模块

视频监控模块，各种停靠小窗体子模块，包括设备列表、图文警情、窗口信息、云台控制、预置位、巡航设置、设备控制、悬浮地图、网页浏览等。
视频回放模块，包括本地回放、远程回放、设备播放、图片回放、视频上传等。
电子地图模块，包括图片地图、在线地图、离线地图、路径规划等。
日志查询模块，包括本地日志、设备日志等。
系统设置模块，包括系统设置（基本设置、视频参数、数据库设置、地图配置、串口配置等）、录像机管理、摄像机管理、轮询配置、用户管理等。

基础功能

支持各种视频流（rtsp、rtmp、http等）、视频文件（mp4、rmvb、avi等）、本地USB摄像机播放。
支持多画面切换，包括1、4、6、8、9、13、16、25、36、64画面切换。
支持全屏切换，多种切换方式包括鼠标右键菜单、工具栏按钮、快捷键（alt+enter全屏，esc退出全屏）。
支持视频轮询，包括1、4、9、16画面轮询，可设置轮询分组（轮询预案）、轮询间隔、码流类型等。
支持onvif协议，包括设备搜索、云台控制、设备控制（图片参数、校对时间、系统重启，抓拍图片等）。
支持权限管理，不同的用户可以对应不同的模块权限，比如删除日志、关闭系统等。
数据库支持多种，包括sqlite、mysql、sqlserver、postgresql、oracle、人大金仓等。
本地USB摄像机支持设置分辨率、帧率等参数。
所有停靠模块都自动生成对应的菜单用来控制显示和隐藏，在标题栏右键可以弹出。
支持显示所有模块、隐藏所有模块、复位普通布局、复位全屏布局。
双击设备弹出实时预览视频，支持图片地图、在线地图、离线地图等。
摄像机节点拖曳到对应窗体播放视频，同时支持拖曳本地文件直接播放。
删除视频支持鼠标右键删除、悬浮条关闭删除、拖曳到视频监控面板外删除等多种方式。
图片地图上设备按钮可自由拖动，自动保存位置信息。百度地图上可以鼠标单击获取经纬度信息，用来更新设备位置。
视频监控面板窗体中任意通道支持拖曳交换，瞬间响应。
封装了百度地图，视图切换，运动轨迹，设备点位，鼠标按下获取经纬度等。
双击节点、拖曳节点、拖曳窗体交换位置等操作，均自动更新保存最后的播放地址，下次软件打开自动应用。
右下角音量条控件，失去焦点自动隐藏，音量条带静音图标。
支持视频截图，可指定单个或者对所有通道截图，底部小工具栏也有截图按钮。
支持超时自动隐藏鼠标指针、自动全屏机制。
支持onvif云台控制，可上下左右移动云台摄像机，包括复位和焦距调整等。
支持任意onvif摄像机，包括但不限于海康、大华、宇视、天地伟业、华为等。
可保存视频，可选定时存储或者单文件存储，可选存储间隔时间。
可设置视频流通信方式tcp+udp，可设置视频解码是速度优先、质量优先、均衡等。
可设置软件中文名称、英文名称、LOGO图标等。
存储的视频文件支持导出到指定目录，支持批量上传到服务器。

特色功能

主界面采用停靠窗体模式，各种组件以小模块的形式加入，可自定义任意模块加入。
停靠模块可拖动任意位置嵌入和悬浮，支持最大化全屏，支持多屏幕。
双重布局文件存储机制，正常模式、全屏模式都对应不同的布局方案，自动切换和保存，比如全屏模式可以突出几个模块透明显示在指定位置，更具科幻感现代化。
原创onvif协议机制，采用底层协议解析（udp广播搜索+http请求执行命令）更轻量易懂易学习拓展，不依赖任何第三方组件比如gsoap。
原创数据导入导出机制，跨平台不依赖任何组件，瞬间导出数据。
内置多个原创组件，宇宙超值超级牛逼，包括数据导入导出组件（导出到xls、pdf、打印）、数据库组件（数据库管理线程、自动清理数据线程、万能分页、数据请求等）、地图组件、视频监控组件、文件多线程收发组件、onvif通信组件、通用浏览器内核组件等。
自定义信息框+错误框+询问框+右下角提示框（包含多种格式）等。
精美换肤，高达17套皮肤样式随意更换，所有样式全部统一，包括菜单等。
视频控件悬浮条可以自行增加多个按钮，监控界面底部小工具栏也可自行增加按钮。
双击摄像机节点自动播放视频，双击节点自动依次添加视频，会自动跳到下一个，双击父节点自动添加该节点下的所有视频。可选主码流、子码流。
录像机管理、摄像机管理，可添加删除修改导入导出打印信息，立即应用新的设备信息生成树状列表，不需重启。
可选多种内核自由切换，ffmpeg、vlc、mpv等，均可在pro中设置。推荐用ffmpeg，跨平台最多，默认提供好了linux和mac平台上编译好的库。
支持硬解码，可设置硬解码类型（qsv、dxva2、d3d11va等）。
默认采用opengl绘制视频，超低的CPU资源占用，支持yuyv和nv12两种格式绘制，很牛逼。
高度可定制化，用户可以很方便的在此基础上衍生自己的功能，比如增加自定义模块，增加运行模式、机器人监控、无人机监控、挖掘机监控等。
支持xp、win7、win10、linux、mac、各种国产系统（UOS、中标麒麟、银河麒麟等）、嵌入式linux等系统。
注释完整，项目结构清晰，超级详细完整的使用开发手册，精确到每个代码文件的功能说明，不断持续迭代版本。

三、体验地址

体验地址：https://pan.baidu.com/s/1d7TH_GEYl5nOecuNlWJJ7g 提取码：01jf 文件名：bin_video_system.zip。
国内站点：https://gitee.com/feiyangqingyun
国际站点：https://github.com/feiyangqingyun
个人主页：https://blog.csdn.net/feiyangqingyun
知乎主页：https://www.zhihu.com/people/feiyangqingyun/

四、效果图

五、核心代码

void NV12OpenGLWidget::initializeGL()
{initializeOpenGLFunctions();glDisable(GL_DEPTH_TEST);//存储顶点坐标和纹理坐标static const GLfloat points[] = {-1.0f, 1.0f, 1.0f, 1.0f, 1.0f, -1.0f, -1.0f, -1.0f, 0.0f, 0.0f, 1.0f, 0.0f, 1.0f, 1.0f, 0.0f, 1.0f};//顶点缓冲对象初始化vbo.create();vbo.bind();vbo.allocate(points, sizeof(points));//初始化shaderthis->initShader();//初始化texturesthis->initTextures();//初始化颜色this->initColor();
}void NV12OpenGLWidget::paintGL()
{if (!dataY || !dataUV || width == 0 || height == 0) {this->initColor();return;}program.bind();program.enableAttributeArray("vertexIn");program.enableAttributeArray("textureIn");program.setAttributeBuffer("vertexIn", GL_FLOAT, 0, 2, 2 * sizeof(GLfloat));program.setAttributeBuffer("textureIn", GL_FLOAT, 2 * 4 * sizeof(GLfloat), 2, 2 * sizeof(GLfloat));glActiveTexture(GL_TEXTURE0 + 1);glBindTexture(GL_TEXTURE_2D, textureY);//字节对齐,网上很多代码都是少了这一步,导致有时候花屏glPixelStorei(GL_UNPACK_ROW_LENGTH, linesizeY);glTexParameteri(GL_TEXTURE_2D, GL_TEXTURE_MAG_FILTER, GL_LINEAR);glTexParameteri(GL_TEXTURE_2D, GL_TEXTURE_MIN_FILTER, GL_LINEAR);glTexParameterf(GL_TEXTURE_2D, GL_TEXTURE_WRAP_S, GL_CLAMP_TO_EDGE);glTexParameterf(GL_TEXTURE_2D, GL_TEXTURE_WRAP_T, GL_CLAMP_TO_EDGE);glTexImage2D(GL_TEXTURE_2D, 0, GL_RED, width, height, 0, GL_RED, GL_UNSIGNED_BYTE, dataY);glActiveTexture(GL_TEXTURE0 + 0);glBindTexture(GL_TEXTURE_2D, textureUV);//字节对齐,网上很多代码都是少了这一步,导致有时候花屏glPixelStorei(GL_UNPACK_ROW_LENGTH, linesizeUV >> 1);glTexParameteri(GL_TEXTURE_2D, GL_TEXTURE_MAG_FILTER, GL_LINEAR);glTexParameteri(GL_TEXTURE_2D, GL_TEXTURE_MIN_FILTER, GL_LINEAR);glTexParameterf(GL_TEXTURE_2D, GL_TEXTURE_WRAP_S, GL_CLAMP_TO_EDGE);glTexParameterf(GL_TEXTURE_2D, GL_TEXTURE_WRAP_T, GL_CLAMP_TO_EDGE);glTexImage2D(GL_TEXTURE_2D, 0, GL_RG, width >> 1, height >> 1, 0, GL_RG, GL_UNSIGNED_BYTE, dataUV);glDrawArrays(GL_QUADS, 0, 4);program.setUniformValue("textureY", 1);program.setUniformValue("textureUV", 0);program.disableAttributeArray("vertexIn");program.disableAttributeArray("textureIn");program.release();
}