(45)Air Band OpenCV2.4.13_输入视频和相似性度量

本文是对OpenCV2.4.13文档的部分翻译，作个人学习之用，并不完整。

视频有两种：实时图像和预记录在硬盘中的存储文件。OpenCV使用相同C++类和相同的方法来处理。

所有对于视频输入功能必要的函数都在VideoCapture类中，这个类基于FFmpeg开源库来构建。这是OpenCV基本的依赖。

一个视频是由一系列图像组成的，书面上将其称为帧。视频文件中帧率指定了两帧之间的时长。摄像机通常会限制每秒可以数字化的帧数，这一属性并不是很重要，因为无论什么时候摄像机看到的只是当前世界的一个瞬间。

我们想要直到视频转换操作是多么细微，所以我们需要一个系统来逐帧检查相似性或差异性。最常见的算法就是PSNR。

假设有两幅图I1和I2，两个维度的大小分别是i和j，由c个通道组成：

MSE的分子值表示一个像素的最大合法值。如果一个简单的图像每个通道的每个像素只有一个字节，那这个值就是255。如果两个图像一样，MSE就会是0，导致公式中的不合法的除0计算。这样PSNR就是无定义的，我们应该将这种情况单独处理。因为像素值的范围可能很大，所以要将结果转换成对数形式。

这个过程我们用double getPSNR(const Mat& I1, const Mat& I2)函数来实现。通常视频压缩的结果值在30和50之间，这个值越高越好。如果图像差别很大，结果可能低于15。

相似性检查很容易，计算很快，然而实际中结果可能和人眼看到的不一样。需要用结构相似性算法来纠正。见Scalar getMSSIM(const Mat& i1,const Mat& i2)函数。对图像的每个通道返回一个相似性索引。这个值在0到1之间，1表示恰好符合。然而高斯模糊代价很高，所以PSNR随着环境实时执行（如24帧每秒），仍会花费更多时间来获取相似性检查的结果。因此源代码在一开始就对每帧执行PSNR，SSIM只对PSNR落后输入值时执行。为了可视化，我们将两图都显示出来并打印出PSNR和MSSIM的值。

#include <iostream> // for standard I/O
#include <string>   // for strings
#include <iomanip>  // 控制浮点打印的精度
#include <sstream>  // 字符串转数字#include <opencv2/core/core.hpp>        // 基本的OpenCV结构(cv::Mat, Scalar)
#include <opencv2/imgproc/imgproc.hpp>  // 高斯模糊
#include <opencv2/highgui/highgui.hpp>  // OpenCV 窗口 I/Ousing namespace std;
using namespace cv;double getPSNR ( const Mat& I1, const Mat& I2);
Scalar getMSSIM( const Mat& I1, const Mat& I2);static void help()
{cout<< "------------------------------------------------------------------------------" << endl<< "This program shows how to read a video file with OpenCV. In addition, it "<< "tests the similarity of two input videos first with PSNR, and for the frames "<< "below a PSNR trigger value, also with MSSIM."                                   << endl<< "Usage:"                                                                         << endl<< "./video-source referenceVideo useCaseTestVideo PSNR_Trigger_Value Wait_Between_Frames " << endl<< "--------------------------------------------------------------------------"     << endl<< endl;
}int main()
{help();const string sourceReference = "Megamind.avi", sourceCompareWith = "Megamind_bugy.avi";int psnrTriggerValue=35,delay=10;char c;int frameNum = -1;          // 帧计数器//用输入的参数创建VideoCapture//首先你可以通过构造函数或open函数为VideoCapture类赋一个源值。如果参数是整数则你可以将这个类绑定到一个摄像机等设备。这里传入的数字就是由操作系统设定的设备的ID。如果只有一个设备连到系统，一般ID就0，将来连入的设备ID依次从这个ID开始增长。如果传入的参数是一个字符串，就是指一个视频文件，字符串就是文件的位置和名称。//这里我们要做一个相似性检查，VideoCapture构造函数的前两个参数为一个引用和一个测试用例的视频文件，这里我们使用相对地址VideoCapture captRefrnc(sourceReference), captUndTst(sourceCompareWith);//检查对视频源的绑定是否成功，当对象的析构函数调用时，自动关闭视频。你也可以在关闭前调用release函数。if (!captRefrnc.isOpened()){cout  << "Could not open reference " << sourceReference << endl;return -1;}if (!captUndTst.isOpened()){cout  << "Could not open case test " << sourceCompareWith << endl;return -1;}// 视频除了帧内容还有带有很多很多的信息,它们通常都是数字，有时可能是很短的字符序列，一般少于4个字节// 获取这些信息可以使用一个通用的get函数，返回值就包含了这些属性。使用按位操作来从double类型解码出字符，如果有效值只有整型，可以使用类型转换。参数就是一个属性的ID// 如果想要自己控制值，可以用set函数，第一个参数是想要改变的属性的名字（ID），第二个是一个double类型的用于设置的值，如果成功返回true，失败返回false。// 如captRefrnc.set(CV_CAP_PROP_POS_MSEC,1.2)表示到视频的第1.2秒// 如captRefrnc.set(CV_CAP_PROP_POS_FRAME,10)表示到视频的第10帧，此时读操作就会从这个位置开始读取帧//帧大小Size refS = Size((int) captRefrnc.get(CV_CAP_PROP_FRAME_WIDTH),(int) captRefrnc.get(CV_CAP_PROP_FRAME_HEIGHT)),uTSi = Size((int) captUndTst.get(CV_CAP_PROP_FRAME_WIDTH),(int) captUndTst.get(CV_CAP_PROP_FRAME_HEIGHT));//检测引用视频和测试视频的帧大小是否相同if (refS != uTSi){cout << "Inputs have different size!!! Closing." << endl;return -1;}const char* WIN_UT = "Under Test";const char* WIN_RF = "Reference";// 创建窗口namedWindow(WIN_RF, CV_WINDOW_AUTOSIZE);namedWindow(WIN_UT, CV_WINDOW_AUTOSIZE);cvMoveWindow(WIN_RF, 400       , 0);         //750,  2 (bernat =0)cvMoveWindow(WIN_UT, refS.width, 0);         //1500, 2cout << "Reference frame resolution: Width=" << refS.width << "  Height=" << refS.height<< " of nr#: " << captRefrnc.get(CV_CAP_PROP_FRAME_COUNT) << endl;cout << "PSNR trigger value " << setiosflags(ios::fixed) << setprecision(3)<< psnrTriggerValue << endl;//视频的一帧其实就是一个图像，因此我们需要从VideoCapture对象中将它们导出到一个Mat对象中。//视频流是连续的，可以用read或>>操作符来一个接一个地得到帧内容，这种操作由帧获取和对其应用解码组成，可以显式使用grab和retrieve函数来分两次执行Mat frameReference, frameUnderTest;double psnrV;Scalar mssimV;for(;;) //显示在窗口中捕获的图像并重复{captRefrnc >> frameReference;captUndTst.read(frameUnderTest);//如果读取操作获取不到帧，Mat对象可能为空（视频流关闭或读到了视频文件的最后）if (frameReference.empty() || frameUnderTest.empty()){cout << " < < <  Game over!  > > > ";break;}++frameNum;cout << "Frame: " << frameNum << "# ";// / PSNR psnrV = getPSNR(frameReference,frameUnderTest);cout << setiosflags(ios::fixed) << setprecision(3) << psnrV << "dB";MSSIM /if (psnrV < psnrTriggerValue && psnrV){mssimV = getMSSIM(frameReference, frameUnderTest);cout << " MSSIM: "<< " R " << setiosflags(ios::fixed) << setprecision(2) << mssimV.val[2] * 100 << "%"<< " G " << setiosflags(ios::fixed) << setprecision(2) << mssimV.val[1] * 100 << "%"<< " B " << setiosflags(ios::fixed) << setprecision(2) << mssimV.val[0] * 100 << "%";}cout << endl;// Show Image /imshow(WIN_RF, frameReference);imshow(WIN_UT, frameUnderTest);c = (char)cvWaitKey(delay);if (c == 27) break;}return 0;
}
//相似性检查
double getPSNR(const Mat& I1, const Mat& I2)
{Mat s1;absdiff(I1, I2, s1);       // |I1 - I2|s1.convertTo(s1, CV_32F);  // 不能对8位二进制数平方，要先转化为32位整型s1 = s1.mul(s1);           // |I1 - I2|^2Scalar s = sum(s1);        // 每个通道的元素求和double sse = s.val[0] + s.val[1] + s.val[2]; // 对通道求和if( sse <= 1e-10) // 小值返回0return 0;else{double mse  = sse / (double)(I1.channels() * I1.total());double psnr = 10.0 * log10((255 * 255) / mse);return psnr;}
}//相似性检查纠正
Scalar getMSSIM( const Mat& i1, const Mat& i2)
{const double C1 = 6.5025, C2 = 58.5225;/***************************** INITS **********************************/int d = CV_32F;Mat I1, I2;i1.convertTo(I1, d);            // 不能对一个字节长度的值计算，先转换为整型i2.convertTo(I2, d);Mat I2_2   = I2.mul(I2);        // I2^2Mat I1_2   = I1.mul(I1);        // I1^2Mat I1_I2  = I1.mul(I2);        // I1 * I2/*************************** END INITS **********************************/Mat mu1, mu2;                   // PRELIMINARY COMPUTINGGaussianBlur(I1, mu1, Size(11, 11), 1.5);GaussianBlur(I2, mu2, Size(11, 11), 1.5);Mat mu1_2   =   mu1.mul(mu1);Mat mu2_2   =   mu2.mul(mu2);Mat mu1_mu2 =   mu1.mul(mu2);Mat sigma1_2, sigma2_2, sigma12;GaussianBlur(I1_2, sigma1_2, Size(11, 11), 1.5);sigma1_2 -= mu1_2;GaussianBlur(I2_2, sigma2_2, Size(11, 11), 1.5);sigma2_2 -= mu2_2;GaussianBlur(I1_I2, sigma12, Size(11, 11), 1.5);sigma12 -= mu1_mu2;/ FORMULA Mat t1, t2, t3;t1 = 2 * mu1_mu2 + C1;t2 = 2 * sigma12 + C2;t3 = t1.mul(t2);                 // t3 = ((2*mu1_mu2 + C1).*(2*sigma12 + C2))t1 = mu1_2 + mu2_2 + C1;t2 = sigma1_2 + sigma2_2 + C2;t1 = t1.mul(t2);                 // t1 =((mu1_2 + mu2_2 + C1).*(sigma1_2 + sigma2_2 + C2))Mat ssim_map;divide(t3, t1, ssim_map);        // ssim_map =  t3./t1;Scalar mssim = mean(ssim_map);   // mssim = ssim map的平均值return mssim;
}

结果：

(45)Air Band OpenCV2.4.13_输入视频和相似性度量相关推荐

ueditor插入第三方视频链接不显示，输入视频地址有误
先说下我遇到的问题, ueditor插入第三方视频链接不显示,预览时提示输入视频地址有误,并且页面不显示视频. 经过分析测试,发现是播放器类型导致的. 解决办法如下: 1.ueditor.all.js ...
ffmpeg转码，输入视频帧率与输出帧率不相等时，出现丢帧问题
假设输入视频帧率为:25: 总帧数为:50: 输出视频帧率为:1: 命令行: ffmpeg -i input.mp4 -vcodec libx264 -r 1 -o output.mp4 发现:得到输 ...
使用OpenCV读取视频和视频的相似性度量
使用OpenCV读取视频和视频的相似性度量目标当今,数字摄像设备是随处可见.因此,一定会遇到这样的情况:图像处理已经不能满足要求,而需要进行视频处理.这大致分两种情况: 1.实时采集(对于网络摄像 ...
python模拟键盘输入视频_python教程-模拟鼠标和键盘输入
大家可能知道,有的情形下,如果我们需进行自动化操作的应用程序不提供相对应的的接口,就难以通过Python直接调用API来做到自动化.在此类情形下,Python也并非压根没有办法,我们可以通过模拟键盘和 ...
WEB前端有必要学会docker吗？0基础-45分钟带你学会（包含视频笔记案例源代码）
文章目录一.为什么要使用docker 二.Windows10/11系统安装Docker Desktop 三.如何判断电脑已经安装好docker 四.docker前端应用实战:将vue项目打包为doc ...
(1)Air Band调研
在漫长的定题过程中我查找了许多手势检测.Kinect.图像识别相关的博客: Kinect: Kinect开发学习笔记使用VS2008在windows平台上试用Kinect Kinect+OpenNI ...
(6)Air Band数字图像处理基础-对图像进行几何变换
本文可视为<Visual.C++数字图像处理开发入门与编程实践>读书笔记由于部分图片和公式难以打出,使用截图的方式呈现.
使用Opencv2+Pyqt5实现人脸识别视频马赛克
[视频马赛克系统]使用Opencv2+Pyqt5实现人脸识别视频马赛克功能 1.实现背景 2.开发资源.环境准备 3.实现目标 4.开发原理 6.编译实现 1.视频中人脸马赛克 2.电脑摄像头进行人脸 ...
ffmpeg学习（11）音视频文件muxer（2）多输入混流
在 ffmpeg学习(3)编码.解码的流程介绍和 ffmpeg学习(9)音视频文件demuxer中介绍了媒体文件的解封装.本文记录Ffmpeg封装格式另一种处理与与demuxer相反方式–视音频复用 ...

(45)Air Band OpenCV2.4.13_输入视频和相似性度量

(45)Air Band OpenCV2.4.13_输入视频和相似性度量相关推荐

最新文章

热门文章