利用混合高斯模型实现视频中运动目标与背景的分离

1 混合高斯模型（GMM）的建立及参数更新

混合高斯模型指的是对每个像素点建立一个由K个（一般K=3-5，K值越大，处理波动的能力强，能够较好地模拟动态变化的环境，但会加大计算量，使处理时间变长）单高斯模型混合而成的模型。（具体参考文献：[刘非非. 基于视频监控的室内跌倒行为的检测与识别研究[D]. 山东大学, 2016].）

如果继续深究，或者有些里面具体数学公式，以及混合高斯模型中涉及到的数学非常非常基础的知识，可以参看这篇浅谈协方差矩阵，详细介绍了协方差的意义，从浅显的概念开始解读，很容易让人理解，而且在后面还有“Matlab协方差实战”，更加让人容易理解。http://www.cnblogs.com/chaosimple/p/3182157.html 。

下面是我根据这个文章2.2.2整理出来的：

我只是将书中的文字，用这种方式表达出来，这也就让我们能够很好地去理解啦！其中的红字小框框，是笔者自己对这两个值，存在的疑惑。因为不一样的取值可能会有不一样的结果。

说明：在最上面的那几个公式那里，我只是按照书中写的，自己理解的进行替换。如果不对，还请各位指正！

2 MATLAB代码实现

笔者实力有限，所以这里的代码出处也是在网上下载具体网址：

http://www.ilovematlab.cn/thread-326760-1-1.html 这是matlab论坛中的一个贴子，本博客就是在其源码上修改的，当然只是修改了小小的一部分。大部分还是属于这篇帖子作者的。在此只是引荐，按照自己的理解并详细阐述说明。

在看代码之前，需要说明一下：有时我们看到代码会很头疼，因为里面的变量名很让人头疼！事实上，这些变量有以下原则：1）数学公式中的符号音译过来，例如：下面代码中的alpha，代表数学公式中希腊字母像a的那个；2）想要表达的具体事物的所对应的的英文缩写：例如，下面代码中的fg 代表front ground，即前景；这样看起代码是不是就不那么费劲了~~更多的就不做阐述了。

下面我们看代码：

clear all
source = VideoReader('falling.avi');

%载入视频，这里需要说明，本人用的matlab版本是2015b，在前一篇博客有详细说明。
numFrames = source.NumberOfFrames;%计算所载入的视频的总帧数

% ----------------------- Part1 frame size variables 图像帧的尺寸变量-----------------------

fr= read(source,1);%读取视频的第一帧图像
fr_bw = rgb2gray(fr); % convert background to greyscale将该帧图像转换为灰度图像
fr_size = size(fr); %获取该帧图片的尺寸，size函数返回的是两个值，即长、宽
width = fr_size(2); %将第二个值赋给width这个变量
height = fr_size(1); %将第一个值赋给height这个变量
fg = zeros(height, width); % 建立一个零矩阵，用于计算前景，储存前景像素。说白了就是告诉先占个地方，后面好放东西。
bg_bw = zeros(height, width);% 建立一个零矩阵，用于背景的更新

% --------------------- Part2 初始变量，及公式中的一些常数值 --------------------------------

C = 3; % number of gaussian components (typically 3-5)高斯个数
M = 3; % number of background components背景个数

%原谅笔者现在没有弄明白为什么有了高斯数，还有个背景数？？？
D = 2.5; % positive deviation threshold比较门槛值
alpha = 0.01; % learning rate (between 0 and 1) (from paper 0.01)初始化的学习率
thresh = 0.25; % foreground threshold (0.25 or 0.75 in paper)前景门槛
sd_init = 6;

% initial standard deviation (for new components) var = 36 in paper初始化偏差
w = zeros(height,width,C); % initialize weights array初始化权重
mean = zeros(height,width,C); % pixel means像素均值
sd = zeros(height,width,C); % pixel standard deviations像素标准偏差，注意与下面的方差区别，平方的关系

u_diff = zeros(height,width,C);

% difference of each pixel from mean每个像素与均值的差值
p = alpha/(1/C); % initial p variable (used to update mean and sd)均值，方差的更新系数

rank = zeros(1,C); % rank of components (w/sd)用于排序

% ------------Part3 initialize component means and weights 初始化均值和权重----------

pixel_depth = 8; % 8-bit resolution 8位分辨率
pixel_range = 2^pixel_depth -1; % pixel （像素）range (# of possible values)

%下面是初始化每个点的每个高斯模型的均值，权重，方差
for i=1:height
for j=1:width
for k=1:C%每个像素点设置了三个高斯模型
mean(i,j,k) = rand*pixel_range; % means random (0-255)
w(i,j,k) = 1/C; % weights uniformly dist
sd(i,j,k) = sd_init; % initialize to sd_init
end
end
end

%----------------------------Part4 process frames 具体实现过程-----------------------------------

for n = 1:10:numFrames% 计算视频的总帧数!!! PS:经过笔者的实验，之前的代码将视频中的每帧图像都进行了前、背景的分离。笔者将其改为每隔10帧取一帧，进行前、背景的分离。

fr = read(source,n); %读取视频的第n帧图像
fr_bw = rgb2gray(fr); % convert frame to grayscale 转换为灰度图像
%fr_bw(i,j)可以认为是当前像素点吧
% calculate difference of pixel values from mean 计算各点像素的均值
%计算当前帧每个像素值与每个高斯模型均值的差，即进行相应的匹配，

%在前面和大家提过的文献中说明，建立好背景和模型后，再利用匹配算法将视频帧的前背景分离。而这里的匹配算法就是利用当前帧每个像素值与每个高斯模型均值的差，进行相应的匹配。事实上匹配算法还有很多种，笔者运行后的结果不是很理想，可能问题出在这个匹配算法上。但具体的不在详解（因为笔者也不知道啊）！只是在此将这个问题提出，方便大家交流。
for m=1:C
u_diff(:,:,m) = abs(double(fr_bw) - double(mean(:,:,m)));

%abs是取绝对值，这里就是在计算当前帧每个像素值与每个高斯模型均值的差
end

% update gaussian components for each pixel更新高斯模型的各像素点
% 将当前帧的每个像素值进行匹配（匹配开始）
for i=1:height
for j=1:width
match = 0;
for k=1:C
if (abs(u_diff(i,j,k)) <= D*sd(i,j,k))

% pixel matches component
% pixel matches component
% 当前像素与某一高斯模型匹配，匹配准
% 则是与高斯模型差值小与2.5倍的标准差 match = 1;

% variable to signal component match
% 匹配的时候，匹配标志设置为1
% variable to signal component match
% update weights, mean, sd, p 更新每个像素的高斯模型，

如果当前像素与某个背景高斯模型相匹配，则对背景进行更新
w(i,j,k) = (1-alpha)*w(i,j,k) + alpha; %1 权值的更新
p = alpha/w(i,j,k); % 2 更新率的更新
mean(i,j,k) = (1-p)*mean(i,j,k) + p*double(fr_bw(i,j));% 3当前像素点的均值的更新
sd(i,j,k) = sqrt((1-p)*(sd(i,j,k)^2) + p*((double(fr_bw(i,j)) - mean(i,j,k)))^2);

% 4 标准差的更新（也可以用方差）
else % pixel doesn't match component当像素与任何一个高斯模型都不匹配的时候
w(i,j,k) = (1-alpha)*w(i,j,k);

% 5 weight slighly decreases% 对权重进行更新，不匹配的高斯模型权重减小
%1,2,3,4,5都是具体的数学表达形式。具体的参看上面的公式。只是将公式用语言表达出来
end
end

w(i,j,:) = w(i,j,:)./sum(w(i,j,:));% 各个像素所有高斯背景模型的值之和，这是一个统计值

bg_bw(i,j)=0;
for k=1:C
bg_bw(i,j) = bg_bw(i,j)+ mean(i,j,k)*w(i,j,k);%更新背景
end

% if no components match, create new component 如果当前的高斯模型都不匹配的时候，用当前的图像参数建立一个新的高斯模型，取代权重最小的模型。

%用当前图像参数建立一个新的高斯模型
if (match == 0)
[min_w, min_w_index] = min(w(i,j,:));

%找出每一个像素对应的权重最小的高斯模型，找出w中的所有维数(也就是所有高斯模型)对应的第i行，第j列的最小值（也就是权重），返回值min_w为数值（权重）大小，min_w_index为对应的维数（高斯模型）
mean(i,j,min_w_index) = double(fr_bw(i,j));

%fr_bw为背景灰度图像，由于没有匹配，所以保留原值不变
%我认为是当前像素值作为新模型的均值
sd(i,j,min_w_index) = sd_init; %没有匹配，保留原值不变
end

rank = w(i,j,:)./sd(i,j,:); % calculate component rank，这也是数学公式的表达，具体在前面的叙述中有。就是按照这个公式进行排序
rank_ind = [1:1:C]; %计算权重与标准差的比值，用于对背景模型进行排序

% sort rank values
for k=2:C
for m=1:(k-1)
if (rank(:,:,k) > rank(:,:,m))
% swap max values 交换最大值
rank_temp = rank(:,:,m);
rank(:,:,m) = rank(:,:,k);
rank(:,:,k) = rank_temp;

% swap max index values 交换最大索引值
rank_ind_temp = rank_ind(m);
rank_ind(m) = rank_ind(k);
rank_ind(k) = rank_ind_temp;

end
end
end

% calculate foreground %计算前景
match = 0;
k=1;

fg(i,j) = 0; %前景
while ((match == 0)&&(k<=M))% 没有匹配，而且当前高斯数号小于背景数

if (w(i,j,rank_ind(k)) >= thresh)
if (abs(u_diff(i,j,rank_ind(k))) <= D*sd(i,j,rank_ind(k)))
fg(i,j) = 0; %判断是否是前景，如果符合匹配准则就认为是背景
match = 1;
else %否则认为是前景，前景值为255，即白色
fg(i,j) = 255;
end
end
k = k+1; %计算下一个高斯模型
if(k==5)
k=k-1;
break
end
end
end

figure(1),subplot(3,1,1),imshow(fr)%显示输入图像三行一列定位第一个
subplot(3,1,2),imshow(uint8(bg_bw))%显示背景图像三行一列定位第2个
subplot(3,1,3),imshow(uint8(fg)) %显示前景图像
%将图像矩阵转换为视频帧

end
end

%对于最后的一部分小编没有说太多，后面应该就是针对前面小编不懂得那个背景数和高斯模型个数的，和前、背景分离相关的问题。似懂非懂，可能就是因为小编对背景数和高斯模型数没有弄清楚的原因。下面是小编运行后的结果图。（效果不是那么的理想）

笔者在这里说明一下，运行试验所用的视频是山东大学拍摄人体姿态的视频。下载地址：http://www.sucro.org/homepage/wanghaibo/SDUFall.html 这里是20个人的六种姿态。点击下载即可，是免费的。

利用混合高斯模型实现视频中运动目标与背景的分离相关推荐

OPENCV混合高斯模型原理
(本文转自转自:http://blog.sina.com.cn/s/blog_62bce98c0100shkq.html) 混合高斯模型跟高斯变量之和看起来有一点像, 注意不要把它们弄混淆了. 混合高 ...
运动目标检测混合高斯模型
原理 : 高斯模型就是用高斯概率密度函数( 正态分布曲线)精确地量化事物,将一个事物分解为若干的基于高斯概率密度函数(正态分布曲线)形成的模型. 对图像背景建立高斯模型的原理及过程:图像灰度直方图 ...
opencv进阶-背景建模-(帧差法与混合高斯模型)
背景减除(Background Subtraction)是许多基于计算机视觉的任务中的主要预处理步骤.如果我们有完整的静止的背景帧,那么我们可以通过帧差法来计算像素差从而获取到前景对象.但是在大多数情 ...
混合高斯模型原理和Lucas-Kanade方法介绍
运动估计之混合高斯模型原理和Lucas-Kanade方法介绍 1. 简述混合高斯模型的基本原理,以及通过混合高斯模型进行背景建模的基本思想. 背景建模的思想:利用帧之间的像素变化来进行判断,像素灰度值 ...
【opencv】(11) 背景建模，帧差法、混合高斯模型，实战：行人检测，附python完整代码和数据集
各位同学好,今天和大家分享一下opencv背景建模相关操作.主要介绍两种背景建模方法,帧差法和混合高斯模型. 案例简介:现有一份路口摄像机拍摄的行人流视频,通过背景建模方法,区分背景和前景,完成行人识 ...
opencv背景建模(混合高斯模型)
背景建模帧差法由于场景中的目标在运动,目标的影像在不同图像帧中的位置不同.该类算法对时间上连续的两帧图像进行差分运算,不同帧对应的像素点相减,判断灰度差的绝对值,当绝对值超过一定阈值时,即可判断为 ...
混合高斯模型 opencv
一.GMM发展历史及现状背景建模方法有很多种,如中值法.均值法.卡尔曼滤波器模型.码本背景模型等,其中混合高斯模型是最经典的算法.GMM最早是由CHris Stauffer等在[1]中提出的,该方法 ...
OpenCV视觉学习之混合高斯模型进行背景建模
文章目录一.背景建模:帧差法二.混合高斯模型小插曲: 三.代码实现一.背景建模:帧差法由于场景中的目标在运动,目标的影像在不同图像帧中的位置不同,该类算法对时间上连续的两帧图像进行差分运算, ...
【转载】混合高斯模型（Mixtures of Gaussians）和EM算法
混合高斯模型(Mixtures of Gaussians)和EM算法这篇讨论使用期望最大化算法(Expectation-Maximization)来进行密度估计(density estimation ...
混合高斯模型（Mixtures of Gaussians）和EM算法
与k-means一样,给定的训练样本是,我们将隐含类别标签用表示.与k-means的硬指定不同,我们首先认为是满足一定的概率分布的,这里我们认为满足多项式分布,,其中,有k个值{1,-,k}可以选取. ...

利用混合高斯模型实现视频中运动目标与背景的分离

利用混合高斯模型实现视频中运动目标与背景的分离相关推荐

最新文章

热门文章