图像/视频背景替换--BackgroundMattingV2 笔记

一、模型的构建

base -- 基类，允许不同input channel 和不同的output channel 不同的backbone，通过参数传入。

1、backbone--resnet101

建构resnet:

input channel 6

替换first conv layer 因为 input channel = 6

删除原来的fully-connected layer

注：

Variant : 特殊的数据类型，除了固定长度string数据以外的任何类型的数据。

2、ASPP

来自于deeplabv3

金字塔池化，增加了空间的感受野

input channel = 2048

output channel = 256

ASPPConv 继承了 nn.Sequential， supper 先找到ASPPConv的父类 nn.Sequential，然后用父类的初始化方法来对ASPPConv的属性进行初始化。Sequential 是一个容器，将模块依次传入容器中。

torch.cat(x,dim) 将不同空洞卷积的结果连接起来。

3、decoder

output channel 1 + 3 + 1 + 32=37

各层输出通道的维数逐渐减少。512 -->256 -->64--> 6

有skilp connection

4、Refiner

有来自原始图像的skilp connection

------------------------------------------------------------------------------------------------------------------------------

二、模型参数、数据的加载

model.load_state_dict(torch.load(model_checkpoint))

cv2.VideoCapture(videopath)

获取宽高帧率帧数等信息

使用单映变换匹配source image 和background, cv2.ORB_create 。对于超出bgr 部分的区域，就将source 对应的像素拷贝过去。

VideoWriter(output_dir, frame_rate, width,height) 按照输入的video 的参数保存数据。

-------------------------------------------------------------------------------------------------------------------------------------------------

执行推断的过程

with torch.no_grad():

图像/视频背景替换--BackgroundMattingV2 笔记相关推荐

OpenCV C++案例实战六《绿幕视频背景替换》
OpenCV C++案例实战六<绿幕视频背景替换> 前言一.图像预处理二.HSV色彩空间转换 1. cvtColor色彩空间转换 2. inRange抠图三.背景替换四.源码总结 ...
C++OpenCV系统学习（17）——图像分割与抠图（6）——视频背景替换
1.关键知识点分割算法选择背景融合-高斯模糊遮罩层生成 1.1分割算法的选择 GMM/Kmeans:对视频的第一帧做trainning,对其他帧只做预言不做trainning. .基于色彩的处理 ...
OpenCV4学习笔记（57）——基于GrabCut图像分割算法实现背景替换与背景虚化效果
在上一篇笔记<OpenCV4学习笔记(56)>中,整理了关于在OpenCV中使用GrabCut图像分割算法的相关内容,那么本次笔记就以GrabCut算法为基础来实现对图像的背景替换和背景虚 ...
OpenCV4学习笔记（31）——视频背景、前景提取分离及运动检测
这次要整理的笔记是视频背景.前景提取及运动检测,是通过对视频前面的一系列帧图像来提取背景模型,从而分离出前景目标和背景,进而对运动的前景目标进行检测.OpenCV中实现的背景模型提取算法有两种,一种是 ...
几行代码就能去除图像和视频背景，还用啥PS
背景去除是将主要对象/图像与其背景分离的过程. 深度学习是基于表示学习的人工神经网络的机器学习方法家族的一部分 U-2-Net是用于显着对象检测的深度网络模型(Github存储库:U-2-Net) 我 ...
Opencv4学习-2、小案例之绿布抠图-视频背景图替换
一.绿布抠图-背景图替换主要是基于图像色彩空间,转换为HSV色彩空间实现mask层提取.然后通过一些简单的图像处理比如形态学开闭操作.高斯模糊等到完整的mask区域,运用mask区域生成权重系数,对 ...
(六)图像背景移除/去背景/换背景/抠图/抠像代码示例：AI实时抠图、AI实时抠像、PaddlePaddle模型、虚拟现实视频会议、沉浸式会议场景、人像去背景、视频背景消除、摄像头背景移除
(六)图像背景移除/去背景/换背景/抠图/抠像代码示例:AI实时抠图.AI实时抠像.PaddlePaddle模型.虚拟现实视频会议.沉浸式会议场景.人像去背景.视频背景消除.摄像头背景移除本文与前几 ...
如何替换视频背景为其它的场景？
今天教大家一个高大上的操作,当然,也相对比较简单.给视频更换背景首先要做的就是把视频中的人物抠出来,然后放在任何场景里面,场景可以包括图片场景或者视频场景. 但你拥有一段透明的视频,便可以随时随地做一 ...
Python OpenCV学习笔记之：使用MOG2视频背景消除
为什么80%的码农都做不了架构师?>>> # -*- coding: utf-8 -*- """ 视频背景消除 """ ...

图像/视频背景替换--BackgroundMattingV2 笔记

图像/视频背景替换--BackgroundMattingV2 笔记相关推荐

最新文章

热门文章