最近参加超越杯发生了一段小插曲，主办方要求提交白底的团队介绍VCR，然而之前没有注意到这点，就找了个风景优美的地方拍摄，直到截止前才发现大事不妙。

此时自然而然地就想到抠图了！然而这次的视频背景花里胡哨。

我询问了各路图像大佬，得到的回复往往是几个paper标题，或者几个不明觉厉的词汇，至于直接能拿来用解决燃眉之急的，实在没有。。。

于是我决定从问题本质出发，视频抠图最直接的思路不外乎三步走：

1.从视频转换为一帧帧的图像

2.将每帧图像分别进行人像分离

3.将处理后的每帧图像合并回新视频

其中13两步显然是没有难度的，只要找到对应的视频、图像库。

第2步就是难点、瓶颈所在了。

市面上的人像分割api众多，例如百度的aip、旷视的Face++、国外火爆的remove.bg。

我还是选择了网络稳定，每日允许调用50000次的百度aip，倘若每秒25帧，意味着可以每日处理长度为33.33分钟的视频！

当然如果有离线版api(可以推荐我一下)或者自己训练好的神经网络，肯定是更佳的选择。

下面开始写代码啦

首先是视频转图片部分

import cv2

vc = cv2.VideoCapture("TestVideo.mp4")

c = 1

if vc.isOpened():

rval, frame = vc.read()

else:

rval = False

while rval:

rval, frame = vc.read()

cv2.imwrite('imgs\\' + str(c) + '.jpg', frame) # 需要先存在这个文件夹

c = c + 1

cv2.waitKey(1)

vc.release()

经过这一步转换，我们约2分钟的测试视频被神奇地转为

这1819张独立的图片

需要一定地存储空间哦~

接下来，关键的一步到了！对每张图片进行抠图处理。

import cv2

import base64

import numpy as np

from aip import AipBodyAnalysis

def do_split_figure(i, color_new = [255, 255, 255]):

imgfile = 'imgs\\' + str(i) + '.jpg'

ori_img = cv2.imread(imgfile)

height, width, _ = ori_img.shape

with open(imgfile, 'rb') as fp:

img_info = fp.read()

seg_res = client.bodySeg(img_info)

labelmap = base64.b64decode(seg_res['labelmap'])

nparr = np.fromstring(labelmap, np.uint8)

labelimg = cv2.imdecode(nparr, 1) # 不是0 0 0就是1 1 1的抠图结果矩阵

labelimg = cv2.resize(labelimg, (width, height), interpolation=cv2.INTER_NEAREST)

all_one = np.where(labelimg > -1, 1, labelimg)

#mask_img = np.where(labelimg == 1, 255, labelimg) # 如果是人的区域rgb都弄成255，否则都是0显示黑色

# maskfile = imgfile.replace('.jpg', '_mask.png')

# cv2.imwrite(maskfile, mask_img)

labelimg = cv2.blur(labelimg, (9, 9))

sum = labelimg * ori_img + (all_one - labelimg)*color_new

res_imgfile = 'imgsres\\' + str(i) + '.jpg'

result = cv2.resize(sum, None, fx=1, fy=1, interpolation=cv2.INTER_NEAREST)

cv2.imwrite(res_imgfile, result)

print(imgfile, 'Done.')

pass

# 在百度云中申请，每天各接口有 50000 次调用限制.

APP_ID = '****'

API_KEY = '****'

SECRET_KEY = '****' # '****' 这个key不能给别人看

client = AipBodyAnalysis(APP_ID, API_KEY, SECRET_KEY)

num_img = 1820 # 这个先手动写吧

i_start = 1 # 262

for i in range(num_img):

if i >= i_start - 1:

while True:

bfinish = True

try:

do_split_figure(i + 1)

except:

bfinish = False

if bfinish:

break

只需要调整numimg值为图片总数，就能自动进行抠图啦！

可以在调用do_split_figure函数时指定结果图片的背景色，默认是白底。

如果想看抠图的mask结果，可以将保存mask_img相关的几行代码取消注释。人像分割得到的mask

值得注意的是，在得到0/1结果矩阵后，需要进行边缘羽化处理，这里我用了简单的cv2.blur，大家如果有更好的方法可以告诉我。

然后就是

sum = labelimg * ori_img + (all_one - labelimg)*color_new

以blur之后的矩阵为比例，将前景色和背景色填上去啦！

最后，激动人心的时刻到了！只需要再将这些图片转回视频就行了。

import cv2

from cv2 import VideoWriter, VideoWriter_fourcc, imread, resize

import os

img_root = "imgsres\\"

# Edit each frame's appearing time!

fps = 25

fourcc = VideoWriter_fourcc(*"MJPG")

# 分辨率自己看着写

videoWriter = cv2.VideoWriter("TestVideoRes.avi", fourcc, fps, (1920, 1080))

im_names = os.listdir(img_root)

for im_name in range(len(im_names)):

frame = cv2.imread(img_root + str(im_name+1) + '.jpg')

print(im_name)

videoWriter.write(frame)

videoWriter.release()

我们来看一下效果吧。。。

https://www.zhihu.com/video/1103039471712329728

不能说有多棒，但思路就是这样的，如果要改进可以从选择更好的人像分割API或者使用本地训练好的神经网络入手。

视频帧之间也是有联系的，如果追求更好的效果也应该考虑进去，不过就比较专业了。