VCIP2021:基于神经网络的双向预测blending过程

本文来自VCIP2021论文《Neural Network based Inter bi-prediction Blending》

介绍

双向预测最终会产生两个MV和两个参考块，这两个参考块通过加权最终形成一个预测块，这个过程即为blending。双向预测能减少编码失真、亮度变化、块内小运动引起的误差。

VVC中提出了多种工具来提升双向预测过程的表现，例如BCW技术对两个参考块分别赋予一个权重，最终的预测块由两个参考块加权生成，相比在HEVC中进行双向预测时预测值等于前向预测值和后向预测值的均值，BCW的加权预测效果更好，同时为了降低复杂度BCW使用一组固定权重{-1/4,3/8,1/2,5/8,5/4}。另一个技术是BDOF，基于光流的概念计算出来的运动修正值来调整4x4子块的双向预测值。还有一个技术是几何划分GPM，每个像素的权重取决于它到边界的距离。最后还有一个技术是CIIP，它将帧内预测和帧间预测结合了起来。

基于神经网络的双向预测blending

简介

论文提出使用神经网络来进行双向预测时两个参考块的blending过程。网络模型通过全连接神经网络构成，输入是两个参考块，输出是最终的预测块，网络结构如Fig.1所示。

应用条件：

该方法不需要在码流中传输额外信息，但是需要一些条件限制其是否开启。由于该方法和BDOF不兼容，所以论文中关闭了BDOF。且该模型仅在亮度分量上训练，对于色度分量还是使用原始的blending方法。为了平衡复杂度，设置了三个档次的开启条件，如表1所示。

实验结果

训练数据集使用BVI-DVC和UVG数据集，使用STAD作为loss 函数，使用Hadamard矩阵进行变换。具体信息如表4所示。

实验平台使用VTM11.0，QP={22，27，32，37，42}。

模型大小比较

首先比较网络大小的影响，使用RA配置，从表5和表6可得，大模型的gain增加了0.5%但是解码复杂度增加了40%

不同配置比较

表7和表8比较了不同配置下的效果，

LDB配置

一个有趣的现象，该工具在LDB配置下也会有增益，如表9，在LDB配置下两个参考帧都来自前面，而BDOF在LDB配置下效果不好。

该工具在VTM上相比于BDOF的效果如表10，BD-Rate增益2.2%以上。

感兴趣的请关注微信公众号Video Coding

VCIP2021:基于神经网络的双向预测blending过程相关推荐

基于神经网络的溶解度预测和回归分析
人工智能是一个主题,尝试使用神经网络作为模型建立化合物物理性质的预测模型.机器学习库是由Google开发和使用的TensorFlow.Keras是一个使TensorFlow的神经网络功能更易于使用的软 ...
【负荷预测】基于神经网络的负荷预测和价格预测（Matlab代码实现）
目录 1 概述 2 基于神经网络的负荷预测(Matlab实现) 2.1 代码 2.2 结果 2.3 回归树模型的进一步改进 3 基于神经网络的价格预测(Matlab代码实现) 4 阅读全文(Ma ...
基于神经网络的房价预测,python数据分析房价预测
Python 与深度学习有哪些与建筑设计相接轨的可能性关注这个问题快一周了,到目前来说还是没发现什么太大的惊喜.我感觉建筑设计界还是要学习一个,不要看到深度学习很火,就弄个大新闻,把这玩意往建筑设计 ...
作为神经网络的输入_MATLAB实战|基于神经网络河南省降水量预测
1 BP神经网络结构神经网络旨在通过模仿动物的神经系统利用神经元作为连接结点的新型智能算法,神经网络本身包含三层结构,输入层,隐含层,输出层,每一层都有自己的特殊功能,输入层进行因子的输入与处理.由 ...
RDKit | 基于神经网络的溶解度预测和回归分析
人工智能是一个主题,尝试使用神经网络作为模型建立化合物物理性质的预测模型.机器学习库是由Google开发和使用的TensorFlow.Keras是一个使TensorFlow的神经网络功能更易于使用的软 ...
【负荷预测、电价预测】基于神经网络的负荷预测和价格预测（Matlab代码实现）
顶会论文：基于神经网络StarNet的行人轨迹交互预测算法
1.背景民以食为天,如何提升超大规模配送网络的整体配送效率,改善数亿消费者在"吃"方面的体验,是一项极具挑战的技术难题.面向未来,美团正在积极研发无人配送机器人,建立无人配送开放 ...
基于神经网络的房屋价格预测
本课题的主要任务就是通过神经网络对房屋的价格进行预测,这里,我们采用的数据是奥克兰其中一个郊区的房屋价格的数据.在MATLAB中,使用load函数,将数据进行导入,可以看到房屋价格数据如图2.1所示. ...
4 月 24 日开播！基于神经网络建模的信息传播预测
信息传播在我们的日常生活中无处不在,例如谣言的扩散.产品的推广以及新思想和新技术的普及等等,其建模和预测已经在多个重要领域内得到了广泛的研究.近年来,很多研究者利用以循环神经网络为主的深度学习模型对信 ...

VCIP2021:基于神经网络的双向预测blending过程

VCIP2021:基于神经网络的双向预测blending过程相关推荐

最新文章

热门文章