端到端图像编码和VVC的结合

本文来自JVET-AA0063的提案《A hybrid codec using E2E image coding combined with VVC video coding》

简介

提案提出了一种混合编码方法，对视频I帧使用端到端的图像编码器编码，P和B帧使用VVC编码，如Fig.1，其中P和B帧内的intra块还是使用VVC编码。基于神经网络的端到端图像编码器的效率已经超越传统的图像编码器，例如JPEG-AI的编码效率比VVC编码I帧高20-30%，但是视频比图像更复杂因此该提案只对I帧使用神经网络处理，P和B帧还是使用VVC。在VTM14.0上，RA配置下该方法在Y分量上的BD-Rate达到4.1%。

混合框架实现

该框架基于VTM14.0实现，VTM代码基本保持不变，对于I帧其对应的non-VCLU写入码流的方式不变，I帧对应的VCLU写入码流的方式如下：

通过python脚本调用端到端图像编码器。
图像编码器对I帧编码，并将重建图像写入临时yuv文件。
VVC编码器从日志文件收集图像编码器的bit cost信息。
VVC编码器读临时yuv文件并写入dpb。
通过步骤3、4，VVC能计算图像编码器生成图像的psnr和bit cost。

端到端图像编码器

这个E2E图像编码器是JPEG AI的变种，训练时损失函数使用MSE。模型输入针对420格式，而不是RGB444。模型结构如Fig.2，Y和UV独立编码，仅在处理流程的某些部分Y会作为UV的辅助信息（蓝色箭头）。绿色框内是熵编码网络。

实验结果

VTM14 RA配置的结果如表1，其中QP={32，37，42，47}，选择这些QP是为了使VVC的I帧码率和JPEG AI对齐。可以看见，对class A1、A2和B增益很大，因为图像编码器训练集都是高分辨率图像所以在高分辨率序列上表现更好，这也解释了class C和D增益为什么小。由于训练集不包含屏幕序列，所以class F损失较大。

表1的结果是所有I帧都使用E2E AI编码（无条件，不需要mulit-pass），也可以根据内容自适应决定是否对I帧使用AI编码，不过这需要mulit-pass，结果如表2。

主观对比

Fig4和Fig5是序列CatRobot使用QP 42编码的POC为31的帧，可以提案的方法右下角的兔子主观质量更好，而且POC31远离第一个I帧这也说明I帧质量的提升可以传导到后面的帧。

感兴趣的请关注微信公众号Video Coding

端到端图像编码和VVC的结合相关推荐

端到端神经视频编码=A Better Trade-off ？
归根结底,每一种视频压缩方法都要权衡利弊(trade-off):如果允许更大的文件大小,就可以拥有更好的图像质量:但如果想让文件非常小,那就必须要容忍错误出现的概率.但现在(以及不久的将来),人们希望 ...
大数据端到端_端到端数据分析性能
大数据端到端 I came across an article from NVIDIA talking about their TPCx-BB benchmark results on A100. ...
端到端的图像压缩----《Variational Image Compression With A Scale Hyperprior》论文笔记
Variational Image Compression With A Scale Hyperprior 一简介二内容 2.2 数据流程 2.3 变分自编码器 2.4 思路介绍三核心代码 ...
CVPR2022 MulT: 端到端的多任务学习transformer
An End-to-End Multitask Learning Transformer 论文:https://arxiv.org/pdf/2205.08303.pdf code:https://gi ...
ICASSP2021：端到端的图像编码方法
本文来自ICASSP2021论文<Image Coding For Machines: An End-to-end Learned Approach> 基于深度学习的计算机视觉在图像领域应 ...
用TVM在硬件平台上部署深度学习工作负载的端到端 IR 堆栈
用TVM在硬件平台上部署深度学习工作负载的端到端 IR 堆栈深度学习已变得无处不在,不可或缺.这场革命的一部分是由可扩展的深度学习系统推动的,如滕索弗洛.MXNet.咖啡和皮托奇.大多数现有系统针对 ...
端到端TVM编译器（下）
端到端TVM编译器(下) 4.3 Tensorization DL工作负载具有很高的运算强度,通常可以分解为张量运算符,如矩阵乘法或一维卷积.这些自然分解导致了最近的添加张量计算原语.这些新的原语带来 ...
端到端TVM编译器（上）
端到端TVM编译器(上) 摘要将机器学习引入到各种各样的硬件设备中.AI框架依赖于特定于供应商的算子库,针对窄范围的服务器级gpu进行优化.将工作负载部署到新平台,例如手机.嵌入式设备和加速器(例如 ...
从PyTorch到ONNX的端到端AlexNet
从PyTorch到ONNX的端到端AlexNet 这是一个简单的脚本,可将Torchvision中定义的经过预训练的AlexNet导出到ONNX中.运行一轮推理Inference,然后将生成的跟踪模型 ...

端到端图像编码和VVC的结合

端到端图像编码和VVC的结合相关推荐

最新文章

热门文章