图片渲染延迟_深度算法优化 金山云低延迟直播码率再节省12%~17%
今年以来,疫情让互动课堂、线上会议、连麦等实时互动的场景迅速升温,数千万、数亿人的同时在线本来对网络就是一场巨大的考验,低延迟直播更对算力和网络提出前所未有的挑战。
作为在视频云领域一流的技术服务提供商,金山云不断在低延迟算法上进行探索优化,让码率带宽更加节省。
低延迟深度算法优化 带宽压缩12%~17%
众所周知,低延迟直播需要具备较为苛刻的限制条件:1.带宽受限且面临弱网压力;2.对延迟的要求高;3.视频画面中变化并不丰富。用户对于编码、分发、渲染的延迟和画质损失的感知越低体验越好,就需要结合着三个客观条件进行针对性的优化。本文主要围绕第三点来讲述金山云低延迟直播的视频编码引擎算法优化。
人眼具有视觉掩蔽效应,对于不同平坦度、纹理、运动速度的画面内容,人眼敏感度不同。在损失相同的信息量的条件下,相对平坦或者静止区域的信息损失往往更容易被人眼察觉,而相对的纹理复杂或者更动态区域的画质损失则更易被人忽视。这成为金山云低延迟直播编码器优化的理论依据,有基于此,金山云从编码器上对算法进行了深度的优化。
在码率控制层面,很多编码器都会在量化阶段根据图像的复杂度来进行块级别QP(Quant Param,量化参数)值的调整,与它们不同的是,金山云则进一步在像素级进行QP的优化。简单地讲,在变换编码阶段之前根据人眼主观在各像素的最大损失容忍度模型,调整像素残差以减小图像频谱中的高频分量值。优势在于能够精细地保留像素级细节,同时所生成的特征图较为直观且具备可解释性,有利于后续调参,也使得其在编码器层面变得可控。
![](/assets/blank.gif)
在GOP(Group of Pictures,图片组)层面,由于在同一个GOP序列内的不同帧画面具备不同的level(层级),level较高的帧会被其它level较低的帧所频繁参考,这就意味着一旦高level的帧画质产生损失,就会造成涟漪效应,使得参考帧产生不同程度的画质损失(如图2所示),但却不会影响其码率。
![](/assets/blank.gif)
基于此,金山云将一个GOP内的所有帧的画质损失表示成率失真优化问题,以帧间依赖关系作为中间变量,将帧间依赖系数转化为失真系数,在一定的参数空间内寻找最合理的量化参数,从而保证在一定的码率约束条件下得到最优的编码参数以获得更好的画质。
经过在码率控制和GOP层面一系列的编码算法优化后,金山云低延迟视频编码引擎在获得相同主观画质感受的前提下,能够将带宽压缩12%~17%。
下一代编解码+集智高清加速低延迟直播体验升级
不仅如此,在编解码方面,金山云是业内为数不多的覆盖从编码、转码到解码全链路支持x265的服务厂商。经过五年时间打磨,金山云KSC265产品除了支持手机移动端、PC全机型,还独家支持Web端播放。在码率控制、码率分配、自适应量化上,KSC265可实现30%-50%带宽成本节省。今年4月份,金山云正式上线的直播AI集智高清产品,在同等画质下压缩率最高可达50.65%。
此外,金山云投入大量的人力、物力,不断地进行着基于AV1标准的下一代编码器--KAV1的研发。相较于KSC265的基线水平,KAV1能够继续增加10%以上的压缩率,并将于近期发布可商用版本。
目前,金山云拥有两个大型转码中心,支持10万路直播转码并发及百万级点播转码并发,可随时开启KSC265和集智高清服务,以完善的转码基础架构和高效率的转码技术,为客户业务提供保障。
当然,对于带宽受限、弱网等环境,金山云也提供QUIC、CMAF等技术支撑。金山云拥有遍布全球多个国家的CDN分布节点,是业内较早在CDN节点实现RTMP、 HTTP+FLV、 HLS支持H.265的云服务企业,并全面实现over QUIC推流和拉流的CDN厂商。同时,金山云CDN还支持直播多流择优方案,提供稳定的性能、透明的数据服务体制。
未来,随着在低延迟直播编解码技术上的不断提升优化,金山云将致力于为用户打造高品质的直播互动体验,并和业界同仁一起推动视频产业的快速发展。
图片渲染延迟_深度算法优化 金山云低延迟直播码率再节省12%~17%相关推荐
- 腾讯云低延时直播系统架构设计与弱网优化实践
"直播带货"可能是2020年最具代表性的词汇之一,那么传统电商该如何融合直播系统,直播过程如何保障用户的最佳观看体验?本文由腾讯云资深架构师何书照在LiveVideoStack线上 ...
- Android 蓝牙手柄 延迟,安卓免设置,0.15s低延迟,飞智银狐蓝牙耳机体验
原标题:安卓免设置,0.15s低延迟,飞智银狐蓝牙耳机体验 提起蓝牙耳机,很多手游玩家都会嗤之以鼻,究其原因,耳机延迟是造成负面感受最多的槽点.延迟既声画不同步,问题与蓝牙音频编码在音频打包压缩过程中 ...
- adam算法效果差原因_深度学习优化器-Adam两宗罪
在上篇文章中,我们用一个框架来回顾了主流的深度学习优化算法.可以看到,一代又一代的研究者们为了我们能炼(xun)好(hao)金(mo)丹(xing)可谓是煞费苦心.从理论上看,一代更比一代完善,Ada ...
- 非深度网络 Non-deep Network:低延迟平行网络 ParNet,仅 12 层媲美 ResNet
Non-deep Network Ankit Goyal1,2 Alexey Bochkovskiy2 Jia Deng1 Vladlen Koltun2 1Princeton Unive ...
- 高tps、低延迟_如何在不到1ms的延迟内完成100K TPS
高tps.低延迟 马丁·汤普森(Martin Thompson)和迈克尔·巴克(Michael Barker)讨论了如何通过采用一种新的基础架构和软件方法来构建一种以不到1ms的延迟处理100K TP ...
- java检测ping延迟_批量ping IP并检测IP延迟率和丢包率脚本
脚本文件如下: #!/bin/bash #Author:Mr.Ding #Created Time:2018-08-26 07:23:44 #Name:ping.sh #Description: sh ...
- 金山云股权曝光:小米持股12.3% 寻求在香港双重上市
雷递网 雷建平 5月14日报道 金山云日前向美国SEC递交20-F文件,文件显示,截至2022年3月31日,金山软件持股为39%,小米持股为12.3%,First Trust Portfolios L ...
- 图像分类算法_图像分类算法优化技巧:Bag of Tricks for Image Classification
关注微信公众号:人工智能前沿讲习,重磅干货,第一时间送达 论文复现对很多人而言难度都比较大,因为常常涉及很多细节,部分细节对于模型效果影响很大,但是却很少有文章介绍这些细节,前段时间正好看到这篇文章, ...
- dataguard如何实现切换_深度干货 | 如何借助云原生搞定Oracle备份快速恢复?
简介:DBS Oracle备份产品是阿里云自研的,结合阿里集团之前多年Oracle数据库的生产使用经验打造的云备份产品.它不仅提供了传统备份所提供的Oracle备份能力外,还实现了无入侵流式备份能力, ...
最新文章
- 【Android 应用开发】 Ubuntu 安装 Android Studio (旧版本|仅作参考)
- USB自定义HID设备实现-STM32
- 如何建立好的索引.--针对Distinct
- vs2010 设计视图中控件无法加载,提示未将对象设置到对象的实例。
- python之父的名字-Python 常见双下划线关键字的用法
- 完美二叉树, 完全二叉树和完满二叉树
- 为AspxGridView绑定嵌套数据
- archlinux安装mysql_在Arch Linux中安装MySQL
- 如何用Java写QQ机器人 v2.0
- GEOTRANS 3.7 用户使用手册 之 坐标参考框架
- H5禁止苹果手机页面缩放
- 服务器安全-避免被攻击者查到服务器源 IP与对攻击者ID信息收集
- 人脸识别访客系统解决方案
- html5画直线箭头,HTML5 canvas画带箭头的虚线
- 普中tft彩屏驱动程序下载_tft彩屏驱动程序
- pip安装命令大全(持续更新)
- 浪迹天涯,总在落叶的季节里
- 【12月英语——快乐中学习】
- 思科AP修改AP位置描述通过WLC命令方式
- html的评论功能,我的评论功能开发(含评论删除功能)