视频编解码基础--01
转自 https://blog.csdn.net/lipengshiwo/article/details/52528913
第1章介绍
1. 为什么要进行视频压缩?
- 未经压缩的数字视频的数据量巨大
- 存储困难
- 一张DVD只能存储几秒钟的未压缩数字视频。
- 传输困难
- 1兆的带宽传输一秒的数字电视视频需要大约4分钟。
2. 为什么可以压缩
- 去除冗余信息
- 空间冗余:图像相邻像素之间有较强的相关性
- 时间冗余:视频序列的相邻图像之间内容相似
- 编码冗余:不同像素值出现的概率不同
- 视觉冗余:人的视觉系统对某些细节不敏感
- 知识冗余:规律性的结构可由先验知识和背景知识得到
3. 数据压缩分类
- 无损压缩(Lossless)
- 压缩前解压缩后图像完全一致X=X'
- 压缩比低(2:1~3:1)
- 例如:Winzip,JPEG-LS
- 有损压缩(Lossy)
- 压缩前解压缩后图像不一致X≠X'
- 压缩比高(10:1~20:1)
- 利用人的视觉系统的特性
- 例如:MPEG-2,H.264/AVC,AVS
4. 编解码器
- 编码器(Encoder)
- 压缩信号的设备或程序
- 解码器(Decoder)
- 解压缩信号的设备或程序
- 编解码器(Codec)
- 编解码器对
5. 压缩系统的组成
(1) 编码器中的关键技术
(2) 编解码中的关键技术
6. 编解码器实现
- 编解码器的实现平台:
- 超大规模集成电路VLSI
- ASIC, FPGA
- 数字信号处理器DSP
- 软件
- 编解码器产品:
- 机顶盒
- 数字电视
- 摄像机
- 监控器
7. 视频编码标准
编码标准作用:
- 兼容:
- 不同厂家生产的编码器压缩的码流能够被不同厂家的解码器解码
- 高效:
- 标准编解码器可以进行批量生产,节约成本。
主流的视频编码标准:
- MPEG-2
- MPEG-4 Simple Profile
- H.264/AVC
- AVS
- VC-1
标准化组织:
- ITU:International Telecommunications Union
- VECG:Video Coding Experts Group
- ISO:International Standards Organization
- MPEG:Motion Picture Experts Group
8. 视频传输
- 视频传输:通过传输系统将压缩的视频码流从编码端传输到解码端
- 传输系统:互联网,地面无线广播,卫星
9. 视频传输面临的问题
- 传输系统不可靠
- 带宽限制
- 信号衰减
- 噪声干扰
- 传输延迟
- 视频传输出现的问题
- 不能解码出正确的视频
- 视频播放延迟
10. 视频传输差错控制
- 差错控制(Error Control)解决视频传输过程中由于数据丢失或延迟导致的问题
- 差错控制技术:
- 信道编码差错控制技术
- 编码器差错恢复
- 解码器差错隐藏
11. 视频传输的QoS参数
- 数据包的端到端的延迟
- 带宽:比特/秒
- 数据包的流失率
- 数据包的延迟时间的波动
第2章 数字视频
1.图像与视频
- 图像:是人对视觉感知的物质再现。
- 三维自然场景的对象包括:深度,纹理和亮度信息
- 二维图像:纹理和亮度信息
- 视频:连续的图像。
- 视频由多幅图像构成,包含对象的运动信息,又称为运动图像。
2. 数字视频
- 数字视频:自然场景空间和时间的数字采样表示。
- 空间采样
- 解析度(Resolution)
- 时间采样
- 帧率:帧/秒
3. 空间采样
- 二维数字视频图像空间采样
4. 数字视频系统
- 采集
- 照相机,摄像机
- 处理
- 编解码器,传输设备
- 显示
- 显示器
5. 人类视觉系统HVS
- HVS
- 眼睛
- 神经
- 大脑
- HVS特点:
- 对高频信息不敏感
- 对高对比度更敏感
- 对亮度信息比色度信息更敏感
- 对运动的信息更敏感
6. 数字视频系统的设计应该考虑HVS的特点:
- 丢弃高频信息,只编码低频信息
- 提高边缘信息的主观质量
- 降低色度的解析度
- 对感兴趣区域(Region of Interesting,ROI)进行特殊处理
7. RGB色彩空间
- 三原色:红(R),绿(G),蓝(B)。
- 任何颜色都可以通过按一定比例混合三原色产生。
- RGB色度空间
- 由RGB三原色组成
- 广泛用于BMP,TIFF,PPM等
- 每个色度成分通常用8bit表示[0,255]
8. YUV色彩空间
- YUV色彩空间:
- Y:亮度分量
- UV:两个色度分量
- YUV更好的反映HVS特点
9. RGB转化到YUV空间
亮度分量Y与三原色有如下关系:
经过大量实验后ITU-R给出了, ,
,
主流的编解码标准的压缩对象都是YUV图像
10. YUV图像分量采样
- YUV图像可以根据HVS的特点,对色度分量下采样,可以降低视频数据量。
- 根据亮度和色度分量的采样比率,YUV图像通常有以下几种格式:
11. 通用 的YUV图像格式
- 根据YUV图像的亮度分辨率定义图像格式
12. 帧和场图像
- 一帧图像包括两场——顶场,底场
13. 逐行与隔行图像
- 逐行图像:一帧图像的两场在同一时间得到,ttop=tbot。
- 隔行图像:一帧图像的两场在不同时间得到, ttop≠tbot。
14. 视频质量评价
- 有损视频压缩使编解码图像不同,需要一种手段来评价解码图像的质量。
- 质量评价:
- 客观质量评价
- 主观质量评价
- 基于视觉的视频质量客观评价
- 客观质量评价:通过数学方法测量图像质量评价的方式。
- 优点:
- 可量化
- 测量结果可重复
- 测量简单
- 缺点:
- 不完全符合人的主观感知
15. 客观评价的方法
常用的客观评价方法:
16. 主观评价方法
- 主观质量评价:用人的主观感知直接测量的方式。
- 优点:
- 符合人的主观感知
- 缺点:
- 不容易量化
- 受不确定因素影响,测量结果一般不可重复
- 测量代价高
常用主观评价方法
17. 基于视觉的视频质量客观评价方法
- 基于视觉的视频质量客观评价:将人的视觉特性用数学方法描述并用于视频质量评价的方式。
- 结合了主观质量评价和客观质量评价两方面优点。
- 常用方法:结构相似度(Structural SIMilarity,SSIM)方法。
- 将HVS的特征用数学模型表达出来。
- 未来重要的研究方向
第3章 信息论基础
1. 通信系统的组成
- 信源:产生消息
- 信道:传输消息
- 信宿:接收消息
2. 基本概念
- 通信中对信息的表达分为三个层次:信号,消息,信息。
- 信号:是信息的物理层表达,可测量,可描述,可显示。如电信号,光信号。
- 消息:是信息的载体,以文字,语言,图像等人类可以认知的形式表示。
- 信息:不确定的内容。
3. 信息熵
信息的特点
信息的测量
自信息量
条件信息量
4. 信息熵
5. 条件熵和联合熵
6. 熵的性质
- 非负性:信源熵是非负值,即 H(X) >=0;
- 扩展性:信源熵X有M个符号,如果其中一个符号出现的概率趋于零,信源熵就等于剩余M-1个符号的信源熵;
- 极值性(最大信息熵):对于具有M个符号的信源,只有在所有符号等概率出现的情况下,信源熵达到最大值,即
- 可加性:
- 熵不增:条件熵不大于信息熵 H(X|Y) <= H(X);
- 联合熵不大于各信息熵的和,即H(XY) <= H(X) + H(Y)。
7. 互信息量
8. 互信息
- 物理意义:H(X)是X所含的信息,H(X|Y)是已知Y的条件下X还能带来的信息量。那么两者之差就是由于知道Y使得X减少的信息量,也即由Y可以得到的关于X的信息量。
9. 各种熵的关系
11. 信源编码
- 信源编码:将消息符号转变成信道可传输的信息。
- 两个基本问题:
- 用尽可能少的信道传输符号来传递信源消息,提高传输效率;
- 减少由于信道传输符号的减少导致的失真。
12. 离散信源统计特性
13. 离散信源类型:简单无记忆信源和马尔可夫信源
14. 编码分类
- 等长码:在一组码字集合C中的所有码字cm (m = 1,2, …,M),其码长都相同,则称这组码C为等长码。
- 变长码:若码字集合C中的所有码字cm (m = 1,2, …,M),其码长不都相同,称码C为变长码。
15. 平均码长
16. 等长码与变长码比较
- 等长编码将信源输出符号序列的任意一种取值(概率可能不同)都编码成相同长度的输出码字,没有利用信源的统计特性;
- 变长编码可以根据信源输出符号序列各种取值的概率大小不同,将他们编码成不同长度的输出码字,利用了信源的统计特性。因此又称其为熵编码。
17. Huffman编码
- Huffman编码:典型的变长编码。
- 步骤:
- 将信源符号按概率从大到小的顺序排列,假定p(x1)≥ p(x2)… ≥ p(xn)
- 给两个概率最小的信源符号p(xn-1), p(xn)各分配一个码位"0"和"1",将这两个信源符号合并成一个新符号,并用这两个最小的概率之和作为新符号的概率,结果得到一个只包含(n-1)个信源符号的新信源。称为信源的第一次缩减信源,用S1表表示。
- 将缩减信源S1的符号仍按概率从大到小的顺序排列,重复步骤2,得到只含(n-2)个符号的缩减信源S2。
- 重复上述步骤,直至缩减信源只剩下两个符号为止,此时所剩两个符号的概率之和必为1。然后从最后一级缩减信源开始,依编码路径向前返回,就得到各信源符号所对应的码字。
18. 信道编码
- 信道编码主要考虑如何增加信号的抗干扰能力,提高传输的可靠性,并且提高传输效率。
- 一般是采用冗余编码法,赋予信码自身一定的纠错和检错能力,使信道传输的差错概率降到允许的范围之内。
19. 信道类型
- 根据信道连续与否分类
- 离散信道
- 连续信道
- 半连续信道
- 根据信道是否有干扰分类
- 无干扰信道
- 有干扰信道
- 根据信道的统计特性分类
- 无记忆信道
- 有记忆信道
- 恒参信道
- 变参信道
- 对称信道
- 非对称信道
20. 信道容量
- 在信息论中,称信道无差错传输的最大信息速率为信道容量。
- 香农信道容量公式:
- 假设连续信道的加性高斯白噪声功率为N,信道带宽为B,信号功率为S,则该信道的容量为
- 由于噪声功率N与信道带宽B有关,则噪声功率N=n0B 。因此,香农公式还可以表示为
- 假设连续信道的加性高斯白噪声功率为N,信道带宽为B,信号功率为S,则该信道的容量为
21. 香农信道容量公式的意义
- 在给定B和S/N的情况下,信道的极限传输能力为C,而且此时能够做到无差错传输。如果信道的实际传输速率大于C 值,则无差错传输在理论上就已不可能。因此,实际传输速率一般不能大于信道容量C ,除非允许存在一定的差错率。
- 提高信噪比S/N(通过减小n0或增大S),可提高信道容量C。特别是,若n0->0,则C->∞ ,这意味着无干扰信道容量为无穷大;
- 增加信道带宽B,也可增加信道容量C,但做不到无限制地增加。这是因为,如果 S、n0一定,有
- 维持同样大小的信道容量,可以通过调整信道的B及S/N来达到,即信道容量可以通过系统带宽与信噪比的互换而保持不变。
22. 失真
- 失真:信源的消息经过编解码后不能完全复原
- 在实际的信源和信道编码中,消息的传输并不总是无失真的。
- 由于存储和传输资源的限制
- 噪声等因素的干扰
23. 率失真理论
- 香农定义了信息率失真函数R(D)
- D是消息失真
- R是码率
- 率失真定理:在允许一定失真度D的情况下,信源输出的信息率可压缩到R(D)。
24. 失真函数
- 失真函数:信源符号X={x1, x2, …..xn},经信道传输接收端符号Y={y1, y2….yn},对于每一对(xi, yj)指定一个非负函数 d(xi, yj),称d(xi, yj)为单个符号的失真度或失真函数。对于连续信源连续信道的情况,常用d(x, y)表示。
- 常用失真函数:
- 平均失真度:
视频编解码基础--01相关推荐
- 音视频编解码基础知识(1)- 音视频编解码过程
在学习音视频编解码知识时,首先要对整个过程有一个直观的认识,对一些知识点也要有明确的认识. 知识点: 1. YUV/RGB/RAW,这是三种视频采集的数据格式 2. 视频编码格式:H.264(在MPE ...
- 王学岗视频编码————视频编解码基础与MediaCodec编解码(对应1234节)
为什么要学习音视频 核心竞争力,高端人才相当缺乏,技术迭代慢, 为什么音视频学不好 资料比较少,音视频最难的地方在于编码,没有形成完整的体系 关于音视频编码 上 1,视频文件:MP4,RMVB, AV ...
- 视频编解码基础--H264编码
(1)图像GOP: GOP:GOP group of pictures,指的就是两个I帧之间的间隔,在这两个I帧之间可以存在多个P帧和B帧,一般在IPC中,主要是I帧和P帧,B帧一般不使用(B帧同时依 ...
- 音视频编解码基础知识笔记
欢迎关注勤于奋.每天12点准时更新国外LEAD相关技术 我的理解,音视频是一种视频的播放格式,但是这种格式已经通过压缩,封装,最后给我们的就是市面上能够播放的格式,这样如果自己写播放器,就需要去解封装 ...
- Android视频编解码之MediaCodec简单入门
本篇只是简单入门,后面会继续写文章详细讲解: 由于MediaCodec涉及内容众多,原本想一篇文章把所有内容概括,但是后来发现不太可能,限于自己能力,想要考虑全面太难,我也是刚开始学习需要借助网上的代 ...
- 音视频开发入门(3):视频编解码之编码基础
前言 即时通讯应用中的实时音视频技术,几乎是IM开发中的最后一道高墙.原因在于:实时音视频技术 = 音视频处理技术 + 网络传输技术 的横向技术应用集合体,而公共互联网不是为了实时通信设计的.有关实时 ...
- 视频编解码的理论和实践1:基础知识介绍
近几年,视频编解码技术在理论及应用方面都取得了重大的进展,越来越多的人想要了解编解码技术.因此,网易云信研发工程师为大家进行了归纳梳理,从理论及实践两个方面简单介绍视频编解码技术. 相关阅读推荐 &l ...
- 即时通讯音视频开发(三):视频编解码之编码基础
前言 即时通讯应用中的实时音视频技术,几乎是IM开发中的最后一道高墙.原因在于:实时音视频技术 = 音视频处理技术 + 网络传输技术 的横向技术应用集合体,而公共互联网不是为了实时通信设计的. 系列文 ...
- 【H.264/AVC视频编解码技术详解】七、 熵编码算法(1):基础知识
<H.264/AVC视频编解码技术详解>视频教程已经在"CSDN学院"上线,视频中详述了H.264的背景.标准协议和实现,并通过一个实战工程的形式对H.264的标准进行 ...
- 视频编码零基础入门(1):视频编解码之理论概述
1.前言 即时通讯应用中的实时音视频技术,几乎是IM开发中的最后一道高墙.原因在于:实时音视频技术 = 音视频处理技术 + 网络传输技术 的横向技术应用集合体,而公共互联网不是为了实时通信设计的.有关 ...
最新文章
- 项目文件中的已知 NuGet 属性(使用这些属性,创建 NuGet 包就可以不需要 nuspec 文件啦)...
- python包含某个数字_python编程练习---有序数组中,快速查找是否包含指定数字,并返回其下标...
- 第一个Spark程序
- 荐书 | 攻克世纪难题,拒绝领取菲尔兹奖的孤独数学天才的一生
- 内存spd规范_C语言内存泄露很严重,如何应对?
- [Day14]Eclipse高级、类与接口作为参数返回值
- mysql官网下载下来的免安装版怎么配置_Windows下的免安装版MySQL配置
- vb与数据库(二)之迟到的学生信息管理系统总结
- mfc搜索新建access字段_vs2010MFC中使用ODBC链接ACCESS数据库,怎样编写查找功能?...
- BZOJ 1066 蜥蜴 最大流
- windows内核开发笔记九:内核开发分页内存与非分页内存
- justauth对接facebook、linkedin、twitter登陆
- 哪些好的绘图软件和绘图工具?
- 普渡大学计算机科学本科,美国普渡大学计算机科学CS本科申请条件及案例
- LINUX系统开机后出现assuming drive cache:write through* 无法开机
- php查询后台地址,dedecms 织梦后台查找方法【整理】
- 【区块链】Web3.0黑话合集:区块链/Token等专业术语
- CDA数据分析师认证证书含金量不断提高,成数据分析入门新刚需!
- soul从入门到进阶04——压测soul网关
- Linux安装aapt问题之libstdc++-4.4.7-16.el6.i686 != libstdc++-4.4.7-11.el6.x86_64
热门文章
- python刷网易云_如何用Python爬取网易云歌曲?秘诀在这~
- codebook 背景减除
- WIN10 LTSC 转 WIN10 专业版(纯净)
- 小学思维导图免费模板合集!家长必收藏
- 智慧路灯杆系统解决方案
- 【线性代数】矩阵分解(Matrix Factorization)笔记:非负矩阵分解(实践)
- 淘宝/天猫优惠券获取API 接口
- 一打卡作弊软件CEO被判5年6个月,网友:这也太...
- win10java编辑器_5个最好的Windows 10的字幕编辑软件
- 短视频源码下载、vue+html+elementui短视频播放实现,web、pc静态页短视频、手机网页版短视频