low latency playback、deep buffer playback、compressed offload playback的区别

https://blog.csdn.net/u010164190/article/details/82426249

2018年09月05日 16:34:01 慢慢的燃烧阅读数 1119更多

个人分类： Android Audio学习Android 多媒体

原址

1，音频播放

Android系统audio框架中主要有三种播放模式：low latency playback、deep buffer playback和compressed offload playback。

a)low latency playback:用于按键音、游戏背景音等对时延要求高的声音输出。音频文件是在AP侧解码成PCM数据，然后再经由Audio DSP送给codec芯片播放出来。

b)deep buffer playback:用于音乐等对时延要求不高的声音输出。音频文件是在AP侧解码成PCM数据，如果有音效的话会再对PCM数据处理（android audio framework中有effect音效模块，支持的音效有均衡器、低音增强、环绕声等），然后再经由Audio DSP送给codec芯片播放出来。

c)compressed offload playback:用于音乐等声音输出，但是音频解码部分的工作是在Audio DSP中完成，AP侧只负责把音频码流送到Audo DSP中，送出去后AP侧会进行休眠，Audo DSP中会分配一块较大的buffer去处理此数据，在Audo DSP中进行解码、音效的处理等工作，在Audo DSP解码器处理完数据之前，它会唤醒AP侧去送下一包数据。用这种模式播放音频能有效的降低功耗，是最为推荐的播放音乐的模式。但是在目前的主流的音乐播放APP中用的基本上都是deep buffer的播放模式，比如QQ音乐、网易云音乐和酷狗音乐等。看来系统平台厂商和APP厂商的做法是有差异的。至于哪些格式的音乐用这种模式播放，这需要在audioPolicy中去控制，我做的平台上是MP3(*.mp3)和AAC(*.m4a)用offload模式播放，因为这两种格式最主流。

综上low latency 模式和deep buffer模式都是在AP侧解码完后送PCM数据给Audio DSP，故音频数据流向类似，我将放在一起讲，而compressed offload模式是码流送给Audio DSP解码。播放系统音和游戏音用low latency 模式，播放音乐用deep buffer或者compressed offload模式，播放录音用deep buffer模式。接下来我们看看low latency /deep buffer和compressed offload两种模式下的音频数据流向。在音频播放时音频数据只经过AP和audio DSP。

1）low latency / deep buffer模式下的音频数据流向

从上图看出，音频文件先在AP上软解码得到PCM后经过AudioTrack/audioFlinger中的Mixer thread(有可能要做音效后处理)/audio HAL/tinyALSA后送给kernel，然后用IPC将PCM送给Audio DSP经重采样混音等后播放出来。由于在AP上已做解码和音效后处理，Audio DSP上就不需要做了。

2）compressed offload模式下的音频数据流向

从上图看出，音频码流经过AP上的AudioTrack/audioFlinger中的Offload thread(不需要做音效后处理)/audio HAL/tinyALSA后送给kernel，然后用IPC将码流送给Audio DSP经解码、后处理、重采样、混音等后播放出来。

2，音频录制

很多人喜欢把参加的重要会议或者演讲的音频录下来，以便重复听或者他用。下图就是录音时音频数据的流向。同音频播放一样，录音时音频数据也是只经过AP和audio DSP。

从上图看出，codec芯片采集到的PCM数据送给Audio DSP经重采样、前处理后送给AP的kernel，再经由tinyALSA/audio HAL /audioFlinger中的Record thread/audioRecord等后做软编码得到录音码流文件并保持起来。

3，语音通信

语音通信就是打电话啦。它同音频播放或者录制不一样，它是双向的，分上行（uplink,把采集到的语音发送给对方）和下行(downlink，把收到的语音播放出来)，而音频播放或者录制是单向的。它音频数据流向也跟音频播放或者录制不一样，只经过audio DSP和CP，下图就是打电话时音频数据的流向。

从上图看出，在上行方向上codec芯片采集到的PCM数据送给Audio DSP经重采样、前处理(AEC/ANS/AGC等)、编码后得到码流，并将码流送给CP，CP处理后经过空口(air interface)送给对方。在下行方向上先从空口收对方送过来的语音数据，并做网络侧处理(jitter buffer等)，然后送给Audio DSP，Audio DSP收到后做解码、后处理(ANS/AGC等)、重采样等，再把PCM数据经DMA/I2S送给codec芯片播放出来。

low latency playback、deep buffer playback、compressed offload playback的区别学习学习相关推荐

low latency playback、deep buffer playback、compressed offload playback的区别
1,音频播放 Android系统audio框架中主要有三种播放模式:low latency playback.deep buffer playback和compressed offload playb ...
Sparrow - Distributed, Low Latency Scheduling
http://www.cs.berkeley.edu/~matei/papers/2013/sosp_sparrow.pdf http://www.eecs.berkeley.edu/~keo/tal ...
Low Latency HLS的实现优化
HTTP Live Streaming(HLS)是Apple公司主导提出并实现的基于HTTP的自适应码率流媒体通信协议(RFC8216). 说实在的,作为监控领域的玩家,我一直很抗拒Apple HLS ...
LMAX Disruptor – High Performance, Low Latency and Simple Too 转载
原文地址:http://www.symphonious.net/2011/07/11/lmax-disruptor-high-performance-low-latency-and-simple-to ...
Android8.1 audio之compressed offload流程(四十一)
简介: CSDN博客专家,专注Android/Linux系统,分享多mic语音方案.音视频.编解码等技术,与大家一起成长! 优质专栏:Audio工程师进阶系列[原创干货持续更新中--]
什么是计算机系统延迟,什么是低延迟(Low Latency)？
低延迟是指计算机系统或通信网络中的较短时间延迟.它通常用于指网络数据包通过网络连接从发送计算机到接收计算机的往返所需的时间.在其他情况下,它可能指的是数据在计算机随机存取存储器(RAM)中被导入和传出 ...
2021 sigcomm L2D2: low latency distributed downlink for LEO satellites阅读报告
这个应该主要是微软在部署地站的时候遭遇了成本-时延问题,现有的地站无法支持快速的观测信息的下载,但扩大地站的规模,不仅是布站硬件成本高,且许可证的成本也高,可扩展性太差.所以希望使用分布式的商业地站解 ...
Sigcomm2017 re-architecting datacenter networks and stacks for low latency and high performance 论文笔记
文章目录基本方案提出 incast问题的解决接收端驱动的Pacing机制总结这是Sigcomm2017年有关于接收端驱动的文章,使用一种名为NDP的机制重新架构数据中心网络和栈,以实现低延迟和 ...
How to achieve low latency with the 10Gbps Ethernet
https://blog.cloudflare.com/how-to-achieve-low-latency/

low latency playback、deep buffer playback、compressed offload playback的区别学习学习

low latency playback、deep buffer playback、compressed offload playback的区别

low latency playback、deep buffer playback、compressed offload playback的区别学习学习相关推荐

最新文章

热门文章

low latency playback、deep buffer playback、compressed offload playback的区别 学习学习

low latency playback、deep buffer playback、compressed offload playback的区别

low latency playback、deep buffer playback、compressed offload playback的区别 学习学习相关推荐

最新文章

热门文章

low latency playback、deep buffer playback、compressed offload playback的区别学习学习

low latency playback、deep buffer playback、compressed offload playback的区别学习学习相关推荐