MediaCodec视频解码流程详解及参考demo
一、MediaCodec简介
MediaCodec是Android自带的底层多媒体支持架构的一部分(通常与 MediaExtractor,MediaSync,MediaMuxer,MediaCrypto,MediaDrm,Image,Surface 和 AudioTrack 一起使用)。可以用来访问底层媒体编解码器,即编码器/解码器的组件。
使用MediaCodec编解码即我们常说的硬编解码,它的优势是使用底层硬件编解码,效率比软编解码FFmpeg要高出不少。但劣势是由于硬编解码依赖于手机厂商的硬件设计,导致不同机型的效果可能千差万别,不好管控和统一。
因此在实际开发中,使用软编解码或硬编解码还是要看具体的实际场景。
二、MediaCodec生命周期
MediaCodec 有三种状态,分别是执行(Executing)、停止(Stopped)和释放(Released),其中执行和停止分别有三个子状态,执行的三个字状态分别是 Flushed、Running 和 Stream-of-Stream,停止的三个子状态分别是 Uninitialized、Configured 和 Error,MediaCodec 生命周期示意图如下:
同步模式下:
异步模式下:
当创建了 MediaCodec 之后,是处于未初始化的 Uninitialized
状态,调用 configure 方法之后就处于 Configured
状态,调用了 start 方法之后,就处于 Executing
状态。
在 Executing
状态下开始处理数据,它又有三个子状态,分别是:Flushed、Running
和End of Stream
。当一调用 start 方法之后,就进入了 Flushed 状态,从输入缓冲区队列中取出一个缓冲区就进入了 Running 状态,当入队的缓冲区带有 EOS 标志时, 就会切换到 End of Stream 状态, MediaCodec 不再接受入队的缓冲区,但是仍然会对已入队的且没有进行编解码操作的缓冲区进行操作、输出,直到输出的缓冲区带有 EOS 标志,表示编解码操作完成了。
在 Executing 状态下可以调用 flush 方法,使 MediaCodec 切换到 Flushed 状态。
在 Executing 状态下可以调用 stop 方法,使 MediaCodec 切换到 Uninitialized 状态,然后再次调用 configure 方法进入 Configured 状态。另外,当调用 reset 方法也会进入到 Uninitialized 状态。
当不再需要 MediaCodec 时,调用 release 方法将它释放掉,进入 Released 状态。
当 MediaCodec 工作发生异常时,会进入到 Error 状态,此时还是可以通过 reset 方法恢复过来,进入 Uninitialized 状态。
三、MediaCodec解码流程
下面将讲解使用mediacodec对mp4的视频文件进行解码的API使用流程。本文主要是采用同步的解码方式。
解码流程工作模型:
1、创建mediacodec并初始化
可通过createDecoderByType来创建mediacodec:
mediaCodec = MediaCodec.createDecoderByType("video/avc");
上面表示创建了一个解码器,并指定了解码类型为avc的视频解码器。
初始化主要是为了给这个解码器设置一些格式,配置等,如下完整的创建和初始代码:
private void initMediaCodecSys() {try {//创建mediaCodec = MediaCodec.createDecoderByType("video/avc");//格式mediaFormat = MediaFormat.createVideoFormat("video/avc", 1280, 720);mediaExtractor = new MediaExtractor();//MP4 文件存放位置mediaExtractor.setDataSource(MainActivity.MP4_PLAY_PATH);Log.d(TAG, "getTrackCount: " + mediaExtractor.getTrackCount());for (int i = 0; i < mediaExtractor.getTrackCount(); i++) {MediaFormat format = mediaExtractor.getTrackFormat(i);String mime = format.getString(MediaFormat.KEY_MIME);Log.d(TAG, "mime: " + mime);if (mime.startsWith("video")) {mediaFormat = format;mediaExtractor.selectTrack(i);}}} catch (IOException e) {e.printStackTrace();}Surface surface = MainActivity.getSurface();//配置mediaCodec.configure(mediaFormat, surface, null, 0);mediaCodec.start();}
2、视频解码线程
视频解码线程主要内容就是进行解码的流程控制。这个阶段的相应API有如下:
// 获取可用的输入缓冲区的索引public int dequeueInputBuffer (long timeoutUs)// 获取输入缓冲区public ByteBuffer getInputBuffer(int index)// 将填满数据的inputBuffer提交到编码队列public final void queueInputBuffer(int index,int offset, int size, long presentationTimeUs, int flags)// 获取已成功编解码的输出缓冲区的索引public final int dequeueOutputBuffer(BufferInfo info, long timeoutUs)// 获取输出缓冲区public ByteBuffer getOutputBuffer(int index)// 释放输出缓冲区public final void releaseOutputBuffer(int index, boolean render)
获取可用的输入缓冲区的索引:
int inputIndex = mediaCodec.dequeueInputBuffer(-1);
获取输入缓冲区:
ByteBuffer byteBuffer = mediaCodec.getInputBuffer(inputIndex);
读取相关数据:
//读取一片或者一帧数据
int sampSize = mediaExtractor.readSampleData(byteBuffer, 0);
//读取时间戳
long time = mediaExtractor.getSampleTime();
将填满数据的inputBuffer提交到编码队列:
if (sampSize > 0 && time > 0) {mediaCodec.queueInputBuffer(inputIndex, 0, sampSize, time, 0);//读取一帧后必须调用,提取下一帧//控制帧率在30帧左右mSpeedController.preRender(time);mediaExtractor.advance();
}
获取已成功编解码的输出缓冲区的索引:
BufferInfo bufferInfo = new BufferInfo();
int outIndex = mediaCodec.dequeueOutputBuffer(bufferInfo, 0);
输出缓冲区:
if (outIndex >= 0) {mediaCodec.releaseOutputBuffer(outIndex, true);
}
完整的视频解码线程代码如下:
/*** Play the MP4 file Thread* 解码主流程*/
private class DecoderMP4Thread extends Thread {long pts = 0;@Overridepublic void run() {super.run();while (!isDecodeFinish) {int inputIndex = mediaCodec.dequeueInputBuffer(-1);Log.d(TAG, "inputIndex: " + inputIndex);if (inputIndex >= 0) {ByteBuffer byteBuffer = mediaCodec.getInputBuffer(inputIndex);//读取一片或者一帧数据int sampSize = mediaExtractor.readSampleData(byteBuffer, 0);//读取时间戳long time = mediaExtractor.getSampleTime();if (sampSize > 0 && time > 0) {mediaCodec.queueInputBuffer(inputIndex, 0, sampSize, time, 0);//读取一帧后必须调用,提取下一帧//控制帧率在30帧左右mSpeedController.preRender(time);mediaExtractor.advance();}}BufferInfo bufferInfo = new BufferInfo();int outIndex = mediaCodec.dequeueOutputBuffer(bufferInfo, 0);if (outIndex >= 0) {mediaCodec.releaseOutputBuffer(outIndex, true);}}}
}
3、解码结束关闭回收
完成解码播放后,对相关内存回收和关闭处理:
public void close() {try {Log.d(TAG, "close start");if (mediaCodec != null) {isDecodeFinish = true;try {if (mDecodeMp4Thread != null) {mDecodeMp4Thread.join(2000);}} catch (InterruptedException e) {Log.e(TAG, "InterruptedException " + e);}boolean isAlive = mDecodeMp4Thread.isAlive();Log.d(TAG, "close end isAlive :" + isAlive);mediaCodec.stop();mediaCodec.release();mediaCodec = null;mSpeedController.reset();}} catch (IllegalStateException e) {e.printStackTrace();}instance = null;
}
至此,整个视频解码流程就讲解完毕。
四、demo运行
本人写了一个最简单的demo,使用mediacodec对mp4文件进行纯视频的解码播放,采用同步方式。
该demo的解码对象mp4文件是内置在了raw/video.mp4,如果需要替换视频文件,可以替换这里:
demo运行效果如下:
点击START进行播放:
播放过程中点击STOP可以停止播放。
完整例子已经放到github上,如下:
https://github.com/weekend-y/mediacodec_demo/tree/master/MediaCodec_DecodeMP4
MediaCodec视频解码流程详解及参考demo相关推荐
- FFmpeg视频解码流程详解及demo
本文主要讲解FFmpeg的视频解码具体流程,API使用,以及相关结构体介绍.最后再以一个非常简单的demo演示将一个mp4格式的视频文件解码为原始数据yuv文件. FFmpeg解码流程有2套API接口 ...
- FFmpeg音频解码流程详解及简单demo参考
本文主要讲解FFmpeg的音频解码具体流程,API使用.最后再以一个非常简单的demo演示将一个mp3格式的音频文件解码为原始数据pcm文件. 本文主要基于FFmpeg音频解码新接口. 一.FFmpe ...
- MySQL系列---架构与SQL执行流程详解
文章目录 1. 背景 2. 架构体系 2.1 架构图 2.2 模块详解 2.3 架构分层 3. 查询SQL语句执行流程 3.1 连接 3.1.1 MySQL支持的通信协议 3.1.2 通信方式 3.2 ...
- Android事件流程详解
Android事件流程详解 网络上有不少博客讲述了android的事件分发机制和处理流程机制,但是看过千遍,总还是觉得有些迷迷糊糊,因此特地抽出一天事件来亲测下,向像我一样的广大入门程序员详细讲述an ...
- View的绘制-draw流程详解
目录 作用 根据 measure 测量出的宽高,layout 布局的位置,渲染整个 View 树,将界面呈现出来. 具体分析 以下源码基于版本27 DecorView 的draw 流程 在<Vi ...
- 杂志订阅管理系统c++_电池管理系统BMS功能安全开发流程详解
点击上面 "电动知家"可以订阅哦! BMS功能安全开发流程详解 BMS和ISO26262 - BMS & ISO26262简介 BMS即Battery Management ...
- U-Boot启动流程详解
参考:U-Boot顶层目录链接脚本文件(u-boot.lds)介绍 作者:一只青木呀 发布时间: 2020-10-23 13:52:23 网址:https://blog.csdn.net/weixin ...
- java isight zmf_isight集成catia和abaqus,nastran流程详解
isight集成catia和abaqus,nastran流程详解 CAD软件中参数化建模,导入有限元软件中计算各个工况,isight根据计算结果调整模型参数,反复迭代计算的过程是尺寸优化的典型问题~ ...
- 域名注册、域名实名认证、域名解析流程详解
1.域名注册流程详解 首先登陆阿里云网站 www.aliyun.com 点击产品,选择域名注册(左下角蓝色字体) 然后来到此页面 在输入框中填入你想要注册的域名产看是否已经被注册 如:shiyansh ...
最新文章
- 从定制软件到通用软件的转变
- linux 下mongo 基础配置
- js的comet各个浏览器封装lib
- java转换成c_如何将java转化为c语言
- 如何在bootstap中修改checkbox的样式
- 年仅53岁,因连续工作、过度劳累,这位抗疫幕后的科研专家去世
- setuptools安装_在Ubuntu 18.04系统上安装ERPNext ERP
- java图片框架_Java图片处理开源框架
- 年终将至,手把手教你做一份亮眼的年终总结报告
- sqldf包的使用使用-R
- SQL服务器名称的更改
- NOI2004 郁闷的出纳员 splay
- C语言银行排队系统仿真
- OpenGL VBO, PBO与FBO
- word swag Android,Word Swag
- Android 消息机制(Handler运行机制)
- HTML5常用标签【知识点整理】
- 某博数据挖掘:使用Scrapy构建自定义数据采集提取洞察信息
- Java图形化界面---
- D. Tournament Countdown
热门文章
- OSChina 周六乱弹 ——胸会压到键盘
- 微信的用户已退出是什么意思_乐此不疲的微信运动点赞是什么意思?网友:原来是这样...
- 这个很NB,html在线编辑器
- 学位与学历的联系与区别
- 简述构造函数、拷贝构造函数、深拷贝浅拷贝、析构函数
- WAV 文件双声道转单声道的实现
- 视频号和公众号相互绑定?——限制多多!
- python Turtle Graphics海龟绘图工具
- Springboot毕设项目健康饮食搭配系统9m0ay(java+VUE+Mybatis+Maven+Mysql)
- ffmpeg 编解码 码率设置问题 CBR 、VBR