FFmpeg - Android 视频播放器

本文的内容是基于《FFmpeg - 打造一款万能的音乐播放器》来实现的，源码的地址在我个人的 github 上。我打算再新建一个 VideoPlayer 项目用来实现视频播放，因此本文的流程大致如下：整合音乐播放器项目，对项目架构进行调整，视频解码播放，音视频同步，陆续完善封装 SDK 。

1. 整合音乐播放器项目

为了方便大家学习，我们先保留音乐播放器项目，然后把音乐播放器的代码复制过来，在这基础上再建一个新的项目 VideoPlayer。在实际开发的过程中可以不用新建两个项目，根据具体的业务逻辑来取舍就好。不过还是想提醒一下大家，如果项目中只有音频相关的业务逻辑，最好去裁剪一下 so 库。我们也可以把解码器做成动态加载，当然这属于优化的内容了，后面我们也会讲讲关于 so 动态加载与动态修复相关的内容。关于音频播放器未实现的功能，我们统一到后面再一起来完善，大家可以先把最终效果代码拿去，自己先研究研究。

2. 对项目架构进行调整

我们现在想加上视频的功能，那么对于视频和音频解码的部分，就会有很多冗余的代码，我们势必需要进行抽离复用。因此我们打算新建一个 DZMedia.cpp 抽象类，把原来音频解码的线程提取到 DZFFmpeg.cpp 中来。之前所学的设计模式，也要开始用上来了。

/*** 基类，公共内容*/
class DZMedia {
public:/*** 当前流的角标（音频/视频/字幕）*/int streamIndex;/*** 解码器上下文*/AVCodecContext *pCodecContext = NULL;/*** 回调 Java 层的 Call*/JNIPlayerCall *pPlayerCall = NULL;/*** 播放状态*/DZPlayStatus *pPlayStatus = NULL;/*** AVPacket 队列*/AVPacketQueue *pPacketQueue = NULL;/*** 整个视频的时长*/int duration = 0;/*** 当前播放的时长*/double currentTime = 0;
public:DZMedia(int streamIndex, DZPlayStatus *pPlayStatus, JNIPlayerCall *pPlayerCall);~DZMedia();public:/*** 播放方法，纯虚函数*/virtual void play() = 0;/*** 解析公共的解码器上下文*/virtual void analysisStream(ThreadType threadType, AVFormatContext *pFormatContext);/*** 准备解析数据过程中出错的回调* @param threadType 线程类型* @param errorCode 错误码* @param errorMsg 错误信息*/void callPlayerJniError(ThreadType threadType, int errorCode, const char *errorMsg);/*** 释放资源*/void release();
};DZMedia::DZMedia(int streamIndex, DZPlayStatus *pPlayStatus, JNIPlayerCall *pPlayerCall) {this->streamIndex = streamIndex;this->pPlayStatus = pPlayStatus;this->pPlayerCall = pPlayerCall;pPacketQueue = new AVPacketQueue(pPlayStatus);
}DZMedia::~DZMedia() {release();
}void DZMedia::analysisStream(ThreadType threadType, AVFormatContext *pFormatContext) {AVCodecParameters *pCodecParameters = pFormatContext->streams[streamIndex]->codecpar;AVCodec *pCodec = avcodec_find_decoder(pCodecParameters->codec_id);if (!pCodec) {LOGE("Can't find audio decoder");callPlayerJniError(threadType, FIND_AUDIO_DECODER_ERROR_CODE,"Can't find audio decoder.");return;}pCodecContext = avcodec_alloc_context3(pCodec);int codecContextParametersRes = avcodec_parameters_to_context(pCodecContext, pCodecParameters);if (codecContextParametersRes < 0) {LOGE("codec parameters to_context error :%s", av_err2str(codecContextParametersRes));callPlayerJniError(threadType, codecContextParametersRes,av_err2str(codecContextParametersRes));return;}int codecOpenRes = avcodec_open2(pCodecContext, pCodec, NULL);if (codecOpenRes < 0) {LOGE("codec open error : %s", av_err2str(codecOpenRes));callPlayerJniError(threadType, codecOpenRes, av_err2str(codecOpenRes));return;}duration = pFormatContext->duration / AV_TIME_BASE;
}void DZMedia::callPlayerJniError(ThreadType threadType, int errorCode, const char *errorMsg) {release();if (pPlayerCall != NULL) {pPlayerCall->onCallError(threadType, errorCode, errorMsg);}
}void DZMedia::release() {if (pCodecContext != NULL) {avcodec_close(pCodecContext);avcodec_free_context(&pCodecContext);pCodecContext = NULL;}if (pPacketQueue != NULL) {delete (pPacketQueue);pPacketQueue = NULL;}
}

3. 视频解码播放

视频的解码与音频的解码流程大致一致，但需要考虑能否硬解码，关键就是用什么方式渲染的问题了。目前有两种比较主流的方式，一种就是用纯原声 SurfaceView ，一种是用 GLSurfaceView 渲染。如果用 GLSurfaceView 去渲染，我们势必需要了解学习 OpenGLES ，这需要一定的学习成本。我们先绕过去直接采用 SurfaceView 来绘制。对 OpenGL 感兴趣的同学可以先看下 google 官方的例子 gles3jni ，后面我也会分享关于 OpenGL 的一些知识，大家不妨先去了解几个问题：

OpenGL 是什么？
OpenGL 可以用来干什么？
OpenGL 与 OpenGLES 有什么关系？
为什么要用 OpenGL 有哪些好处？
应该如何学 OpenGL 有哪些难处？

  //--------------- 硬解码相关 start ---------------private static final Map<String, String> mCodecMap = new HashMap<>(2);static {/**"video/x-vnd.on2.vp8" - VP8 video (i.e. video in .webm)"video/x-vnd.on2.vp9" - VP9 video (i.e. video in .webm)"video/avc" - H.264/AVC video"video/hevc" - H.265/HEVC video"video/mp4v-es" - MPEG4 video"video/3gpp" - H.263 video"audio/3gpp" - AMR narrowband audio"audio/amr-wb" - AMR wideband audio"audio/mpeg" - MPEG1/2 audio layer III"audio/mp4a-latm" - AAC audio (note, this is raw AAC packets, not packaged in LATM!)"audio/vorbis" - vorbis audio"audio/g711-alaw" - G.711 alaw audio"audio/g711-mlaw" - G.711 ulaw audio*/mCodecMap.put("h264", "video/avc");mCodecMap.put("h265", "video/hevc");}private static final String findMediaCodecName(String codeName) {if (mCodecMap.containsKey(codeName)) {return mCodecMap.get(codeName);}return "";}/*** 是否支持硬解码，Call from jni** @param codeName ffmpeg 的解码器名字* @return 是否支持硬解码*/private final boolean isSupportStiffCodec(String codeName) {int codecCount = MediaCodecList.getCodecCount();for (int i = 0; i < codecCount; i++) {String[] supportedTypes = MediaCodecList.getCodecInfoAt(i).getSupportedTypes();for (String type : supportedTypes) {if (type.equals(findMediaCodecName(codeName))) {return true;}}}return false;}//--------------- 硬解码相关  end  ---------------//获取 nativeWindow 窗体ANativeWindow *nativeWindow = ANativeWindow_fromSurface(env, surface);//设置缓冲区的属性（宽、高、像素格式）ANativeWindow_setBuffersGeometry(nativeWindow, pCodecContext->width, pCodecContext->height, WINDOW_FORMAT_RGBA_8888);//绘制时的缓冲区ANativeWindow_Buffer window_buffer;// lockANativeWindow_lock(nativeWindow, &window_buffer, NULL);// 转换成 rgbasws_scale(pSwsContext, pFrame->data, pFrame->linesize, 0, pFrame->height, rgbaFrame->data, rgbaFrame->linesize);// 把数据拷贝到 window_buffer 中memcpy(window_buffer.bits, buffer, pCodecContext->width * pCodecContext->height * 4);//unlockANativeWindow_unlockAndPost(nativeWindow);

4. 音视频的同步

关于音视频的同步问题，我在网上查了一些资料，实现方案需要大量的变量和复杂的逻辑，个人推荐大家去看下 ffmpeg 的源码，看看官方是怎么做音视频同步的。这里我给出一套个人的解决方案，获取音视频的 pts 差值，根据差值来设置视频的睡眠时间，如果视频快了就休眠久点，视频慢了就休眠短点，达到视频和音频的相对同步。这里有两个概念：
pts：显示时间戳，用来告诉播放器该在什么时候显示这一帧数据。
time_base：时间度量单位（时间基）。

/*** 获取当前视频帧应该休眠的时间* @param pFrame 当前视频帧* @return 睡眠时间*/
double DZVideo::getFrameSleepTime(AVFrame *pFrame) {// 如果 < 0 那么还是用之前的时间double times = pFrame->pts * av_q2d(timeBase);if (times > currentTime) {currentTime = times;}// 音频和视频之间的差值double diffTime = pAudio->currentTime - currentTime;// 第一次控制，0.016s ～ -0.016sif (diffTime > 0.016 || diffTime < -0.016) {if (diffTime > 0.016) {delayTime = delayTime * 2 / 3;} else if (diffTime < -0.016) {delayTime = delayTime * 3 / 2;}// 第二次控制，defaultDelayTime * 2 / 3 ～ defaultDelayTime * 3 / 2if (delayTime < defaultDelayTime / 2) {delayTime = defaultDelayTime * 2 / 3;} else if (delayTime > defaultDelayTime * 2) {delayTime = defaultDelayTime * 3 / 2;}}// 第三次控制，0～defaultDelayTime * 2if (diffTime >= 0.25) {delayTime = 0;} else if (diffTime <= -0.25) {delayTime = defaultDelayTime * 2;}// 假设1秒钟25帧，不出意外情况，delayTime 是 0.02 , 0.04 , 0.06return delayTime;
}

这种同步的方式虽说是简单了点，但我测试过很多视频都是没有问题的，大家也可以多测试一下，反正同步的思想都差不多，参数我们可以具体调整。

视频地址：https://pan.baidu.com/s/1-RccXB0JHX4gui4TAGHcLA
视频密码：9wp2