rkmedia 调试笔记

rkmedia 框架

RKMedia提供了一种媒体处理方案，可支持应用软件快速开发。RKMedia在各模块基础API上做进一步封装，简化了应用开发难度。该平台支持以下功能：VI(输入视频捕获)、VENC(H.265/H.264/JPEG/MJPEG 编码)、VDEC(H.265/H.264/JPEG、MJPEG 解码)、VO(视频输出显示)、RGA视频处理（包括旋转、缩放、裁剪）AI(音频采集）、AO（音频输出）、AENC（音频编码）、ADEC（音频解码）、MD（移动侦测）、OD（遮挡侦测）。

框架源码：external/rkmedia/src

例程：external/rkmedia/examples

SDK中的参考文档：

external/rkmedia/doc

docs/RV1126_RV1109/Multimedia/Rockchip_Developer_Guide_Linux_RKMedia_CN.pdf

docs/RV1126_RV1109/Multimedia/Rockchip_Instructions_Linux_Rkmedia_CN.pdf

rkmedia 总体框架图如下：

rkmedia 编译配置

可参考如下配置在buildroot中对rkmedia的编译进行配置：

BR2_PACKAGE_RKMEDIA=y
BR2_PACKAGE_RKMEDIA_MPP=y
BR2_PACKAGE_RKMEDIA_MPP_ENCODER_OSD=y
BR2_PACKAGE_RKMEDIA_FFMPEG=y
BR2_PACKAGE_RKMEDIA_ALSA_PLAYBACK=y
BR2_PACKAGE_RKMEDIA_ALSA_CAPTURE=y
BR2_PACKAGE_RKMEDIA_V4L2_CAPTURE=y
BR2_PACKAGE_RKMEDIA_RKRGA=y
BR2_PACKAGE_DRM_DISPLAY_OUTPUT=y
BR2_PACKAGE_RKMEDIA_MOVE_DETECTION=y
BR2_PACKAGE_RKMEDIA_OCCLUSION_DETECTION=y
BR2_PACKAGE_RKMEDIA_ANR=y
BR2_PACKAGE_RKMEDIA_AEC=y
BR2_PACKAGE_RKMEDIA_EXAMPLES=yBR2_PACKAGE_CAMERA_ENGINE_RKAIQ=y
BR2_PACKAGE_CAMERA_ENGINE_RKAIQ_IQFILE="os04a10_CMK-OT1607-FV1_M12-40IRC-4MP-F16.xml"BR2_PACKAGE_FFMPEG=y
BR2_PACKAGE_FFMPEG_ENCODERS="aac adpcm_g726 pcm_alaw pcm_mulaw"
BR2_PACKAGE_FFMPEG_DECODERS="aac adpcm_g726 pcm_alaw pcm_mulaw"
BR2_PACKAGE_FFMPEG_MUXERS=""
BR2_PACKAGE_FFMPEG_DEMUXERS=""
BR2_PACKAGE_FFMPEG_PARSERS="aac"
BR2_PACKAGE_FFMPEG_BSFS=""
BR2_PACKAGE_FFMPEG_PROTOCOLS=""
BR2_PACKAGE_FFMPEG_FILTERS=""
# BR2_PACKAGE_FFMPEG_INDEVS is not set
# BR2_PACKAGE_FFMPEG_OUTDEVS is not set
# BR2_PACKAGE_ALSA_LIB_ALOAD is not set
# BR2_PACKAGE_ALSA_LIB_SEQ is not set
# BR2_PACKAGE_ALSA_LIB_ALISP is not set
# BR2_PACKAGE_ALSA_LIB_OLD_SYMBOLS is not set
BR2_PACKAGE_LIBV4L=y

示例程序

rkmedia 的 API 使用比较容易理解，可以参考 rkmedia examples （rv1126_rv1109_sdk/external/rkmedia/examples）中的代码来实现自己的音视频编解码程序。

例如以下的几个程序：

音频编解码、AEC/ANR 算法：rkmedia_audio_test.c

视频预览：rkmedia_vi_vo_test.c

JPEG 编码：rkmedia_venc_jpeg_test.c

H264 编码：rkmedia_vi_venc_test.c

H265 编码：rkmedia_venc_avbr_test.c

另外可以参考以下源码，它演示了如何在 rkmedia 目录之外，配置和编译自己编写的使用 rkmedia 接口的程序：

https://gitee.com/wu_yumin/demo_h264_rkmedia

几点总结

rkmedia 程序运行的条件

sensor 非 HDR 模式：确保 ispserver 已经启动

通常情况要先启动 ispserver，如果没有启动，可以使用以下命令：
```
ispserver -no-sync-db &
```
同时要确保没有其他进程占用摄像头。
sensor 为 HDR模式：需要使用 aiq 选项指定 iqfiles 目录

如下命令：
```
rkmedia_venc_jpeg_test --aiq /oem/etc/iqfiles
```
使用 --aiq 选项时则不能使用 ispserver，两者存在冲突。

aiq 选项完成一些初始化步骤，可以参考代码中 RKAIQ 这个宏：

#ifdef RKAIQrk_aiq_working_mode_t hdr_mode = RK_AIQ_WORKING_MODE_NORMAL;RK_BOOL fec_enable = RK_FALSE;int fps = 30;char *iq_file_dir = NULL;if ((argc > 1) && !strcmp(argv[1], "-h")) {printf("\n\n/Usage:./%s [--aiq iq_file_dir]\n", argv[0]);printf("\t --aiq iq_file_dir : init isp\n");return -1;}if (argc == 3) {if (strcmp(argv[1], "--aiq") == 0) {iq_file_dir = argv[2];}}SAMPLE_COMM_ISP_Init(hdr_mode, fec_enable, iq_file_dir);SAMPLE_COMM_ISP_Run();SAMPLE_COMM_ISP_SetFrameRate(fps);
#else(void)argc;(void)argv;
#endif

使能 DRM 驱动

这是一个非常容易忽略的点。rkmedia 会通过 DRM 去申请 buffer，若没有使能 DRM，则视频流创建失败。

之前开发一款IPCamera产品，由于是无屏的设备，所以在设备树中把 display_subsystem 节点禁用了，结果查了将近一周的时间才查出原因在这里。
```
&display_subsystem {status = "okay";
};
```

启动视频流

创建完各个 Channel 之后，视频流通道实际处于休眠状态。在调用 RK_MPI_SYS_Bind 将输入和输出 bind 起来之后，才将视频流启动。对于只有VI，而没有 VENC 等后端模块的使用场景，不能使用 RK_MPI_SYS_Bind ，而是使用 RK_MPI_VI_StartStream。

RK_MPI_SYS_Bind

/*** @pstSrcChn: 源通道指针* @pstDestChn: 目的通道指针*/
RK_S32 RK_MPI_SYS_Bind(const MPP_CHN_S *pstSrcChn,const MPP_CHN_S *pstDestChn);

RK_MPI_VI_StartStream

/*** @ViPipe: VI 管道号* @ViChn: VI 通道号*/
RK_S32 RK_MPI_VI_StartStream(VI_PIPE ViPipe, VI_CHN ViChn);

获取视频流

获取视频流有两个接口：RK_MPI_SYS_RegisterOutCb 和 RK_MPI_SYS_GetMediaBuffer

RK_MPI_SYS_RegisterOutCb
```
/*** @pstChn: 指定通道指针* @cb: 数据输出回调函数*/
RK_S32 RK_MPI_SYS_RegisterOutCb(const MPP_CHN_S *pstChn, OutCbFunc cb);
```
注册输出回调函数，当对应的 MPP_CHN_S 有输出时，回调函数函数被调用。

注意：不能在回调函数中处理耗时操作，否则对应通道数据流将被阻塞。

RK_MPI_SYS_GetMediaBuffer

/*** @enModID: 模块号* @s32ChnID: 通道号* @s32MilliSec: 阻塞等待时间*/
MEDIA_BUFFER RK_MPI_SYS_GetMediaBuffer(MOD_ID_E enModID, RK_S32 s32ChnID, RK_S32 s32MilliSec);

主动获得 MediaBuffer，一般在一个线程中被循环调用。