VulKan视频编解码: NVIDIA

2024-05-11 03:38:07

VulKan视频编解码

1.NVIDIA视频编解码单元

首先需要对英伟达GPU架构做基本了解，同时对选择的GPU编码性能做一定评估。无论通过那种API接口，最终都是调用nvidia编解码硬件协处理器实现。可参考nvidia官网对编解码器协处理器进行初步了解解：https://developer.nvidia.com/nvidia-video-codec-sdk。网站中提供的图片可以了解到NVDEC,NVENC,CUDA，CPU之间的关系：可以通过Buffer交互数据，NVDEC与NVENC是基于硬件的，完全加速视频编码解码单元，并且独立于图形性能（如渲染等）。

下图分别展示了在采用Latency-sensitive模式下（低延时），视频源为4:2:0格式，1080P30 NVIDIA datacenter A10, Tesla T4 and Tesla P4 GPUs编码能力，与x264,x265比较下的码率。用户需根据需求选择的NVIDIA产品型号参考评估编码能力：https://developer.nvidia.com/video-encode-and-decode-gpu-support-matrix-new。实际应用还是以测试结果为主。

2.NVIDIA视频编解码API

NVIDIA视频编解码API可以参考相关文档
https://gitlab.com/nvidia/video/video-codec-sdk
https://docs.nvidia.com/video-technologies/videocodec-sdk/index.html
https://docs.nvidia.com/video-technologies/video-codec-sdk/nvenc-video-encoder-api-prog-guide/index.html

3.Vulkan关于视频编解码

Vulkan 是新一代图形和计算 API，能够跨平台高效访问 GPU。Vulkan 作为业内一款开放标准式现代 GPU API，在帮助开发者编写可移植到多个不同平台的应用程序方面，具有独特作用.
vulkanSDK:
https://vulkan.lunarg.com/sdk/home
nvidia 关于vulkan的支持:
https://developer.nvidia.cn/zh-cn/vulkan
Vulkanroadmap: https://www.khronos.org/news/press/vulkan-reduces-fragmentation-and-provides-roadmap-visibility-for-developers
Vulkan video博客：
https://www.khronos.org/blog/an-introduction-to-vulkan-video
Vulkan视频编解码demo:
https://github.com/nvpro-samples/vk_video_samples
Vulkan视频编解码demo:
https://www.khronos.org/registry/vulkan/specs/1.2-extensions/html/vkspec.html#video-encode-operations

目前vulkan 对视频编解码部分的demo只做了I帧实例，还未做常用的P帧部分，如下图vulkan demo:

感觉VulKan在视频编解码这块还不太成熟，坑太多资料太少不敢动
如果有同样在研究Vulkan视频编解码的朋友能一起交流

VulKan视频编解码: NVIDIA相关推荐

linux视音频解码教程,音视频编解码：NVIDIA Jetson Linux Multimedia API（总结）
音视频编解码:NVIDIA Jetson Linux Multimedia API(总结) 2020年12月02日 | 萬仟网IT编程 | 我要评论一.官网链接官网链接:https://docs.n ...
AV1：为互联网提供开放、免费的视频编解码工具
从学术研究到进入工业界,Zoe Liu一直在算法和音视频领域,目前在谷歌编解码团队为编解码器AV1做开发支持.Zoe畅谈了评定编解码器的标准,以及AV1的最新进度.本文是『下一代编码器』系列采访之一, ...
各种音视频编解码标准
编解码学习笔记(一):基本概念媒体业务是网络的主要业务之间.尤其移动互联网业务的兴起,在运营商和应用开发商中,媒体业务份量极重,其中媒体的编解码服务涉及需求分析.应用开发.释放license收费等等 ...
深入浅出理解视频编解码技术
导读:随着移动互联网技术的蓬勃发展,视频已无处不在.视频直播.视频点播.短视频.视频聊天,已经完全融入了每个人的生活.Cisco 发布的最新报告中写道,到 2022 年,在移动互联网流量中,视频数据占 ...
各种音视频编解码学习详解 h264 ，mpeg4 ，aac 等所有音视频格式
编解码学习笔记(一):基本概念媒体业务是网络的主要业务之间.尤其移动互联网业务的兴起,在运营商和应用开发商中,媒体业务份量极重,其中媒体的编解码服务涉及需求分析.应用开发.释放license收费等等 ...
视频编解码——视频编解码器工作原理
目录视频编码器基础认知什么是视频编解码器为什么需要视屏编解码器视频编码器与数字视频容器视频编码标准的历史通用编解码器 1.图片分区查看分区 2.预测 3.转换使用全部像素形成每个系数 ...
各种音视频编解码学习详解 h264 ，mpeg4 ，aac 等所有音视频格式详解
http://blog.csdn.net/wishfly/article/details/50187417 编解码学习笔记(一):基本概念媒体业务是网络的主要业务之间.尤其移动互联网业务的兴起,在运 ...
【FFMPEG】各种音视频编解码学习详解 h264 ，mpeg4 ，aac 等所有音视频格式
目录(?)[-] 编解码学习笔记二codec类型编解码学习笔记三Mpeg系列Mpeg 1和Mpeg 2 编解码学习笔记四Mpeg系列Mpeg 4 编解码学习笔记五Mpeg系列AAC音频编解码学习笔 ...
基于FFmpeg 实现RTSP, 音视频编解码，视频流添加文字，音视频合成MP4
前言: 最近闲这没事,整理了一下之前开发过的音视频编解码库,主要基于ffmpeg,实现音视频的编解码.视频流添加文字,音视频同步到MP4等功能.有需要的小伙伴可以参考参考,如果写的有什么不对的地方,欢 ...

最新文章

热门文章