NVIDIA Jetson平台上TensorRT加速YOLOV3,V4及V5系列参考例程分享

2024-05-16 12:21:38

我的Jetson

*Jenson Nano: Jetpack4.4 CUDA10.2 cuDNN8.0 OpenCV4.1 TensorRT7.1
*Jenson Xavier NX:Jetpack4.4 CUDA10.2 cuDNN8.0 OpenCV4.1 TensorRT7.1

以下例程是对TensorRT加速YOLO的引擎文件生成及简单验证检测的实现。

1.YOLO-TensorRT

具体见：
enazoe-CSDN
enazoe-github
介绍：
直接用TensorRT C++ API实现对YOLO的TensorRT加速运行。

支持：

yolov5s , yolov5m , yolov5l , yolov5x
yolov4 , yolov4-tiny
yolov3 , yolov3-tiny

我的说明：
1.在Jenson Nano上进行FP32的引擎文件生成会失败，因为在转换过程中会造成memory资源紧张，进程被killed，可改为FP16。
2.在samples / sample_detector.cpp中进行更改FP32,FP16,INT8需要的精度

config_vx.inference_precison=FP16

3.仅在进行INT8精度转换时会提示找不到某某某图片，我的解决办法是自己制作数据集，只需要几十张图片，并更改configs/ calibration_images.txt中的图片位置。
4.在samples / sample_detector.cpp中 init()更改需要转换的YOLO版本。

std::unique_ptr<Detector> detector(new Detector());
detector->init(config_v4);

我的测试：

博主QQ交流群：1151955802，在此非常感谢博主enazoe在群里的帮助让我得以成功运行改代码仓库。

2.YOLO-ONNX-TensorRT

具体见：
hlld26-CSDN
hlld-github
介绍：
将darknet的YOLO模型进行转换，接着导出到onnx格式，最后经过TensorRT加速后运行

支持：

yolov4
, yolov3,yolov3-tniy,yolov3-tniy-prn

我的说明：
1.在Jenson Nano上进行FP32的引擎文件生成会失败，因为在转换过程中会造成memory资源紧张，进程被killed，可改为FP16。
2.在命令行中进行更改FP32,FP16,INT8需要的精度。-m 0代表FP32,-m 1代表FP16，-m 2代表INT8。

NVIDIA Jetson平台上TensorRT加速YOLOV3,V4及V5系列参考例程分享相关推荐

NVIDIA教你用TensorRT加速深度学习推理计算 | 量子位线下沙龙笔记
主讲人:Ken(何琨)| NVIDIA开发者社区经理张康屈鑫编辑整理量子位出品 | 公众号 QbitAI 12月22日,量子位联合NVIDIA英伟达举行了线下交流会,跟现场近百位开发者同学共 ...
NVIDIA vulkan driver的安装和Jetson平台上vulkan sdk的制作
vulkan是类似opengl这样的封装层,或者叫中间层,用于屏蔽不同类型GPU的差异,向上层应用程序提供统一的接口,用过Java SDK或者其他中间件做过开发的很好理解这个概念,所以vulkan也有 ...
yolov3在Linux主机端和jetson nano开发板上的部署，使用，以及tensorrt加速yolov3-tiny
Linux 主机端上 darknet识别图片识别:./darknet detect cfg/yolov3.cfg yolov3.weights data/dog.jpg 视频识别:./darknet ...
NVIDIA jetson tensorrt加速yolov5摄像头检测
link 在使用摄像头直接检测目标时,检测的实时画面还是有点慢,下面是tensorrt加速过程记录. 一.设备 1.设备jetson agx xavier 2.jetpack4.6.1 3.tenso ...
NVIDIA Jetson YOLOv5 tensorRT部署和加速 C++版
前言在实现NVIDIA Jetson AGX Xavier 部署YOLOv5的深度学习环境,然后能正常推理跑模型后:发现模型速度不够快,于是使用tensorRT部署,加速模型,本文介绍C++版本的. ...
TensorRT加速 ——NVIDIA终端AI芯片加速用，可以直接利用caffe或TensorFlow生成的模型来predict（inference）...
官网:https://developer.nvidia.com/tensorrt 作用:NVIDIA TensorRT™ is a high-performance deep learning inf ...
jetson agx xavier：从亮机到yolov5下tensorrt加速
重要的下载资源链接放在前面: jetpack4.5资源主要内容记录在了自己的石墨文档里,自己习惯性地修改起来比较快,可能后续小修小改在那边更新.这里就做一个csdn的拷贝造福各位. https:// ...
Jetson AGX Xavier实现TensorRT加速YOLOv5进行实时检测
上一篇:Jetson AGX Xavier安装torch.torchvision且成功运行yolov5算法下一篇:Jetson AGX Xavier测试YOLOv4 一.前言由于YOLOv5在Xa ...
在NVIDIA Jetson Xavier NX上把yolov4-deepsort的模型pb模型使用tensorflow-onnx和onnx-tensorrt工具最终转换为tensorrt模型
文章目录: 1 安装tensorflow-onnx环境和把tensorflow的pb模型转换为onnx模型 1.1 安装tensorflow2onnx环境 1.2 把tensorflow的pb模型转换 ...

最新文章

热门文章