基于YOLOv5的儿童睡眠检测

注意：由于SOPHGO SE5微服务器的CPU是基于ARM架构，部分步骤将在基于x86架构CPU的开发环境中完成
一、初始化开发环境(基于x86架构CPU的开发环境中完成)
二、模型转换 (基于x86架构CPU的开发环境中完成)
三、YOLOv5模型部署测试（在SOPHGO SE5微服务器上进行）

本实验代码和模型可在Connecting... 下载

一、初始化开发环境 (基于x86架构CPU的开发环境中完成)

1.1 初始化开发环境

1.2 配置Docker容器开发环境

以下步骤均在Docker容器中进行：
1. 安装nntc以及配置环境变量
# 切换成 root 权限
sudo -i
# 下载Docker镜像
wget https://sophon-file.sophon.cn/sophon-prod-s3/drive/22/07/19/10/x86_sophonsdk
_ubuntu18.04_py37_dev_22.06_docker.zip
# 确保环境安装unzip后解压
unzip x86_sophonsdk3_ubuntu18.04_py37_dev_22.06_docker.zip
# 进入文件夹并加载Docker镜像
cd x86_sophonsdk3_ubuntu18.04_py37_dev_22.06_docker
docker load -i x86_sophonsdk3_ubuntu18.04_py37_dev_22.06.docker
# 下载SOPHON SDK3.0.0
wget https://sophon-file.sophon.cn/sophon-prod-s3/drive/22/07/18/11/
sophonsdk_v3.0.0_20220716.zip
unzip sophonsdk_v3.0.0_20220716.zip
cd sophonsdk_v3.0.0
# 通过脚本文件创建并进入Docker容器
# 若您没有执行前述关于docker命令免root执行的配置操作，需在命令前添加sudo
./docker_run_sophonsdk.sh
cd /workspace/scripts/
./install_lib.sh nntc
# 设置环境变量-[有PCIe加速卡]
source envsetup_pcie.sh
# 设置环境变量-[无PCIe加速卡]
source envsetup_cmodel.sh

导出的环境变量只对当前终端有效，每次进入容器都需要重新执行一遍，或者可以将这些环境变量写入
~/.bashrc，这样每次登录将会自动设置环境变量

二、模型转换 (基于x86架构CPU的开发环境中完成)

由于BMNNSDK中的PyTorch模型编译工具BMNETP只接受PyTorch的JIT模型(TorchScript模型)，需要用户自行将训练好的Pytorch模型进行转换。JIT（Just-In-Time）是一组编译工具，用于弥合PyTorch研究与生产之间的差距。它允许创建可以在不依赖Python解释器的情况下运行的模型，并且可以更积极地进行优化。在已有PyTorch的Python模型（基类为torch.nn.Module）的情况下，通过 torch.jit.trace 就可以得到JIT模型，如torch.jit.trace(python_model,torch.rand(input_shape)).save('jit_model') 。BMNETP暂时不支持带有控制流操作（如if语句或循环）的JIT模型，因此不能使用 torch.jit.script ，而要使用torch.jit.trace ，它仅跟踪和记录张量上的操作，不会记录任何控制流操作

2.1 将训练好的Pytorch模型转换为JIT模型

2.1.1 直接获取转换好的 JIT 模型

在sleep/sleep-aug-640.yolov5pytorch/yolov5s6/weights/best.trace.pt 为转换好的JIT模型

2.1.2 自行将训练好的Pytorch模型转换为JIT模型

下载ultralytics官方YOLOv5源码
# 在容器里, 以python3.7的docker为例
cd ${YOLOv5}
# 下载yolov5源码
git clone https://github.com/ultralytics/yolov5.git yolov5_github
# 切换到yolov5工程目录
cd yolov5_github
# 使用tag从远程创建本地v6.1分支
git branch v6.1 v6.1
git checkout -v6.1
# 将下载好的sleep导入yolov5_github

修改models/yolo.py中Detect类的forward函数的最后return语句，实现不同的输出

# 此模型为单输出
def forward(self, x):
return x if self.training else (torch.cat(z, 1)) # 1个输出

#return x if self.training else x # 3个输出
# return x if self.training else (torch.cat(z, 1), x) # 4个输出

导出JIT模型

cd ${yolov5}/yolov5_github目录下

# 创建python虚拟环境virtualenv
pip3 install virtualenv
# 切换到虚拟环境
virtualenv -p python3 --system-site-packages env_yolov5
source env_yolov5/bin/activate
# 安装依赖
pip3 install -r requirements.txt
# 此过程遇到依赖冲突或者错误属正常现象
# 导出jit模型
python3 export.py --weights ${sleep}/ sleep-aug-640.yolov5pytorch/yolov5s6/weights/best.pt --include torchscript
# 退出虚拟环境
deactivate
# 将生成好的jit模型best.torchscript拷贝到${YOLOv5}/build文件夹下
mkdir ../build
cp best.torchscript ../build/sleep_best_1output.trace.pt
# 拷贝一份到${YOLOv5}/data/models文件夹下
mkdir ../data/models
cp best.torchscript ../data/models/sleep_best_1output.trace.pt

2.2 模型转换：生成FP32 BModel

Python命令生成FP32 BModel

BMNETP是针对pytorch的模型编译器，可以把pytorch模型直接编译成BMRuntime所需的执行指令。
通过以下命令可以实现FP32 BModel模型的直接生成（确保生成的JIT模型拷贝至
${YOLOv5}/data/models 路径下）：

cd ${YOLOv5}/data/models/
python3 -m bmnetp --mode="compile" \
--model=sleep_best_1output.trace.pt \
--outdir=sleep_best_1output \
--target="BM1684" \
--shapes=[[1,3,640,640]] \
--net_name=yolov5s_fp32_b1 \
--opt= 2 \
--dyn=False \
--cmp=True \
--enable_profile=True

上述脚本会在 ${YOLOv5}/data/models/sleep_best_1output 下生成 compilation.bmodel 文件

使用如下命令查看模型具体信息：
bm_model.bin –info compilation.bmodel

bmrt_test --bmodel compilation.bmodel

三、YOLOv5模型部署测试（在算能云开发平台进行）

3.1 准备示例程序

以下步骤在基于x86架构CPU的开发环境中进行
一、初始化开发环境

https://cloud.sophgo.com/developer

参考云开发平台手册学习使用

云空间文件系统对应命令行 /tmp 目录

二、模型转换处理好的YOLOv5项目文件拷贝至云开发平台上:

将sleep文件模型拷贝到云开发平台。

3.2 BModel测试（Python例程）

cd ${sleep}/bmodel/python
# BModel和图片路径名仅供参考，具体根据各自的路径进行修改

python3 yolov5_opencv.py --bmodel
../bmodels/sleep_best_1output/compilation.bmodel --input../../ sleep-aug-640.yolov5pytorch/test/images/

python3 yolov5_bmcv.py --bmodel
../bmodels/sleep_best_1output/compilation.bmodel --input../../ sleep-aug-640.yolov5pytorch/test/images/

输出结果