认识：

ncnn是腾讯优图推出的在手机端极致优化的高性能神经网络前向计架框架，适用于手机端的CPU计算且无需依赖第三方计算库，ncnn只用作推理而非边训练边推理。

ncnn （GitHub地址：GitHub - Tencent/ncnn: ncnn is a high-performance neural network inference framework optimized for the mobile platform ） ncnn 从设计之初深刻考虑手机端的部署和使用。无第三方依赖，跨平台，手机端 CPU 的速度快于目前所有已知的开源框架。基于 ncnn，开发者能够将深度学习算法轻松移植到手机端高效执行，开发出人工智能 APP，将 AI 带到你的指尖。ncnn 目前已在腾讯多款应用中使用，如 QQ，Qzone，微信，天天P图等。

同时由于NCNN模型是全部用c++来写的，所以它可以跨平台，比如常见的嵌入式设备上可以通用，另外我了解到它的负责人是nihui大佬，nihui群里更是大佬云集。

关于NCNN的模型转换：

先附上脚本转换网站（daquexian前辈）：

一键转换 Caffe, ONNX, TensorFlow 到 NCNN, MNN, Tengine (convertmodel.com)

这是一个在线的模型转换网站

对于Pytorch模型：

一种是可以通过PNNX直接转ncnn，pnnx是一个工具，支持动态尺寸输入，目前只支持torchscript转ncnn，且只支持torch.trace的torchscript。这种网上资料较少。

另一种则是通过中间模型onnx转ncnn，这种网上资料比起pnnx转ncnn更多。

关于NCNN模型文件的认识:

param和bin

param是网络结构文件，而bin则是参数文件

查看网络结构是不是同一个可用netron.app在线网站查看

以打开mobiefacenet的param

第一行的7767517为magic num

第二行的的160为网络层数，从第三行开始数，172为blob数量，相当于一个数据节点，带输入和输出。

从第三行开始为网络层，第一列为网络层类型，第二列为网络层名，第三列为bottom_count，第四列为top_count，bottom_count为该层在多少个网络层之下(相当于输入的blob数),top_count为该层在多少个网络层之上（理解为输出的blob数），后面的列依次为bottom_name，blob_name 以及该层的所带的参数，如果bottom_count为0则可以省略正如input那一层。

在c++下的推理：

前提，在电脑上装好环境，比如已经编译好了的ncnn库，protobuf，opencv库

ncnn环境配置参照：

Windows下ncnn环境配置（VS2019）_逮仔的博客-CSDN博客_ncnn vs2019

以经典的分类网络为例

// 网络加载
ncnn::Net squeezenet;
squeezenet.load_param("squeezenet_v1.1.param");
squeezenet.load_model("squeezenet_v1.1.bin");// 数据预处理
ncnn::Mat in = ncnn::Mat::from_pixels_resize(image.data, ncnn::Mat::PIXEL_BGR, image.cols, image.rows, 227, 227);
const float mean_vals[3] = { 104.f, 117.f, 123.f };
in.substract_mean_normalize(mean_vals, 0);// 网络推理
ncnn::Extractor ex = squeezenet.create_extractor();
ex.input("data", in);
ncnn::Mat out;
ex.extract("prob", out);

具体步骤

网络加载
1. load_param
2. load_model
数据预处理
1. from_pixels_resize
2. substract_mean_normalize
网络推理
1. create_extractor
2. input
3. extract
每一层的推理（隐含在模型内的）

注意的地方：

作为初学者可以把ncnn的推理看做是一个黑盒子，只关注网络的输入和输出，本例子网络中的data则是输入层的名字，prob则是输出层的名字，关于怎么知道不同训练过程的输入和输出网络层的名字？用netron可视化观察，同时还能看到它输出的通道数知道自己该用什么样的数据结构去接受输出内容。

在netron的可视化下

最后输出名为518，输出通道数量为512

最后，整体看来确实简单，推理实际上是forward的一个递归的过程。

Ncnn框架在c++的推理及其认识相关推荐

【项目实战课】基于ncnn框架与KL散度的8bit对称模型量化与推理实战
欢迎大家来到我们的项目实战课,本期内容是<基于ncnn框架与KL散度的8bit对称模型量化与推理实战>. 所谓项目实战课,就是以简单的原理回顾+详细的项目实战的模式,针对具体的某一个主题, ...
【视频课】模型部署课程更新！ncnn框架快速实践！
前言欢迎大家关注有三AI的视频课程系列,我们的视频课程系列共分为5层境界,内容和学习路线图如下: 第1层:掌握学习算法必要的预备知识,包括Python编程,深度学习基础,数据使用,框架使用. 第2层 ...
Caffe学习系列（十）：腾讯ncnn框架
Caffe学习系列(十):腾讯ncnn框架 <手把手AI项目>七.MobileNetSSD通过Ncnn前向推理框架在PC端的使用(目标检测 objection detection) 1.n ...
阿里深度学习推理框架_如何通过Knative无服务器框架构建深度学习推理
阿里深度学习推理框架在某些学术界和行业界,深度学习正在获得巨大的动力. 推理(基于预训练模型从现实世界数据中检索信息的能力)是深度学习应用程序的核心. 深度学习推理可用于在图像到达对象存储时对其进 ...
ncnn 框架分析 openmp多核加速缓存仿存 cache 快速矩阵乘法单指令多数据指令SIMD
ncnn 框架分析本文github链接博文末尾支持二维码赞赏哦 _ 在ncnn中建立新层 ncnn 下载编译使用参考1 参考2 1. param 和 bin 文件分析 param 7767517 ...
##haohaohao#######蘑菇街自研服务框架如何提升在线推理效率？
Online Serving 简介从本质而言,在线服务就是提供 (http, rpc) 等接口,用户输入 X, X 经过 pre-process 处理成符合模型输入的参数,经由模型推理后得到 Y,Y ...
重构ncnn，腾讯优图开源新一代移动端推理框架TNN
来源 | 腾讯优图从学界到工业界,"开源"已经成为AI领域的一个关键词.一方面,它以"授人以渔"的方式为AI构建了一个开放共进的生态环境,帮助行业加速AI应用 ...
如何阅读一个前向推理框架？以NCNN为例
0x00. 想法来源 CNN从15年的ResNet在ImageNet比赛中大放异彩,到今天各种层出不穷的网络结构被提出以解决生活中碰到的各种问题.然而,在CNN长期发展过程中,也伴随着很多的挑战,比如 ...
如何阅读一个前向推理框架？以NCNN为例。
[GiantPandaCV导语]自NCNN开源以来,其它厂商的端侧推理框架或者搭载特定硬件芯片的工具链层出不穷.如何去繁从简的阅读一个深度学习推理框架十分重要,这篇文章记录了我是如何阅读NCNN框架的 ...

Ncnn框架在c++的推理及其认识

认识：

关于NCNN的模型转换：

关于NCNN模型文件的认识:

在c++下的推理：

Ncnn框架在c++的推理及其认识相关推荐

最新文章

热门文章