OpenVINO系列02-深度学习部署工具包（DLDT）介绍

1.深度学习部署工具包（DLDT）包括：

深度学习模型优化器（Deep Learning Model Optimizer），一种跨平台的命令行工具，用于导入模型并使用推理引擎为最佳执行做好准备。模型优化器导入，转换和优化模型，这些模型在流行的框架中训练，例如Caffe *，TensorFlow *，MXNet *，Kaldi *和ONNX *。
深度学习推理引擎（Deep Learning Inference Engine），一种统一的API，允许对许多硬件类型进行高性能推断，包括英特尔®CPU，英特尔®集成显卡，英特尔®Movidius™神经计算棒，英特尔®神经计算棒2和采用英特尔®的英特尔®视觉加速器设计Movidius™VPU
演示和示例（Demos and samples），一组简单的控制台应用程序，演示如何在应用程序中使用推理引擎
工具 - 一组简单的控制台工具，用于校准和测量模型的精度
预先训练的模型 - 一套用于学习和演示目的的预训练模型或开发深度学习软件

2..深度学习网络（Deep Learning Deployment Toolkit，简称DLDT）从训练环境部署到嵌入式平台遇到的问题有哪些：

行业中广泛使用了许多深度学习框架，如Caffe *，TensorFlow *，MXNet *，Kaldi *等。
通常，深度学习网络的训练在数据中心或服务器群中执行，而推理可能在嵌入式平台上进行，针对性能和功耗进行了优化。这些平台通常受限于软件角度（编程语言，第三方依赖，内存消耗，支持的操作系统），以及硬件角度（不同的数据类型，有限的功率范围），因此通常不推荐，(有时甚至不可能）用原始训练框架进行推理。另一种解决方案是使用针对特定硬件平台进行了优化的专用推理API。
部署过程的其他复杂性包括支持越来越复杂的各种层类型和网络。显然，确保变换网络的准确性并非易事。

3.工作流程：

步骤：

为特定框架配置模型优化器（Model Optimizer），用于训练模型。
运行模型优化器，根据经过训练的网络拓扑，权重和偏差值以及其他可选参数，生成模型的优化中间表示（IR）。
通过提供的推理引擎验证应用程序或示例应用程序，使用目标环境中的推理引擎以IR格式测试模型。
在应用程序中集成推理引擎，以在目标环境中部署模型。

4.模型优化器（Model Optimizer）是什么

用于把训练模型转换为可被推理引擎(Inference Engine)使用的中间表示(IR)

Model Optimizer是一个跨平台的命令行工具，可促进训练和部署环境之间的转换，执行静态模型分析并自动调整深度学习模型，以便在端点目标设备上实现最佳执行。

Model Optimizer旨在支持多种深度学习支持的框架和格式。

在运行Model Optimizer时，您无需考虑要使用的目标设备，MO的相同输出可用于所有目标。

5.模型优化器支持的框架和格式：

Caffe *（大多数公共分支机构）
TensorFlow *
MXNet *
Kaldi *
ONNX *

6.Model Optimizer工作原理：
将模型加载到内存中，读取它，构建模型的内部表示，优化模型，并生成中间表示(IR)。IR是Inference Engine接受的唯一格式。
注意：Model Optimizer不会推断模型，是一个离线工具，在推理发生之前运行

7.什么是IR
Intermediate Representation是一对描述模型的文件：
.xml - 描述网络拓扑
.bin - 包含权重和偏差二进制数据

8.模型优化器工作流程：

该过程假定您使用受支持的框架之一训练了网络模型。Model Optimizer工作流程可描述如下：

为支持的深度学习框架之一配置模型优化器，该框架用于训练模型。
提供包含特定网络拓扑，调整后的权重和偏差（带有一些可选参数）的训练网络作为输入。
运行模型优化器以执行特定的模型优化（例如，某些网络层的水平融合）。精确优化是特定于框架的，请参考相应的文档页面：转换Caffe模型，转换TensorFlow模型，转换MXNet模型，转换Kaldi模型，转换ONNX模型。
模型优化器生成网络的中间表示（IR）作为输出，该网络用作所有目标上的推理引擎的输入。IR是一对描述整个模型的文件：
- .xml：拓扑文件 - 描述网络拓扑的XML文件
- .bin：经过训练的数据文件 - 包含权重和偏差二进制数据的.bin文件

可以使用推理引擎读取，加载和推断中间表示（IR）文件。推理引擎API在许多支持的英特尔®平台上提供统一的API

9.Model Optimizer 用途

生成有效的IR：主要工作是生成IR的两个文件(.xml和.bin)
生成优化的IR:预训练模型包含对训练很重要的层，例如Dropout层。这些层在推理过程中是无用的，可能会增加推理时间。
在许多情况下可以自动从生成的IR中删除，但是，如果一组层可以表示为一个数学运算，从而表示为单个层，Model Optimizer将识别此类模式，并用唯一的层代替。结果是一个IR,其具有比原始模型更少的层，减少了推理时间。

10.推理引擎（Inference Engine）

推理引擎是一个运行时，它提供统一的API以将推理与应用程序逻辑集成：

作为模型的输入。该模型以模型优化器生成的中间表示（IR）的特定形式呈现。
优化目标硬件的推理执行。
在嵌入式推理平台上提供减少占用空间的推理解决方案。

推理引擎支持多个图像分类网络的推断，包括AlexNet，GoogLeNet，VGG和ResNet系列网络，完全卷积网络（如用于图像分割的FCN8）和物体检测网络（如Faster R-CNN）。

有关支持的硬件的完整列表，请参阅“ 支持的设备”部分。

Inference Engine软件包包含标头，运行时库和示例控制台应用程序，演示了如何在应用程序中使用推理引擎。

OpenVINO系列02-深度学习部署工具包（DLDT）介绍相关推荐

英特尔推深度学习加速工具包OpenVINO，布局边缘计算，发力物联网业务
上周五(7 月 27 日),英特尔面向中国市场推出了专注于加速深度学习的 OpenVINO 工具包,可以帮助企业在边缘侧快速实现高性能计算机视觉与深度学习的开发. OpenVINO (Open Vis ...
拨开深度学习部署迷雾，还看 OpenVINO™推理引擎
<沉默的真相>.<隐秘的角落>,这些热门的悬疑推理大戏,都来自爱奇艺的"迷雾剧场".然而,很多人可能不知道:"迷雾"成功的背后,离不开另 ...
深度学习部署：Windows安装pycocotools报错解决方法
深度学习部署:Windows安装pycocotools报错解决方法 1.pycocotools库的简介 2.pycocotools安装的坑 3.解决办法更多Ai资讯:公主号AiCharm 本系列是作 ...
「构建企业级推荐系统系列」深度学习在推荐系统中的应用
点击上方"数据与智能","星标或置顶公众号" 第一时间获取好内容作者 | gongyouliu 编辑 | auroral-L 2016年DeepMind开发的 ...
AI佳作解读系列(一)——深度学习模型训练痛点及解决方法
AI佳作解读系列(一)--深度学习模型训练痛点及解决方法参考文章: (1)AI佳作解读系列(一)--深度学习模型训练痛点及解决方法 (2)https://www.cnblogs.com/carson ...
深度学习系列：深度学习在腾讯的平台化和应用实践
深度学习系列:深度学习在腾讯的平台化和应用实践(一) 莫扎特 2015-01-04 6:05:13 大数据技术评论(0) 深度学习是近年机器学习领域的重大突破,有着广泛的应用前景.随着Google公 ...
系列笔记 | 深度学习连载（6）：卷积神经网络基础
点击上方"AI有道",选择"星标"公众号重磅干货,第一时间送达卷积神经网络其实早在80年代,就被神经网络泰斗Lecun 提出[LeNet-5, LeCun ...
系列笔记 | 深度学习连载（5）：优化技巧（下）
点击上方"AI有道",选择"星标"公众号重磅干货,第一时间送达深度学习中我们总结出 5 大技巧: 本节继续从第三个开始讲起. 3. Early stoppi ...
系列笔记 | 深度学习连载（4）：优化技巧（上）
点击上方"AI有道",选择"星标"公众号重磅干货,第一时间送达深度学习中我们总结出 5 大技巧: 1. Adaptive Learning Rate 我们先 ...

OpenVINO系列02-深度学习部署工具包（DLDT）介绍

OpenVINO系列02-深度学习部署工具包（DLDT）介绍相关推荐

最新文章

热门文章