小米开源框架MACE 简介

转载自 https://www.jianshu.com/p/2ab68779d05b

前言

MACE 是小米公司自研的移动端深度学习框架 Mobile AI Compute Engine，2017年12月15日于公司内部正式发布。2018年6月28日，在“2018（第十三届）开源中国开源世界高峰论坛”上，小米公司人工智能与云平台副总裁崔宝秋博士宣布开源 MACE，赋能中国 AI 产业，以期推动移动端深度学习的发展。

文章内容翻译自 MACE 官方手册，记录本人阅读与开发过程，力求不失原意，但推荐阅读原文。
https://media.readthedocs.org/pdf/mace/latest/mace.pdf
Github地址：https://github.com/xiaomi/mace

声明：如有侵权，请联系作者删除

介绍

MACE 全称 Mobile AI Compute Engine (MACE)，是小米公司开源的一个深度学习推理框架，它针对不同的移动端计算平台做了专门的优化。下图是其整体架构：

模型格式

MACE 自定义了一种类似 Caffe2 的模型格式。Tensorflow 和 Caffe 训练得到的模型可以转换成 MACE 模型进行部署。MACE 采用 YAML 文件描述模型的部署细节。下一章会给出 YAML 文件的创建方法。

模型转换

目前，我们提供了Tensorflow、Caffe模型到MACE模型的转换工具，未来会支持更多的框架。

模型加载

MACE 模型包含两部分：图（model graph）和参数张量（model parameter tensors）。graph 部分使用 Protocol Buffers 做序列化存储。所有的模型参数张量（model parameter tensors）被串联存储在一个连续的字节数组中，在后续段落中我们称之为张量数据（tensor data）。

模型可以通过3种方式进行加载：

model graph 和 tensor data 均在外部动态加载（默认情况下，从文件系统加载，但是用户可以自由选择一些实现方式，例如压缩或加密）。这种方式具有最大的灵活性但是模型的保护性最差。
model graph 和 tensor data 转换成 C++ 代码并通过执行编译后的代码进行加载。这种方式提供了最强的模型保护措施，是最简单的部署方式。
model graph 按照方式 2 一样被转换成 C++ 代码，tensor data 按照方式 1 进行外部加载。