简介

MACE是一种针对移动异构计算平台优化的深度学习推理框架。

Github：https://github.com/xiaomi/mace

编译系统：虚拟机 ubuntu 16.04 LTS

环境要求

MACE需要以下依赖项：

Software	Installation command	Tested version
Python		2.7
Bazel	bazel installation guide	0.13.0
CMake	apt-get install cmake	>= 3.11.3
Jinja2	pip install -I jinja2==2.10	2.10
PyYaml	pip install -I pyyaml==3.12	3.12.0
sh	pip install -I sh==1.12.14	1.12.14
Numpy	pip install -I numpy==1.14.0	Required by model validation
six	pip install -I six==1.11.0	Required for Python 2 and 3 compatibility (TODO)

Software	Installation command	Remark
Android NDK	NDK installation guide	Required by Android build, r15b, r15c, r16b, r17b
ADB	apt-get install android-tools-adb	Required by Android run, >= 1.0.32
TensorFlow	pip install -I tensorflow==1.6.0	Required by TensorFlow model
Docker	docker installation guide	Required by docker mode for Caffe model
Scipy	pip install -I scipy==1.0.0	Required by model validation
FileLock	pip install -I filelock==3.0.0	Required by run on Android

注：如果在使用pip来进行安装操作时碰到这样的问题：pip Import Error:cannot import name main

解决方案：

sudo gedit /usr/bin/pip

将原来的：

from pip import main
if __name__ == '__main__':sys.exit(main())

改成：

from pip import __main__
if __name__ == '__main__':sys.exit(__main__._main())

1 安装 Bazel

推荐尺寸大于bazel 0.13.0

使用以下方法之一在Ubuntu上安装Bazel

使用二进制安装程序（推荐）
使用Bazel自定义APT存储库

方法一：使用二进制安装程序（推荐）

第1步：安装所需的包
首先，安装先决条件：pkg-config，zip，g++，zlib1g-dev，unzip，和python。sudo apt-get install pkg-config zip g++ zlib1g-dev unzip python第2步：下载Bazel
export BAZEL_VERSION=0.13.1
mkdir /bazel
cd /bazel
wget https://github.com/bazelbuild/bazel/releases/download/$BAZEL_VERSION/bazel-$BAZEL_VERSION-installer-linux-x86_64.sh第3步：运行安装程序
chmod +x bazel-*.sh
./bazel-$BAZEL_VERSION-installer-linux-x86_64.sh --user第4步：删除安装包
cd /
rm -f /bazel/bazel-$BAZEL_VERSION-installer-linux-x86_64.sh第5步：设置环境
该--user标志将Bazel安装到$HOME/bin系统上的目录并设置.bazelrc路径$HOME/.bazelrc。使用该--help命令可以查看其他安装选项。如果您使用--user上面的标志运行Bazel安装程序，则Bazel可执行文件将安装在您的$HOME/bin目录中。将此目录添加到默认路径，如下所示：export PATH="$PATH:$HOME/bin"也可以将此命令添加到~/.bashrc文件中。

注：试过通过离线下载好的包进行安装出现错误，后改成用wget在线下载进行安装成功

如果安装成功后输入命令bazel 正常，使用sudo bazel却提示找不到命令的话，解决方案如下：

以root用户身份来编辑文件/etc/sudoers
sudo vim /etc/sudoers找到Defaults env_reset, 将其改为
Defaults        !env_reset  这里加了这个感叹号表示不重置环境变量然后，编辑用户根目录下的配置文件~/.bashrc
vim .bashrc在文件内最后追加
alias sudo='sudo env PATH=$PATH'最后， 使配置文件生效
source ~/.bashrc

方法二：使用Bazel自定义APT存储库

第1步：安装JDK
安装JDK 8：
sudo apt-get install openjdk-8-jdk在Ubuntu 14.04 LTS上，必须使用PPA：
sudo add-apt-repository ppa:webupd8team/java
sudo apt-get update && sudo apt-get install oracle-java8-installer第2步：添加Bazel分发URI作为包源
注意：这是一次性设置步骤。echo "deb [arch=amd64] http://storage.googleapis.com/bazel-apt stable jdk1.8" | sudo tee /etc/apt/sources.list.d/bazel.list
curl https://bazel.build/bazel-release.pub.gpg | sudo apt-key add -如果要安装Bazel的测试版，请替换stable为testing。第3步：安装和更新Bazel
sudo apt-get update && sudo apt-get install bazel如果这一步出错：
由于没有公钥，无法验证下列签名： NO_PUBKEY 7EA0A9C3F273FCD8
W: 仓库 “http://mirrors.aliyun.com/docker-ce/linux/ubuntu xenial InRelease” 没有数字签名。
N: 无法认证来自该源的数据，所以使用它会带
解决办法：（红色字符串是PUBKEY的后八位）sudo apt-key adv --recv-keys --keyserver keyserver.Ubuntu.com F273FCD8安装后，可以使用以下命令升级到较新版本的Bazel：
sudo apt-get upgrade bazel

注：安装bazel最新版本0.17.1出现无法正常编译mace

2 安装Android NDK

推荐的Android NDK版本包括r15b，r15c和r16b

# Download NDK r15c
cd /opt/
wget https://dl.google.com/android/repository/android-ndk-r15c-linux-x86_64.zip
unzip android-ndk-r15c-linux-x86_64.zip
rm -f android-ndk-r15c-linux-x86_64.zip配置NDK系统环境变量sudo vim /etc/profile在文件内最后追加export ANDROID_NDK_VERSION=r15c
export ANDROID_NDK=/opt/android-ndk-${ANDROID_NDK_VERSION}
export ANDROID_NDK_HOME=${ANDROID_NDK}# add to PATH
export PATH=${PATH}:${ANDROID_NDK_HOME}查看是否安装成功
ndk-build

3 在Ubuntu16.04下安装Docker（17.09）

1 安装docker：sudo apt-get install docker.io
2 检查版本： docker version 当出现client和service表面安装成功
3 启动docker：systemctl start docker.service
4 更新docker　4.1 需要使用apt-get来升级，借助阿里的docker-ce源sudo add-apt-repository "deb [arch=amd64] http://mirrors.aliyun.com/docker-ce/linux/ubuntu $(lsb_release -cs) stable"4.2 sudo apt-get update4.3 搜索源 apt-cache madison docker-ce会出现版本，选择一个4.4 sudo apt-get -y install docker-ce=17.09.0~ce-0~ubuntu --allow-unauthenticated4.5 查看是否更新sudo docker version

构建并运行示例模型

首先，确保已经正确设置了环境

1 拉取MACE项目

git clone https://github.com/XiaoMi/mace.git
cd mace/
git fetch --all --tags --prune# Checkout the latest tag (i.e. release version)
tag_name=`git describe --abbrev=0 --tags`
git checkout tags/${tag_name}

2 拉取MACE Model Zoo项目

git clone https://github.com/XiaoMi/mace-models.git

3 构建通用MACE库

cd path/to/mace
# Build library
# output lib path: builds/lib
bash tools/build-standalone-lib.sh

注：编译时如果NDK没有设置环境变量会提示未找到NDK则需要配置NDK路径

在mace源码根目录下有一个WORKSPACE文件，请把你的NDK 路径配置在android_ndk_repository下

NDK路径是相对于mace源码的根目录

# Set up Android NDK
android_ndk_repository(name = "androidndk",# Android 5.0api_level = 21,path="../../Android/Sdk/ndk-bundle",
)

4 将预先训练的mobilenet-v2模型转换为MACE格式模型

cd path/to/mace
# Build library
python tools/converter.py convert --config=/path/to/mace-models/mobilenet-v2/mobilenet-v2.yml

注：在转换模型过程中，如果mobilenet-v2.yml格式为code时，不知为何只要Android Studio打开Demo工程就无法转换成功，关闭后就可以，但是格式为file时就不存在此问题

编译运行DEMO

位置：mace/examples/android

使用以下方法之一可以生成APK

运行build.sh编译
使用Android Studio编译

1 运行build.sh编译

android工程目录下有一个build.sh的配置文件，运行就可以编译，但是该配置使用的模型是mobilenet，该模型只有arm64-v8a平台，而现在手机大部分是armeabi-v7a平台，所以改成使用模型mobilenet-v2

第一步，修改build.sh文件

打开build.sh文件TARGET_ABI=arm64-v8a
修改成
TARGET_ABI=armeabi-v7apython tools/converter.py convert --config=mace/examples/android/mobilenet.yml --target_abis=$TARGET_ABI
cp -rf builds/mobilenet/include/mace/public/*.h $INCLUDE_DIR
cp -rf builds/mobilenet/model $LIBRARY_DIR重新指定模型路径
mobilenet-v2模型路径：mace-models/mobilenet-v2/mobilenet-v2.yml替换mobilenet模型路径：mace/examples/android/mobilenet.yml模型转换成功后会builds下生成mobilenet-v2目录
将mobilenet-v2替换mobilenet修改完成如下所示
python tools/converter.py convert --config=mace-models/mobilenet-v2/mobilenet-v2.yml  --target_abis=$TARGET_ABI
cp -rf builds/mobilenet-v2/include/mace/public/*.h $INCLUDE_DIR
cp -rf builds/mobilenet-v2/model $LIBRARY_DIR

第二步，修改CMake配置文件

打开macelibrary Module下CMakeLists.txt文件set(mace_lib ${CMAKE_SOURCE_DIR}/src/main/cpp/lib/arm64-v8a/libmace.a)
set(mobilenet_lib ${CMAKE_SOURCE_DIR}/src/main/cpp/model/arm64-v8a/mobilenet.a)将arm64-v8a平台换成armeabi-v7a
将mobilenet.a 修改成 mobilenet-v2.a修改完成如下所示
set(mace_lib ${CMAKE_SOURCE_DIR}/src/main/cpp/lib/armeabi-v7a/libmace.a)
set(mobilenet_lib ${CMAKE_SOURCE_DIR}/src/main/cpp/model/armeabi-v7a/mobilenet-v2.a)

第三步，修改build.gradle

打开macelibrary Module工程下的build.gradleabiFilters "arm64-v8a"
修改成
abiFilters "armeabi-v7a"

第四步，修改模型转换格式

file：文件格式，tensorflow的模型将转换成 .pb格式文件

code：c++代码格式，模型加密与保护

模型转换成C++代码，防止反编译有效保护模型model_graph_format: file
model_data_format: file将模型图形格式和模型数据格式都转换为代码model_graph_format: code
model_data_format: code具体操作将mace-models/mobilenet-v2 目录下的mobilenet-v2.yml和mobilenet-v2-host.yml都修改为code，修改完成如下所示
library_name: mobilenet-v2
target_abis: [armeabi-v7a, arm64-v8a]
model_graph_format: code
model_data_format: code

第五步，设置sdk和ndk路径

在项目根目录下local.properties文件设置SDK和NDKsdk.dir=E\:\\AndroidStudio\\SDK
ndk.dir=E\:\\AndroidStudio\\android-ndk-r16b

第六步，编译Demo

在项目根目录下运行
./build.sh

注：因为编译时有进行模型转换，如上所注，在编译的时候Android Studio不能打开该Demo工程，否则编译将出现错误。编译完成后可能会因为没有连接设备而提示错误，但是可以在app/build/outputs下看是否有成功打包apk

2 使用Android Studio编译

第一步，转换模型数据

将mace-models/mobilenet-v2 目录下的mobilenet-v2.yml和mobilenet-v2-host.yml都修改为code，修改完成如下所示
library_name: mobilenet-v2
target_abis: [armeabi-v7a, arm64-v8a]
model_graph_format: code
model_data_format: code修改完后使用命令转换
python tools/converter.py convert --config=/path/to/mace-models/mobilenet-v2/mobilenet-v2.yml

第二步，导入Demo工程，设置sdk和ndk

注：ndk如果设置最新的版本将无法正常编译，请选择推荐的版本

第三步，将生成的库放至macelibrary

在Demo项目中的macelibrary/src/main/cpp 目录下

1 新建include/mace/public文件夹

1.1 将builds/include/mace/public/ 下的mace.h 和 mace_runtime.h复制到该文件夹下

1.2 将builds/mobilenet-v2/include/mace/public/ 下的mace_engine_factory.h 、mobilenet_v2.h复制到该文件夹下

2 新建lib文件夹

2.1 将builds/lib下的arm64-v8a、armeabi-v7a和linux-x86-64复制到该文件夹下

2.2 将cpu_gpu/下的libmace.a、libmace.so文件复制到与此同级别目录后删除cpu_gpu文件夹

3 新建model文件夹

3.1 将builds/mobilenet-v2/model 下的 arm64-v8a/mobilenet-v2.a、armeabi-v7a/mobilenet-v2.a复制到该文件夹下

3.2 将mobilenet-v2.a 重命名为 mobilenet.a 或修改CMakeLists.txt文件将mobilenet.a 改为 mobilenet-v2.a 如下

set(mobilenet_lib ${CMAKE_SOURCE_DIR}/src/main/cpp/model/arm64-v8a/mobilenet-v2.a)

第四步，点击运行

修改以下代码，加载使用模型mobilenet_v2后点击运行

小米开源AI框架mace编译构建相关推荐

演讲实录：百度大规模深度学习应用实践和开源AI框架PaddlePaddle
导语:本文根据PaddlePaddle技术负责人.百度NLP技术委员会主席于佃海在今年英特尔人工智能大会上的演讲--<百度大规模深度学习应用实践和开源AI框架PaddlePaddle>整理 ...
【转载】演讲实录：百度大规模深度学习应用实践和开源AI框架PaddlePaddle
导语:本文根据PaddlePaddle技术负责人.百度NLP技术委员会主席于佃海在今年英特尔人工智能大会上的演讲--<百度大规模深度学习应用实践和开源AI框架PaddlePaddle>整理 ...
小米开源框架MACE 如何构建和使用
转载自https://www.jianshu.com/p/3be518027ac2 文章内容翻译自 MACE 官方手册,记录本人阅读与开发过程,力求不失原意,但推荐阅读原文. https://medi ...
语音识别代码_Povey正式出任小米语音首席科学家，小米移动端框架MACE全面支持Kaldi...
今日,小米开发者大会 MIDC 2019 在北京开幕.语音识别大牛.前霍普金斯大学副教授 Daniel Povey 也正式宣布出任小米集团语音首席科学家,而近日更新的小米移动端深度学习框架 MACE ...
使用机器学习算法在 .NET Core 中运行的 100% C# 开源 AI 聊天机器人平台构建器...
简介 BotSharp是一个用于 AI Bot 平台构建器的开源机器学习框架.该项目涉及自然语言理解.计算机视觉和音频处理技术,旨在推动智能机器人助手在信息系统中的开发和应用.开箱即用的机器学习算法让 ...
贾扬清开源 AI 框架 Caffe | 开源英雄
[编者按]在开源与人工智能的灿烂星河里,贾扬清的名字都格外地耀眼.因为导师 Trevor Darrell 教授的一句"你是想多花时间写一篇大家估计不是很在意的毕业论文,还是写一个将来大家都会 ...
华为算力最强AI芯片商用：2倍于英伟达V100！开源AI框架，对标TensorFlow和PyTorch...
乾明边策一璞发自凹非寺量子位报道 | 公众号 QbitAI 刚刚,华为业界算力最强的AI芯片正式商用. 并且宣布自研AI框架MindSpore开源,直接对标业界两大主流框架--谷歌的Te ...
小米AI平台MACE的构建和部署
1.准备部署文件需要准备的部署文件包括头文件(.h), mace库文件(.),转化后的模型(.a),这里以resnet18v1-opt.onnx模型为例 1.1. 优化onnx模型 # Optimi ...
15个产业级算法推出、35个高精度预训练模型上线！最强国产开源AI框架再进化，密集提升视觉产业实战能力...
乾明发自凹非寺量子位报道 | 公众号 QbitAI 2项全新能力,4大重磅升级,35个高精度预训练模型上线,15个产业实践中广泛应用的视觉算法加持-- 这就是最强国产开源深度学习框架--飞桨 ...

小米开源AI框架mace编译构建

目录

简介