Detectron概述

Detectron是Facebook FAIR开源了的一个目标检测（Object Detection）平台。

用一幅图简单说明下Object Detection。如Mask R-CNN已经能够做到多目标的Instance Segmentation。

图片来源: Fei-Fei Li, Andrej Karpathy & Justin Johnson (2016) cs231n, Lecture 8 - Slide 8, Spatial Localization and Detection (01/02/2016). Available: http://cs231n.stanford.edu/slides/2016/winter1516_lecture8.pdf

Detectron项目项目自 2016 年 下半年启动，基于Caffe2 ，目前支持大量机器学习算法和已经训练好的模型。项目地址：https://github.com/facebookresearch/Detectron

其中目标检测算法的实现包括：

Mask R-CNN (https://arxiv.org/abs/1703.06870)—Marr Prize at ICCV 2017

RetinaNet (https://arxiv.org/abs/1708.02002)—Best Student Paper Award at ICCV 2017

Faster R-CNN (https://arxiv.org/abs/1506.01497)

RPN (https://arxiv.org/abs/1506.01497)

Fast R-CNN (https://arxiv.org/abs/1504.08083)

R-FCN (https://arxiv.org/abs/1605.06409)

这些目标检测算法主要使用以下卷积网络架构：

ResNeXt{50,101,152} (https://arxiv.org/abs/1611.05431)

ResNet{50,101,152} (https://arxiv.org/abs/1512.03385)

Feature Pyramid Networks (https://arxiv.org/abs/1612.03144) (with ResNet/ResNeXt)

VGG16 (https://arxiv.org/abs/1409.1556)

Detectron配置
想要使用和理解其中各个方法，最基础的一步就是能够先配置好环境，将示例跑通，接下去也接着配置Detectron的机会，把GPU相关的配置再梳理一下。

1、GPU驱动

以往在linux下安装显卡驱动是一段非常东痛苦的经历，搞得不好，一重启就黑屏。如果是多显卡的机器，也会遇到无法切换，或者各种版本不兼容的问题。

这两年在ubuntu社区和NVIDIA官方的努力下，社区的PPA专有驱动基本已经相对稳定。

a)在安装之前，首先确认你的电脑是否在BIOS上有secure boot，如果有进入BIOS，把secure boot 设置成disable。 （这设置十分重要，不然会出现无法安装CUDA的情况）

b)如果之前已经自带的NVIDIA驱动，需要删除老的驱动

sudo apt-get –purge remove nvidia-glx nvidia-glx-new
sudo apt-get –purge remove nvidia-settings nvidia-kernel-common

c)确保万无一失，在原有驱动删除之后，需要将Ubuntu集成的开源驱动加入黑名单，即修改/etc/modprobe.d/blacklist.conf文件：

sudo gedit /etc/modprobe.d/blacklist.conf

d)在该文件中增加如下两行：
blacklist nouveau
options nouveau modeset=0

e)然后需要确定你的显卡对应的驱动版本，知道自己的显卡型号后，可以利用官方提供的驱动下载查询界面： NVIDIA 驱动查询

sudo add-apt-repository ppa:graphics-drivers/ppa
sudo apt-get update

f)接着在软件中心的 software & updates中的Additional Drivers的标签，找到和之前查到GPU驱动版本一致的条目，点击apply changes
重启之后应该就安装好了。

Tips：在16.04中有遇到过，在Additional Drivers那个界面选择了GPU驱动后，点击apply changes无法更改的尴尬情况。

解决方法是直接使用命令行
sudo apt-get install nvidia-××× nvidia-prime  （XXX为对应的驱动型号）

测试驱动是否安装成功

nvidia-smi
如果出现了你的GPU列表，则说明驱动安装成功了。

2、Cuda

cuda的安装根据自己的系统选择合适的版本，为了避免一系列可能会出现的问题，在安装CUDA之前，可以进行一下安装前的自检，自检可以参照官方给的文档（CUDA安装前自检）

官网下载 cudnn 需要注册帐号并登录。官方下载网址

下载完成后，在文件所在的文件夹
sudo dpkg -i cuda-repo-ubuntu1604-×××××_amd64​.deb （××××为官方版本号）
sudo apt-get update
sudo apt-get install cuda​

如果是CUDA8.0可能会遇到gcc版本的不兼容问题，可以给GCC降级。

安装完之后，配置cuda的环境变量，在文件~/.bashrc之后加上
gedit ~/.bashrc
export PATH=/usr/local/cuda-××/bin:$PATH  （××是版本号）
export LD_LIBRARY_PATH=/usr/local/cuda-××/lib64:$LD_LIBRARY_PATH （××是版本号）

然后设置环境变量和动态链接库，在命令行输入
sudo gedit /etc/profile
在打开的文件里面加上（注意等号两边不能有空格）
export PATH=/usr/local/cuda/bin:$PATH
保存之后，创建链接文件
sudo gedit /etc/ld.so.conf.d/cuda.conf
在打开的文件中添加如下语句：
/usr/local/cuda/lib64
保存退出执行命令行：
sudo ldconfig
使链接立即生效。

Tips：之前在配置ZED双目相机的，如果是 下载Local版的CUDA，都会在安装ZED SKD时出现找不到CUDA8的提示。

在试了很多次之后，偶尔一次使用了CUDA下载页面中的 deb(network)版本，然后就成功了。 所以建议采用deb的方式安装。

测试Cuda是否安装成功：

cd /usr/local/cuda-××/samples/1_Utilities/deviceQuery （××为版本号）
sudo make
sudo ./deviceQuery

3、CuDNN

CuDNN是NVIDIA推出的针对深度学习的Cuda优化库，可以帮助提升算法效率

官方下载网址

ubuntu下使用deb比较方便，不需要自己设置环境变量

先安装runtime库，这里以cuda9.0为例。

sudo dpkg -i libcudnn7_7.0.3.11-1+cuda9.0_amd64.deb
再安装dev库
sudo dpkg -i libcudnn7-dev_7.0.3.11-1+cuda9.0_amd64.deb

4、配置Caffee2

Caffe2的安装相比于caffe的安装要简单很多，不需要自己去配置Makefile.config，可以在make的时候，自动检测GPU以各种库，例如OpenCV。如果没有就自动选择不使用。

官方的安装说明永远是最好的说明

https://caffe2.ai/docs/getting-started.html?platform=linux&configuration=compile

这里也简单梳理下流程。

首先确定系统和安装方式，这里采用直接编译源码的方式。

安装需要的库

sudo apt-get update
sudo apt-get install -y --no-install-recommends \
      build-essential \
      cmake \
      git \
      libgoogle-glog-dev \
      libgtest-dev \
      libiomp-dev \
      libleveldb-dev \
      liblmdb-dev \
      libopencv-dev \
      libopenmpi-dev \
      libsnappy-dev \
      libprotobuf-dev \
      openmpi-bin \
      openmpi-doc \
      protobuf-compiler \
      python-dev \
      python-pip                          
sudo pip install \
      future \
      numpy \
      protobuf

libgflags2根据系统选择

# 对于 Ubuntu 14.04
sudo apt-get install -y --no-install-recommends libgflags2
# 对于 Ubuntu 16.04
sudo apt-get install -y --no-install-recommends libgflags-dev

对于GPU的相关依赖我们已经在上面完成配置了，caffe2也给了官方GPU配置的说明，也可以作为一种参考。

另外如opencv库也可以根据自己的需要进行安装

完成准备工作后就可以下载源码进行编译。

git clone --recursive https://github.com/caffe2/caffe2.git && cd caffe2
make && cd build && sudo make install

测试caffe2是否安装成功

cd ~ && python -c 'from caffe2.python import core' 2>/dev/null && echo "Success" || echo "Failure"

如果是failure，试着cd到caffe2/build的文件夹里，然后执行

python -c 'from caffe2.python import core' 2>/dev/null

如果successful，说明是环境变量的设置问题，如果还是失败，则会有具体的提示。

配置环境变量，编辑~/.bashrc

export PYTHONPATH=/usr/local:$PYTHONPATH
export PYTHONPATH=$PYTHONPATH:/home/**/devapp/caffe2/build  (**为计算机名)
export LD_LIBRARY_PATH=/usr/local/lib:$LD_LIBRARY_PATH

5、Detectron配置

还是那句话，最好的教程是官方的文档。

https://github.com/facebookresearch/Detectron/blob/master/INSTALL.md

找个合适的文件位置进行clone
git clone https://github.com/facebookresearch/detectron

编译python库
cd DETECTRON/lib && make （DETECTRON表示你clone下来的文件夹）
测试是否编译成功
python2 $DETECTRON/tests/test_spatial_narrow_as_op.py （DETECTRON表示你clone下来的文件夹）

如果遇到缺少库的问题，可以根据报错的信息把库加上

另外的问题可以参见官方的Troubleshooting

6、Detectron简单使用

参考

https://github.com/facebookresearch/Detectron/blob/master/GETTING_STARTED.md

训练相关的我们放到之后去说，这里先说下利用已经训练好的模型和算法框架来进行目标的检测。

根据不同的需求，对象检测可以分为几种，1）Bounding box，2）Mask，3）KeyPoints

这里给出两个例子，用mask和

python2 tools/infer_simple.py \
    --cfg configs/12_2017_baselines/e2e_mask_rcnn_R-101-FPN_2x.yaml \
    --output-dir /tmp/detectron-visualizations \
    --image-ext jpg \
    --wts https://s3-us-west-2.amazonaws.com/detectron/35861858/12_2017_baselines/e2e_mask_rcnn_R-101-FPN_2x.yaml.02_32_51.SgT4y1cO/output/train/coco_2014_train:coco_2014_valminusminival/generalized_rcnn/model_final.pkl \
    demo

python2 tools/infer_simple.py \
    --cfg configs/12_2017_baselines/e2e_keypoint_rcnn_R-101-FPN_s1x.yaml \
    --output-dir /tmp/detectron-visualizations \
    --image-ext jpg \
    --wts https://s3-us-west-2.amazonaws.com/detectron/37698009/12_2017_baselines/e2e_keypoint_rcnn_R-101-FPN_s1x.yaml.08_45_57.YkrJgP6O/output/train/keypoints_coco_2014_train%3Akeypoints_coco_2014_valminusminival/generalized_rcnn/model_final.pkl \
    demo

下面第一和第二个图是Bounding box和Mask的效果，第三和第四个图是Bounding box和人体骨骼keypoints的效果。