【人脸识别实战一】系统架构设计

1、前言

《人脸识别实战》系列文章将讲述一个人脸识别系统的设计与实现过程。本文是系列文章的开篇，主要描述系统的整体架构和各模块的功能职责，以及系统所需要的环境依赖部署。详细的设计细节及项目源码地址在以下的公众号发布：

文章同步更新在公众号 AIPlayer，欢迎扫码关注，共同进步

2、系统整体架构

2.1 服务器端

（1）网络消息处理模块

主要负责管理客户端发送来的网络连接请求、消息数据的收发与数据协议解析，以及对图像数据的编解码处理。在系统中以JSON格式进行消息封装，使用TCP连接进行收发通信，而图像数据的解码仅支持OpenCV对图像数据的编解码操作。

（2）图像处理模块

图像处理模块负责处理人脸图像的数据，需要实现的功能包括：

人脸检测：如果客户端发送来的图像数据是人脸图像则不需要再进行检测，否则就需要对人脸进行检测。系统将采用基于ncnn实现的MTCNN算法进行部署。
人脸对齐：将检测到的人脸图像区域调整到正常角度，系统中将使用OpenCV的仿射变换来进行对齐。
人脸特征提取：系统将集成FaceNet和InsightFace两种算法进行人脸的特征提取。
人脸特征比对：使用欧式距离进行人脸特征比对，在阈值范围内选择最小值作为比对结果。

（3）数据库管理模块

数据库管理模块负责数据库的连接与管理以及用户数据的增删改查，主要包括新用户的信息及人脸特征的注册与删除，以及人脸特征比对时的查询操作。系统中使用MySql数据库作为存储仓库。

2.2 客户端

（1）网络处理模块

主要的功能与服务器端相同，可以复用。

（2）图像处理模块

图像处理模块在客户端中仅需要实现人脸检测及人脸对齐即可。

3、环境部署

3.1 依赖

（1）硬件依赖

服务器端：需要运行的人脸特征算法比较耗时，需要GPU加速支持。
客户端：摄像头读取图像，处理器仅需要CPU即可。

（2）软件依赖

服务器端
- Tensorflow C++动态库：用于支持FaceNet与InsightFace的运行。
- OpenCV C++动态库：用于支持图像数据读取，编解码，人脸对齐等操作。
- ncnn：用于实现MTCNN。
- Cuda：支持GPU运行。
- MySql：数据库开发库。
客户端
- OpenCV：用于支持图像数据读取，编解码及人脸对齐等操作。
- ncnn：用于实现MTCNN算法的人脸检测。

3.2 环境部署

（1）基础依赖安装

sudo apt-get install -y cmake
sudo apt-get install -y libeigen3-dev
sudo apt-get install -y zlib1g zlib1g.dev
sudo apt-get install -y build-essential libgtk2.0-dev libavcodec-dev
sudo apt-get install -y libavformat-dev libjpeg-dev libtiff5-dev
sudo apt-get install -y libswscale-dev libjasper-dev
sudo apt-get install mysql-server mysql-client libmysqlclient-dev
sudo apt-get install libopenblas-dev

（2）OpenCV编译安装

wget https://github.com/opencv/opencv/archive/4.1.1.zip
sudo apt-get install -y unzip
unzip -x 4.1.1.zip
OPENCV_DIR=$(pwd)/opencv-4.1.1
cd $OPENCV_DIR
mkdir build
cd build
cmake -D CMAKE_BUILD_TYPE=Release -D CMAKE_INSTALL_PREFIX=/usr/local ..
sudo make
sudo make install
sudo echo /usr/local/lib  >> /etc/ld.so.conf.d/opencv.conf
sudo ldconfig
sudo echo -e "PKG_CONFIG_PATH=\$PKG_CONFIG_PATH:/usr/local/lib/pkgconfig\nexport PKG_CONFIG_PATH"  >>  /etc/bash.bashrc
source /etc/bash.bashrc
sudo updatedb

（3）tensorflow动态库编译

下载源码

git clone https://github.com/tensorflow/tensorflow.git

cd到tensorflow目录，更新到1.14版本

git checkout r1.14

执行./configure进行项目配置
使用bazel工具进行编译

bazel build --config=opt //tensorflow:libtensorflow_cc.so

编译完成后，在tensorflow根目录下出现 bazel-bin, bazel-genfiles 等文件夹, 按顺序执行以下命令将对应的libtensorflow_cc.so文件和其他文件拷贝进入 /usr/local/lib/ 目录完成后就准备好了tensorflow_cc.so文件，后面在C++编译环境和代码目录下编译时链接这些库即可，比如在CMakefile.txt中添加

mkdir /usr/local/include/tf
cp -r bazel-genfiles/ /usr/local/include/tf/
cp -r tensorflow /usr/local/include/tf/
cp -r third_party /usr/local/include/tf/
cp -r bazel-bin/tensorflow/libtensorflow* /usr/local/lib/

完成后就准备好了tensorflow_cc.so文件，后面在C++编译环境和代码目录下编译时链接这些库即可，比如在CMakefile.txt中添加

include_directories(/usr/local/include/tf)
target_link_libraries(face_id -ltensorflow_cc -ltensorflow_framework)

（4）Cuda安装
可以参考官网及其它网络资源的教程，这里不再详述。

后续文章发布在公众号 AIPlayer，欢迎扫码关注，共同进步