文献精读笔记

标题

3-微表情识别系统上的OFF-ApexNet

作者

Sze-Teng Lionga , Y.S. Ganb, , Wei-Chuen Yauc , Yen-Chang Huangd , Tan Lit Ken

期刊

SCI

发表时间

2019.5

具体研究内容

使用卷积神经网络 (CNN) 架构解决微表情识别任务，该架构很好地集成了从每个视频中提取的特征。引入了一个新的特征描述符，来自 Apex 框架网络 (OFF-ApexNet) 的光流特征。该特征描述符将光流引导上下文与 CNN 相结合。三正交平面上的局部二元模式（LBP-TOP）[31] 它能够捕获局部时空运动信息（即像素、区域和体积级别）。此外，它对由缩放、旋转或平移引起的几何变化具有鲁棒性。

研究方法/思路

使用D&C-RoIs 方法首先从每个图像的三个面部子区域（即“左眼+眉毛”、“右眼+眉毛”和“嘴巴”）计算 LBP 特征。然后，采用相关系数原理来获取LBP特征在设置帧与其余帧之间差异的变化。最后，对特征差异率采用分治策略来搜索顶点帧，从而指示局部最大值的帧索引。在将原始起始图像和顶点图像传递给 CNN 架构之前获得光流特征。光流能够指示帧之间明显的面部运动变化。它是基于两个图像之间的局部导数的图像模式的近似。具体来说，它旨在生成一个二维向量场；对于起始帧和顶点帧之间足够小的间隔时间（即小于 0.2 秒），假设表面斑块的亮度保持恒定。因此，最优表达流特征 pi,α 可以得到；最后，形成从两帧（即起始和顶点）计算的光流图来表示整个视频；提出了一种新的 2D-CNN 架构来执行特征学习任务。ApexNet（来自 Apex 框架网络的光流特征）架构的概念可视化。光流的水平和垂直分量被用作 CNN 的输入数据。两个独立训练的 CNN 模型（即分别训练 u 和 v）将被合并以在全连接层形成合成特征向量。然后将归一化的数据与卷积核相乘，在接下来的卷积层中形成特征图；然后将归一化的数据与卷积核相乘，在接下来的卷积层中形成特征图；下一层是池化层。它被用作子采样算子，以逐渐减小特征图表示的空间大小。因此，它可以有效地最小化 CNN 架构的计算复杂度。CNN 架构中的每一层（即卷积层和池化层）都刻意学习并将光流特征转换为其他子序列层中的更高级别的特征。然后，从输入数据导出的高级推理特征（即 Outu 和 Outv）在传递到下一个全连接层之前被展平和合并。接下来，来自全连接层的变换特征被传递到输出层。为了解决这个问题，使用 softmax 回归作为激活函数。可以使用（19）计算误差梯度。然后，通过使用随机 Adam 梯度下降更新网络的权重，预计来自多个输入的误差总和将最小化。因此，通过将所有三个数据集作为一个整体来考虑，它可以导致构建一个良好的预测模型。

研究创新点

1. 仅采用每个视频中的两个帧（即起始帧和顶点帧）来更好地表示重要的表达细节，并应用光流引导技术对运动进行编码流量特征。2. 提出一种新颖的特征提取器，它结合了手工（即光流）和数据驱动（即 CNN）特征。3. 实现一种新颖的 CNN 架构，能够突出有价值的输入特征并改进情绪状态预测。4. 对最近三个自发微表情数据库的提议方法进行综合评估，以验证其一致性和有效性。

研究结论

简而言之，引入了一种新颖的特征提取方法，即来自 Apex 框架网络 (OFF ApexNet) 的光流特征来识别微表情。顾名思义，它结合了手工制作的特征（即光流衍生组件）和完全数据驱动的架构（即卷积神经网络）。首先，从起始帧和顶点帧计算水平和垂直光流特征。然后，将这些特征输入到神经网络中，以进一步突出重要的表达信息。手工和数据驱动功能的利用能够在三个最近的最先进数据库（即 SMIC、CASME II 和 SAMM）上取得可喜的性能结果。请注意，这是在该领域的三个数据库上进行跨数据集验证的第一次尝试。结果，当将三个数据库作为一个整体考虑时，其 F 度量为 0.71，实现了 74.60% 的最高三类分类准确度。

研究不足与展望

这项工作的贡献指出了进一步研究的一些途径。例如，可以应用其他特征提取器（即 LBP、HOG、SIFT 等）来更好地表示运动细节，而不是利用光流特征。因此，有价值的输入数据将被传递给卷积神经网络架构进行特征丰富和选择，从而提高分类性能。此外，可以专注于处理这些数据库中数据不平衡的问题，以便所提出的方法可以在所有表​​达式中产生一致的良好识别结果。

引用内容

参考文献【22】所提出的16个ROI能够加速特征提取和过程分类，但是16个ROI的形状和大小并不灵活，因为他们严重的依赖检测器监测到的的特征坐标。还有【23】提出的把ROI数量减为三个区域，虽然这次设置的三个ROI大小和位置不同，但他们取决于坐标的位置。【25、26】则提出通过减少冗余帧，提高特征向量的辨别能力。【28、29】中仅使用顶点帧；因此，提出了几种 LBP 变体，其中一些变体在微表达分析中进行了检查，例如具有六个交点的局部二进制模式 (LBP-SIP) [32]、具有积分投影的时空局部二进制模式（STLBP-IP）[33]，完成的局部量化模式（STCLQP）[34]。作为光流的扩展，[40]推导出了更高阶的精确微分近似，即光应变。与光流相比，光应变在确定运动变化方面具有更好的性能，因为它能够保留相对有意义的面部肌肉运动 [41, 42]。

借鉴价值

引入了一种新颖的特征提取方法，即来自 Apex 框架网络 (OFF ApexNet) 的光流特征来识别微表情。顾名思义，它结合了手工制作的特征（即光流衍生组件）和完全数据驱动的架构（即卷积神经网络）。首先，从起始帧和顶点帧计算水平和垂直光流特征。然后，将这些特征输入到神经网络中，以进一步突出重要的表达信息。手工和数据驱动功能的利用能够在三个最近的最先进数据库（即 SMIC、CASME II 和 SAMM）上取得可喜的性能结果。请注意，这是在该领域的三个数据库上进行跨数据集验证的第一次尝试。