How to represent part-whole hierarchies in a neural network

21年2月底，深度学习教父Hinton发表了一篇新的论文《How to represent part-whole hierarchies in a neural network》。这是自2017年开展胶囊网络研究以来的第四篇文章，是神经网络领域研究的最前沿，也可以认为是胶囊神经网络的第四版。作为一篇idea类型的纯理论文章，仅仅提出了一个尚未被实现的理想系统，称为GLOM，作者鼓励其他研究者按照此思路进行展开。本文探讨此研究所涉及的理论基础，内容结构如下：

介绍胶囊网络
文章对Transformer的改进
对比学习的概念
知识蒸馏的使用
神经场的使用

胶囊神经网络

自2017年以来，Hinton提出了三个版本的胶囊神经网络。首先是基于动态路由的胶囊网络。

其计算步骤为：

输入向量的矩阵乘法 ：胶囊接收的输入向量（上图中的u1、u2和u3）来自下层的3个胶囊。这些向量的长度表示对象存在的概率，向量的方向表示对象的一些内部状态。接着将这些向量乘以相应的权重矩阵W。W编码了低层特征（眼睛、嘴巴和鼻子）和高层特征（面部）之间的空间关系和其他重要关系。乘以这些矩阵W后，我们得到的是高层特征的预测位置。例如，û1表示根据检测出的眼睛的位置，面部应该在什么位置，û2表示根据检测出的嘴巴的位置，面部应该在什么位置，û3表示根据检测出的鼻子的位置，面部应该在什么位置。如果这三个低层特征的预测指向的位置和状态与面部的位置和状态相同，那么面部必然存在；
输入向量的标量加权 ：这个步骤和普通神经元的对应步骤很接近，但是普通神经元的权重是通过反向传播学习的，而胶囊则使用“动态路由”，这是一种确定每个胶囊的输出的新方法。一个低层胶囊需要“决定”将它的输出发送给哪个高层胶囊。它将通过调整权重C做出决定，胶囊在传递输出前，先将输出乘以这个权重，高层胶囊接收到来自其他低层胶囊的向量。动态路由算法可以让低层胶囊测量哪个高层胶囊更能接受其输出，并据此自动调整权重，使对应胶囊的权重变高。
加权输入向量之和：这一步骤表示输入的组合，和通常的人工神经网络差不多。
挤压函数——向量到向量的非线性变换：CapsNet的另一大创新是新颖的非线性激活函数，这个函数接受一个向量，然后在不改变方向的前提下，压缩它的长度到1以下，可以解释为胶囊检测的给定特征的概率并且压缩输入向量的标量而不改变其方向。输出向量的长度代表胶囊检测的给定特征的概率。
在2018和2019年，Hinton又推出EM胶囊网络和基于Set Transformer的胶囊网络。虽然在特定任务上胶囊网络的表现不错，但是其本身的缺陷限制了它在其他特定任务上的表现，即需要给part-whole层次结构中的节点预先分配固定数量的神经元。文章提出的GLOM使用了完全不同的架构。

改进的Transformer

Transformer中的Attention机制使用了Q、K、V三个矩阵，即query向量与key向量的转置做点积，再使用Softmax进行输出，结果乘以values向量。而在GLOM中，Hinton使Q = K = V = Embedding 向量，其背后的动机在于，让Embedding向量本身就是query向量与key向量，使得Attention机制倾向于重点关注和自己相似的向量，让相似的向量互相吸收、互相接近，从而达到聚集的效果。

对比学习

以Hinton组在2020年发表的SimCLR对比学习模型为例，其主要部分如下：

对给定的输入图片，使用数据增强技术，得到两个相关的图片；
f(·)是一个编码器，获得图片的特征表示；
g(·)是一个映射函数，讲特征表示映射到对比损失空间；
定义损失函数，最小化同类型输入的损失函数，最大化不同类型输入的损失函数；

此处引用 Mohammad Norouzi 对此的精炼描述：

随机抽取一个小批量
给每个例子绘制两个独立的增强函数
使用两种增强机制，为每个示例生成两个互相关联的视图
让相关视图互相吸引，同时排斥其他示例

知识蒸馏

所谓知识蒸馏，即定义一个教师模型、一个学生模型，使用教师模型来诱导学生模型进行训练，实现知识迁移。教师网络的推理性能通常要优于学生网络，且教师网络推理精度越高，越有利于学生网络的学习。在GLOM中，把Top-down神经网络和Bottom-up神经网络作为学生模型，把二者达成一致（Agreement）作为教师模型。

神经场

对于一张图片信息，想要定位代表某个图片块的Embedding的位置，就需要有一个额外的位置输入，例如Transfomer中的position embedding，我们引入神经场（Neural Fields），获取整张图片各个小块的位置信息，即给每个图像块标记坐标信息，从而实现了定位的效果。

在下篇文章里，将着重探讨GLOM模型的结构，以及笔者对此对此模型的一点改进，也欢迎读者指出纰漏。

Hinton胶囊神经网络新作How to represent part-whole hierarchies in a neural network（一）相关推荐

python中forward的作用_基于numpy的前馈神经网络(feedforward neural network)
*** 这几天在上Andrew Ng教授开的Coursera系列课程Deep Learning,总觉得光是看视频和做作业还不够,还是得自己动手写写代码,亲自实现课程里提到的算法内容,于是便有了这篇博客 ...
论文阅读-2022.1.2-A Neural Network Approach for_2016_一种用于知识驱动响应生成的神经网络方法
摘要 We present a novel response generation system.我们提出了一种新颖的响应生成系统. The system assumes the hypothesis ...
卷积神经网络Convolutional Neural Network (CNN)
卷积神经网络转载请注明:http://blog.csdn.net/stdcoutzyx/article/details/41596663 自今年七月份以来,一直在实验室负责卷积神经网络(Convol ...
Recurrent Neural Network(循环神经网络)
Reference: Alex Graves的[Supervised Sequence Labelling with RecurrentNeural Networks] Alex是RNN最著名变种 ...
非常详细的讲解让你深刻理解神经网络NN(neural network)
作者:RayChiu_Labloy 版权声明:著作权归作者所有,商业转载请联系作者获得授权,非商业转载请注明出处目录什么是神经网络NN.人工神经网络ANN 神经元(神经网络的基本单元) 概念详解 ...
基于语义规则的胶囊网络跨域情感分类：Cross-Domain Sentiment Classification by Capsule Network With Semantic Rules
基于语义规则的胶囊网络跨域情感分类论文 ABSTRACT I. INTRODUCTION II. RELATED WORK A. CROSS-DOMAIN SENTIMENT CLASSIFICAT ...
一步一步分析讲解深度神经网络基础-Convolutional Neural Network
Convolutional Neural Network 参考http://cs231n.github.io/convolutional-networks/ history Convolutional ...
Paper：《Distilling the Knowledge in a Neural Network神经网络中的知识蒸馏》翻译与解读
Paper:<Distilling the Knowledge in a Neural Network神经网络中的知识蒸馏>翻译与解读目录 <Distilling the Know ...
图神经网络方法总结（Graph Neural Network）
图神经网络方法(Graph Neural Network) 概要近年来图神经网络受到大家越来越多的关注,在文本分类(Text classification),序列标注(Sequence labeli ...

Hinton胶囊神经网络新作How to represent part-whole hierarchies in a neural network（一）