深度模型（三）：Capsule

胶囊网络

胶囊与传统神经元比较：

	胶囊	传统神经元
输入类型	向量ui,i∈[1,m]\mathbf{u}_i,i\in[1,m]ui,i∈[1,m]，mmm表示底层胶囊数量	标量xi,i∈[1,m]x_i,i\in[1,m]xi,i∈[1,m]，m表示底层神经元数量
仿射变换	u^j∣i=Wijui\mathbf{\widehat u}_{j\lvert i}=\mathbf{W}_{ij}\mathbf{u}_iuj∣i=Wijui	不支持
加权求和	sj=∑i=1mciju^j∣i\mathbf{s}_j=\sum_{i=1}^mc_{ij}\mathbf{\widehat u}_{j\lvert i}sj=∑i=1mcijuj∣i	aj=∑i=1mwixi+ba_j=\sum_{i=1}^mw_ix_i+baj=∑i=1mwixi+b
激活函数	vj=∣∣sj∣∣21+∣∣sj∣∣2sj∣∣sj∣∣\mathbf{v}_j=\frac{\lvert\lvert\mathbf{s}_j\rvert\rvert^2}{1+\lvert\lvert\mathbf{s}_j\rvert\rvert^2}\frac{\mathbf{s}_j}{\lvert\lvert\mathbf{s}_j\rvert\rvert}vj=1+∣∣sj∣∣2∣∣sj∣∣2∣∣sj∣∣sj	hj=sigmoid(aj)h_j=sigmoid(a_j)hj=sigmoid(aj)
输出	向量vj\mathbf{v}_jvj	标量hjh_jhj
训练算法	动态路由	梯度下降

动态路由算法

原论文中对动态路由算法的描述如下:

算法的输入为输入网络层lll以及它的所有输出u^j∣i\mathbf{\widehat u}_{j\lvert i}uj∣i，以及算法迭代次数rrr。
第2行，初始化参数bij=0b_{ij}=0bij=0
第3，5，6行，前向计算胶囊输出vj\mathbf{v}_{j}vj。
第7行，更新参数bij←bij+u^j∣i⋅vjb_{ij}\leftarrow b_{ij}+\mathbf{\widehat u}_{j\lvert i}\cdot \mathbf{v}_jbij←bij+uj∣i⋅vj
迭代rrr次以后，算法完成

深度模型（三）：Capsule相关推荐

昨日种种已得奖，那深度学习三巨头今天在忙什么？
上周,AI圈最大的事情,没有之一,就是图灵奖,终于终于,终于颁给了深度学习三巨头. 关于Geoffrey Hinton和他的两位学生Yoshua Bengio.Yann LeCun的故事,在消息出来后 ...
深度学习三巨头共同发文，聊聊深度学习的过去、现在与未来
作者|Yoshua Bengio,Yann LeCun,Geoffrey Hinton 译者|香槟超新星出品|AI科技大本营(ID:rgznai100) 人工神经网络领域的研究是基于对人类智能的观察 ...
旷视张祥雨：高效轻量级深度模型的研究和实践 | AI ProCon 2019
演讲嘉宾 | 张祥雨(旷视研究院主任研究员.基础模型组负责人) 编辑 | Just 出品 | AI科技大本营(ID:rgznai100) 基础模型是现代视觉识别系统中一个至关重要的关注点.基础模型的优 ...
深度学习三巨头也成了大眼萌，这个一键转换动画电影形象的网站竟因「太火」而下线...
机器之心报道作者:魔王.杜伟想不想在动画电影中拥有自己的角色?这个网站一键满足你的需求,不过竟因流量太大成本过高而下线. 近期热映的电影<花木兰>总是让人回想起 1998 年上映的同名 ...
《预训练周刊》第39期：深度模型、提示学习
No.39 智源社区预训练组预训练研究观点资源活动周刊订阅告诉大家一个好消息,<预训练周刊>已经开启"订阅功能",以后我们会向您自动推送最新版的&l ...
实至名归！ACM宣布深度学习三巨头共同获得图灵奖
昨日晚间,ACM(国际计算机学会)宣布,有"深度学习三巨头"之称的Yoshua Bengio.Yann LeCun.Geoffrey Hinton共同获得了2018年的图灵奖,这是 ...
MIT提出Matlab插件mNeuron：实现深度模型神经元的可视化
MIT提出Matlab插件mNeuron:实现深度模型神经元的可视化 By 黄小天2017年6月27日 15:49 近日,麻省理工学院(MIT)Antonio Torralba 等人发表了一篇题为&l ...
推荐系统CTR预估学习路线：深度模型
推荐系统CTR预估学习路线:从LR到FM/FFM探索二阶特征的高效实现推荐系统CTR预估学习路线:利用树模型自动化特征工程推荐系统CTR预估学习路线:深度模型推荐系统CTR预估学习路线:引入注意 ...
从DSSM语义匹配到Google的双塔深度模型召回和广告场景中的双塔模型思考
▼ 相关推荐 ▼ 1.基于DNN的推荐算法介绍 2.传统机器学习和前沿深度学习推荐模型演化关系 3.论文|AGREE-基于注意力机制的群组推荐(附代码) 4.论文|被"玩烂"了的协 ...
论文浅尝 | 使用预训练深度模型和迁移学习方法的端到端模糊实体匹配
论文笔记整理:高凤宁,南京大学硕士,研究方向为知识图谱.实体消解. 链接:https://doi.org/10.1145/3308558.3313578 动机目前实体匹配过程中实体之间的差异比较微妙 ...

深度模型（三）：Capsule

胶囊网络

动态路由算法

深度模型（三）：Capsule相关推荐

最新文章

热门文章