继续咱们的“网络结构1000变”板块，最新上新的内容主要是动态推理的网络结构，即在测试时，对于不同的输入图像，表现不同的网络结构，下面是一个代表。

有三AI知识星球-网络结构1000变

通常来说模型训练完之后结构就是固定的，测试时图片沿着固定的通路进行计算。然而测试样本本身有不同的难度，简单的样本只需要少量的计算量就可以完成任务，困难的样本则需要更多的计算量， BranchyNet就实现了不同难度的样本在测试时运行不同网络的想法，其网络结构如下：

如上图所示，它在正常网络通道上包含了多个旁路分支，这样的思想是基于观察到随着网络的加深，表征能力越来越强，大部分简单的图片可以在较浅层时学习到足以识别的特征，如上图中的Exit 1通道。一些更难的样本需要进一步的学习，如上图中的Exit 2通道，而只有极少数样本需要整个网络，如Exit3通道。这样的思想可以实现精度和计算量的平衡，对于大部分样本，可以用更小的计算量完成任务。

那么如何判断是否可以提前结束呢？采用分类信息熵就可以了，一旦该通道的分类信息熵低于某一个阈值，说明已经以很高的置信度获得了分类的结果，直到最终的通道。

在训练的时候，每一个通道都会对损失有贡献，越靠近浅层的网络权重越大。多通道的损失不仅增强了梯度信息，也在一定程度上实现了正则化。

将BranchyNet的设计思想用于LeNet，AlexNet，ResNet结构后，在不同阈值下的精度，加速比统计如下：

对于拥有N个分支的网络，需要的就是N-1个阈值，因为最后一个分支不需要阈值。从上表可以看出，在维持性能的前提下，加速效果明显，LeNet系列网络可以让超过90%的样本在第一个分支提前终止，AlexNet也超过一半，ResNet超过了40%。

更多的相关网络结构，请查阅知识星球最近的“网络结构1000变”的内容！

转载文章请后台联系

侵权必究

往期精选

  • 有三AI知识星球官宣，BAT等大咖等你来撩

  • 揭秘7大AI学习板块，这个星球推荐你拥有

  • 有三AI“夏季划”出炉，今夏进阶中级CV算法工程师

  • 【知识星球】做作业还能赢奖金，传统图像/机器学习/深度学习尽在不言中

  • 【知识星球】网络结构1000变上线，下半年更新500+网络模型解读

【知识星球】动态推理网络结构上新，不是所有的网络都是不变的相关推荐

  1. 【知识星球】Attention网络结构上新，聚焦才能赢

    继续咱们的"网络结构1000变"板块,最近上新的内容主要是Attention机制相关的网络结构,即网络如何选择真正感兴趣的区域进行处理,下面是一个代表,更多请移步知识星球网络结构1 ...

  2. 【知识星球】3D网络结构解读系列上新

    欢迎大家来到<知识星球>专栏,这两天有三AI知识星球专注更新3D相关的网络模型解读,共10期左右.3D网络在视频数据,点云图像,3D医学图像,光流估计等领域有重要的作用,是当前的一类主流模 ...

  3. 【知识星球】千奇百怪的网络结构板块更新到哪里了？

    <网络结构>是有三AI知识星球的一个板块,在这里,我们会覆盖几乎所有有意义的网络结构,每日一更,配以图文阅读+论文下载,下面请看当前更新状态. 目前已经超过30篇文章了,内容覆盖了这些. ...

  4. 【知识星球】有没有网络模型是动态变化的，每次用的时候都不一样？

    欢迎大家来到<知识星球>专栏,这里是网络结构1000变小专题,今天给大家介绍一类网络结构,它是动态变化的,每一次使用的时候都不一样. 作者&编辑 | 言有三 1 训练时变化的网络结 ...

  5. 中秋假期快乐！不发技术文章，有三AI知识星球半价三天

    之前在朋友圈说好的中秋节三天不发文章,让大家也好好休息充电一下.昨天收到了不少粉丝朋友的中秋节祝福,为了感谢铁粉们,这个假期我们还是送大家一点东西吧. 月饼咱们就不送了,不值多少钱也不好吃.这三天有三 ...

  6. 【杂谈】为什么邀请大家加入硬核知识星球有三AI

    文/编辑 | 言有三 今天给大家介绍一下有三AI知识星球,推荐铁粉们加入.有三AI知识星球秉承公众号的风格,有以下几个特点. (1) 只做原创.星球内有三发布的所有内容均为原创,从不转载. (2) 传 ...

  7. 【知识星球】图像降噪模型和数据集内容开启更新，经典问题永垂不朽！

    欢迎大家来到<知识星球>专栏,这里是网络结构1000变小专题,今天介绍的是我们知识星球图像降噪模型和数据集相关专题上线. 作者&编辑 | 言有三 1 图像降噪问题 图像降噪是深度学 ...

  8. 【知识星球】softmax损失相关的小问题

    欢迎大家来到<知识星球>专栏,这里是AI1000问小专题. 作者&编辑 | 言有三 1 Softmax相关的问题 Softmax在图像分类,分割任务中是很常见的,关于它有些常见的小 ...

  9. 【知识星球】ElementAI提出超复杂多尺度细粒度图像分类Attention模型

    欢迎大家来到<知识星球>专栏,这里是网络结构1000变小专题. 作者&编辑 | 言有三 1 Attention模型 Attention机制已经被证明在很多的任务中都能提升其性能,我 ...

最新文章

  1. 微软重新释出MS10-015 解决蓝屏问题
  2. 图论 ---- 思维搜索全图任意位置传送 1520G - To Go Or Not To Go?
  3. 计算机网络09年考研题,计算机网络考研真题及答案
  4. 01_Mybatis入门
  5. linux之Vim使用
  6. python时间格式化代码_Python datetime格式化代码
  7. 关于SAP Cloud for Customer Cloud Application Studio登录失败的问题
  8. RocketMQ基础概念剖析源码解析
  9. 整理各个平台的访问入口及快速推文的方法
  10. km算法c语言,KM算法最好的讲解+POJ2195[KM算法+最小费用流]
  11. C++_选择结构_switch语句_循环结构while_while案例猜数字_do while循环_dowhile案例水仙花数_---C++语言工作笔记017
  12. tile布局的ButtonBar
  13. ajax调用方式汇总
  14. Linux常用到的命令
  15. 网站备案靠谱吗_网上出现的代理备案可信？为什么可以4-7天备案成功？
  16. css竖向箭头符号_如何使用CSS制作箭头符号
  17. leetcode237
  18. IT行业现在的就业前景怎么样？
  19. 关于多卡Android设备获取手机号的研究
  20. win10安装Ubuntu16.04

热门文章

  1. 我去，还在这样读写 excel 这也太低效了吧，好办法来了
  2. shiro整合ehcache
  3. 蓝桥杯-队列操作（java）
  4. servlet的重定向错误
  5. java中打开指定的文件夹
  6. 写给小白看的硬核递归(低调点，当回小白)
  7. Java里的容器 Collection 简介
  8. mysql锁相关讲解及其应用——《深究mysql锁》
  9. JSP脚本 9大内置对象
  10. java 栈内存结构_JVM内存结构概念解析