Hebbian principle
转自：https://blog.csdn.net/mao_xiao_feng/article/details/53350798
目前图像领域的深度学习，是使用更深的网络提升representation power，从而提高准确率，但是这会导致网络需要更新的参数爆炸式增长，导致两个严重的问题：
1、网络更容易过拟合，当数据集不全的时候，过拟合更容易发生，于是我们需要为网络feed大量的数据，但是制作样本集本身就是一件复杂的事情。
2、大量需要更新的参数就会导致需要大量的计算资源，而当下即使硬件快速发展，这样庞大的计算也是很昂贵的
解决以上问题的根本方法就是把全连接的网络变为稀疏连接（卷积层其实就是一个稀疏连接），当某个数据集的分布可以用一个稀疏网络表达的时候就可以通过分析某些激活值的相关性，将相关度高的神经元聚合，来获得一个稀疏的表示。
这种方法也呼应了Hebbian principle，一个很通俗的现象，先摇铃铛，之后给一只狗喂食，久而久之，狗听到铃铛就会口水连连。这也就是狗的“听到”铃铛的神经元与“控制”流口水的神经元之间的链接被加强了，而Hebbian principle的精确表达就是如果两个神经元常常同时产生动作电位，或者说同时激动（fire），这两个神经元之间的连接就会变强，反之则变弱（neurons that fire together, wire together）
Hebbian principle相关推荐
- Hebbian principle理解
http://blog.csdn.net/mao_xiao_feng/article/details/53350798 Hebbian principle 目前图像领域的深度学习,是使用更深的网络提升 ...
- 从LeNet到GoogLeNet：逐层详解，看卷积神经网络的进化
「免费学习 60+ 节公开课:投票页面,点击讲师头像」 作者 | MrCharles 来源 | CSDN原力计划获奖作品 (*点击阅读原文,查看作者更多文章) 前言 深度学习的兴起使卷积神经网络在计算 ...
- GoogleNet - Going deeper with convolutions
CVPR 2015 本文针对 ILSVRC14 提出了一个名叫 Inception 的深度卷积网络架构,主要是通过充分利用网络内的计算资源来提升网络性能,具体是通过在增加网络的宽度和深度同时控制住计算 ...
- DL之GoogleNet：GoogleNet(InceptionV1)算法的简介(论文介绍)、架构详解、案例应用等配图集合之详细攻略
DL之GoogleNet:GoogleNet(InceptionV1)算法的简介(论文介绍).架构详解.案例应用等配图集合之详细攻略 目录 GoogleNet算法的简介 GoogleNet算法的架构详 ...
- DNN结构演进History—CNN-GoogLeNet ：Going Deeper with Convolutions
抄袭了一片文章,进行少量修改:http://www.gageet.com/2014/09203.php 作者:Christian Szegedy( google ) 刘伟(北卡罗来纳 ...
- 读文献——《Going deeper with convolutions》
Going deeper with convolutions 其实这篇文献是在上一个BN那篇文献之前读的,读完这篇日常百度看看相关的时候看到有人推荐四篇相关的文章才去读的BN和ReNet.现在刚看完R ...
- 图像分类经典卷积神经网络—GoogLeNet论文翻译（中英文对照版）—Going Deeper with Convolutions（走向更深的卷积神经网络）
图像分类经典论文翻译汇总:[翻译汇总] 翻译pdf文件下载:[下载地址] 此版为中英文对照版,纯中文版请稳步:[GoogLeNet纯中文版] Going Deeper with Convolution ...
- 【论文翻译】GoogleNet网络论文中英对照翻译--（Going deeper with convolutions）
[开始时间]2018.09.25 [完成时间]2018.09.26 [论文翻译]GoogleNet网络论文中英对照翻译--(Going deeper with convolutions) [中文译名] ...
- GoogLeNet：《Going deeper with convolutions》论文详解
[名字] 1.标题中deep的双关含义: (1)以"Inception module"的形式引入的一种新层次的组织方式,境界更深 (2)网络深度(depth)更深 2.GoogLe ...
最新文章
- 会议更流畅，表情更生动！视频生成编码 VS 国际最新 VVC 标准
- Ribbon-饥饿加载
- Linux系统安全及应用（账号控制、su、sudo、开关机安全控制、终端登录安全控制等）
- ［转］一步步搭建Ubuntu环境——dpkg 被中断，您必须手工运行 sudo dpkg --configure -a 解决此问题——安装Flashplayer出错 ------不错...
- 嵌入式牛人 | 这些单片机编程思想超硬核
- Linux下如何挂载FAT32格式USB设备
- 全球再迎超级飓风，黑客可利用微软“蠕虫级”高危漏洞暴击全球
- Redis 中的过期元素是如何被处理的？「视频版」——面试突击 002 期
- Linux 免密登录和配置环境变量
- Javaweb第三周作业
- jqueryui时间插件_jQueryUI菜单插件教程示例
- lua : require' stn'
- 易语言获取html源码,易语言获取网页源码的方法
- matlab画全连接网络,无标度网络及MATLAB建模.pdf
- 微信小程序安全需求基线
- java编程进阶类_进阶Java编程(9)反射与类操作
- ImportError: cannot import name ‘PILLOW_VERSION‘ from ‘PIL‘ (/home/user8/anaconda3/envs/FCOS/lib/pyt
- Excel2003和Excel2007对下拉选择和下拉级联选择的操作以及java程序的调用
- 华为8c系统语言切换,华为荣耀畅玩8C双清教程_怎么清理缓存和恢复出厂设置
- 禾穗HERS | 没人diss你，你就厉害了？