如何理解卷积神经网络中的权值共享

权值共享这个词最开始其实是由LeNet5模型提出来，在1998年，LeCun发布了LeNet网络架构，就是下面这个：

虽然现在大多数的说法是2012年的AlexNet网络是深度学习的开端，但是CNN的开端最早其实可以追溯到LeNet5模型，它的几个特性在2010年初的卷积神经网络研究中被广泛的使用——其中一个就是权值共享。

其实权值共享这个词说全了就是整张图片在使用同一个卷积核内的参数，比如一个331的卷积核，这个卷积核内9个的参数被整张图共享，而不会因为图像内位置的不同而改变卷积核内的权系数。说的再直白一些，就是用一个卷积核不改变其内权系数的情况下卷积处理整张图片（当然CNN中每一层不会只有一个卷积核的，这样说只是为了方便解释而已）。

是的，就是这样，很简单的一个操作而已，这样来说的话，其实图像处理中的类似边缘检测，滤波操作等等都是在做全局共享，那么为什么当时要把这个思路拿出来说明一下，然后又给它起了一个名字呢？
（以下部分是个人理解，如果有不对的地方，还望指正！！）
我们大部分人都是在后知后觉中发现这个问题很简单，但是只有大神才能做先驱者！LeNet首次把卷积的思想加入到神经网络模型中，这是一项开创性的工作，而在此之前，神经网络输入的都是提取到的特征而已，就比如想要做一个房价预测，我们选取了房屋面积，卧室个数等等数据作为特征。而将卷积核引入到了神经网络去处理图片后，自然而然就会出现一个问题，神经网络的输入是什么？如果还是一个个像素点上的像素值的话，那就意味着每一个像素值都会对应一个权系数，这样就带来了两个问题：
1.每一层都会有大量的参数
2.将像素值作为输入特征本质上和传统的神经网络没有区别，并没有利用到图像空间上的局部相关性。

而权值共享的卷积操作有效解决了这个问题，无论图像的尺寸是多大，都可以选择固定尺寸的卷积核，LeNet中最大的卷积核只有551，而在AlexNet中最大的卷积核也不过是11113。而卷积操作保证了每一个像素都有一个权系数，只是这些系数是被整个图片共享的，着大大减少了卷积核中的参数量。此外卷积操作利用了图片空间上的局部相关性，这也就是CNN与传统神经网络或机器学习的一个最大的不同点，特征的自动提取。
这也就是为什么卷积层往往会有多个卷积核（甚至几十个，上百个），因为权值共享后意味着每一个卷积核只能提取到一种特征，为了增加CNN的表达能力，当然需要多个核，不幸的是，它是一个Hyper-Parameter。

如何理解卷积神经网络中的权值共享相关推荐

理解卷积神经网络中的权值共享
首先介绍单层网络实行的权重共享袁力介绍简单从共享的角度来说:权重共享即filter的值共享卷积神经网络两大核心思想: 1.网络局部连接(Local Connectivity) 2.卷积核参数共享( ...
卷积神经网络中的权值共享
一.起源权值共享这个词最开始其实是由LeNet5模型提出来,在1998年,LeCun发布了LeNet网络架构其实权值共享这个词说全了就是整张图片在使用同一个卷积核内的参数,比如一个3*3*1的卷积 ...
神经网络中的权值共享
2012年的AlexNet网络是深度学习的开端,但是CNN的开端最早其实可以追溯到LeNet5模型,它的几个特性在2010年初的卷积神经网络研究中被广泛的使用--其中一个就是权值共享. 神经网络的输入 ...
xml文件卷积神经网络_理解卷积神经网络中的输入与输出形状(Keras实现)
即使我们从理论上理解了卷积神经网络,在实际进行将数据拟合到网络时,很多人仍然对其网络的输入和输出形状(shape)感到困惑.本文章将帮助你理解卷积神经网络的输入和输出形状. 让我们看看一个例子.CNN ...
如何理解CNN中的权值共享
记录一下深度学习中CNN中的权值共享首先,卷积网络的核心思想是将:局部感受野.权值共享(或者权值复制)以及时间或空间亚采样这三种结构思想结合起来获得了某种程度的位移.尺度.形变不变性. 通俗理解,所 ...
【TensorFlow】TensorFlow从浅入深系列之十二 -- 教你深入理解卷积神经网络中的池化层
本文是<TensorFlow从浅入深>系列之第12篇 TensorFlow从浅入深系列之一 -- 教你如何设置学习率(指数衰减法) TensorFlow从浅入深系列之二 -- 教你通过思维 ...
如何理解卷积神经网络中的通道（channel）
在卷积神经网络中我们通常需要输入 in_channels 和 out_channels ,即输入通道数和输出通道数,它们代表什么意思呢?本文将给出一个形象的理解. 对于通道的理解可以参考下面的这篇文章 ...
如何理解卷积神经网络中的1*1卷积
原文:http://blog.csdn.net/chaipp0607/article/details/60868689 我们都知道,卷积核的作用在于特征的抽取,越是大的卷积核尺寸就意味着更大的感受野, ...
理解卷积神经网络中的输入与输出形状 | 视觉入门
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达译者|VK 来源|Towards Data Science 即使我 ...

如何理解卷积神经网络中的权值共享

如何理解卷积神经网络中的权值共享相关推荐

最新文章

热门文章