LeNet5网络的来源：Lécun Y, Bottou L, Bengio Y, et al. Gradient-based learning applied to document recognition[J]. Proceedings of the IEEE, 1998, 86(11):2278-2324.

1. 卷积神经网络（Convolutional Neural Network，CNN）基本介绍

1.1 CNN的组成部分

卷积神经网络CNN(Convolutional Neural Network)，是一类深度神经网络，最常用于分析视觉图像。一个卷积神经网络通常包括输入输出层和多个隐藏层，隐藏层通常包括卷积层和RELU层（即激活函数）、池化层、全连接层和归一化层等。
1.输入层
CNN的输入一般是二维向量，可以有高度，比如，RGB图像。
2.卷积层
卷积层是CNN的核心，层的参数由一组可学习的滤波器（filter）或内核（kernels）组成，它们具有小的感受野，延伸到输入容积的整个深度。卷积层的作用是对输入层进行卷积，提取更高层次的特征。
3.池化层
池化层（又称为下采样），它的作用是减小数据处理量同时保留有用信息，池化层的作用可以描述为模糊图像，丢掉了一些不是那么重要的特征。池化层一般包括均值池化、最大池化、高斯池化、可训练池化等。

4.激活层
激活层主要是把卷积层输出结果做非线性映射，常用的激励函数有ReLU、sigmoid、tanh、LeakyReLU等。CNN采用的激励函数一般为ReLU(The Rectified Linear Unit，修正线性单元)，它的特点是收敛快，求梯度简单，但较脆弱。

5.全连接层
全连接层是一个常规的神经网络，它的作用是对经过多次卷积层和多次池化层所得出来的高级特征进行全连接（全连接就是常规神经网络的性质），算出最后的预测值。
6.输出层
输出层输出对结果的预测值，一般会加一个softmax层。

1.2 CNN的特点

CNN主要有三大特色，分别是局部感知、权重共享和多卷积核。
1. 局部感知
局部感知就是我们上面说的感受野，实际上就是卷积核和图像卷积的时候，每次卷积核所覆盖的像素只是一小部分，是局部特征，所以说是局部感知。CNN是一个从局部到整体的过程（局部到整体的实现是在全连通层），而传统的神经网络是整体的过程。

2. 权重共享
权值共享：不同的图像或者同一张图像共用一个卷积核，减少重复的卷积核。同一张图像当中可能会出现相同的特征，共享卷积核能够进一步减少权值参数。
3. 多卷积核
一种卷积核代表的是一种特征，为获得更多不同的特征集合，卷积层会有多个卷积核，生成不同的特征，这也是为什么卷积后的图片的高，每一个图片代表不同的特征。

2. LeNet5

LeNet5源自Yann LeCun的论文“Gradient-Based Learning Applied to Document Recognition”,是一种用于手写体字符识别的非常高效的卷积神经网络。

2.1 LeNet5结构

LeNet5网络虽然很小，但是包含了深度学习的基本模块：卷积层、池化层、全连接层。LeNet5共有七层，不包含输入，每层都包含可训练参数，每个层有多个Feature Map，每个Feature Map通过一种卷积滤波器提取输入的一种特征，然后每Feature Map有多个神经元。
输入： 32∗3232*3232∗32的手写字体图片，这些手写字体包含0-9数字，也就是相当于10个类别的图片。
输出： 分类结果，0-9之间的一个数（softmax）

2.2 各层结构及参数

1. INPUT（输入层）
32∗3232*3232∗32的图片，共有1024个神经元。

2. C1(卷积层)
选取6个5∗55*55∗5卷积核(不包含偏置),得到6个特征图，每个特征图的大小为32−5+1=2832-5+1=2832−5+1=28，也就是神经元的个数由1024减小到了28∗28=78428*28=78428∗28=784 。
输入层与C1层之间的参数：6∗(5∗5+1)6*(5*5+1)6∗(5∗5+1) ，对于卷积层C1，每个像素都与前一层的5∗55*55∗5个像素和1一个bias有连接，有6∗(5∗5+1)∗(28∗28)6*(5*5+1)*(28*28)6∗(5∗5+1)∗(28∗28)个连接。

3. S2（池化层）
池化层是一个下采样层，有6个14∗1414*1414∗14的特征图，特征图中的每个单元与C1中相对应特征图的2∗22*22∗2邻域连接。S2层每个单元对应C1中4个求和，乘以一个可训练参数，再加上一个可训练偏置。
C1与S2之间的参数： 每一个2∗22*22∗2 求和，然后乘以一个参数，加上一个偏置，共计2∗6=122*6=122∗6=12个参数。S2中的每个像素都与C1中的2∗22*22∗2个像素和1个偏置相连接，所以有6∗5∗14∗14=58806*5*14*14=58806∗5∗14∗14=5880个链接。

4. C3（卷积层）
选取卷积核大小为5∗55*55∗5，得到新的图片大小为10∗1010*1010∗10。
S2与C3之间的组合： 如图所示 前6个feature map与S2层相连的3个feature map相连接，后面6个feature map与S2层相连的4个feature map相连接，后面3个feature map与S2层部分不相连的4个feature map相连接，最后一个与S2层的所有feature map相连。卷积核的大小依然为5∗55*55∗5，总共有6∗(3∗5∗5+1)+6∗(4∗5∗5+1)+3∗(4∗5∗5+1)+1∗(6∗5∗5+1)=15166*(3*5*5+1)+6*(4*5*5+1)+3*(4*5*5+1)+1*(6*5*5+1)=15166∗(3∗5∗5+1)+6∗(4∗5∗5+1)+3∗(4∗5∗5+1)+1∗(6∗5∗5+1)=1516个参数。而图像大小为10∗1010*1010∗10，所以共有151600个连接。

5. S4（池化层）
窗口大小为2∗22*22∗2，有16个特征图，共有32个参数。
C3与S4之间的参数：16∗(25∗4+25)=200016*(25*4+25)=200016∗(25∗4+25)=2000个连接。

6. C5（卷积层）
总共120个feature map，每个feature map与S4层所有的feature map相连接，卷积核大小为5∗55*55∗5，而S4层的feature map的大小也是5∗55*55∗5，所以C5的feature map就变成了一个点，共计有120∗(25∗16+1)=48120120*(25*16+1)=48120120∗(25∗16+1)=48120个参数。

7. F6（全连接层）
F6相当于MLP（Multi-Layer Perceptron，多层感知机）中的隐含层，有84个节点，所以有84∗(120+1)=1016484*(120+1)=1016484∗(120+1)=10164个参数，F6采用了sigmoid函数。

8. Output（输出层）
全连接层，共有10个节点，采用的是径向基函数（RBF）的网络连接方式。

3. 总结

LeNet5是一种用于手写体字符识别的非常高效的卷积神经网络。
卷积神经网络能够很好的利用图像的结构信息。
卷积层的参数较少，这也是由卷积层的主要特性即局部连接和共享权重所决定。

4. 参考

CNN初探
Concolutional neural network----WikiPedia
卷积神经网络（CNN）详解
卷积神经网络（CNN）详解
LeNet-5详解
LeNet-5网络结构解析
1.CNN学习笔记——理解结构，LeNet5介绍

LeNet5的论文及理解相关推荐

《SQUID: Deep Feature In-Painting for Unsupervised Anomaly Detection》论文阅读理解
<SQUID: Deep Feature In-Painting for Unsupervised Anomaly Detection>论文阅读理解领域:用于医学图像的异常检测论文地址 ...
SIGIR阿里论文 | 可视化理解深度神经网络CTR预估模型
小叽导读:尽管业界对于图像处理和自然语言处理领域,在算法可解释性方向上已经取得了一些进展,但对于电商与广告领域,目前还是空白.另一方面,深度学习技术已经开始被大规模应用到广告业务中.广告是很多互联网现 ...
Deep Learning（深度学习）学习笔记整理系列之LeNet-5卷积参数个人理解
一个典型的例子说明一种典型的用来识别数字的卷积网络是LeNet-5(效果和paper等见这).当年美国大多数银行就是用它来识别支票上面的手写数字的.能够达到这种商用的地步,它的准确性可想而知.毕竟目 ...
Visual Translation Embedding Network for Visual Relation Detection论文中的术语以及对论文的理解笔记...
弄懂基本上的专有术语以后,阅读理解论文的速度就会大大增快,所以,看到每篇论文的生词就记录下来,方便以后查阅和学习! 2.中的术语:object dection(目标检测),region proposa ...
❀论文篇❀注意力机制SE论文的理解
Squeeze-and-Excitation Networks(SENet) 论文地址:https://arxiv.org/abs/1709.01507 主要思想: 提出SE block 优点: 增强 ...
WS_DAN论文要点理解
近期在学习See Better Before Looking Closer: Weakly Supervised Data Augmentation Network for Fine-Grained ...
论文-阅读理解-Adversary Resistant Deep Neural Networks with an Application to Malware Detection
整体来说,Adversary Resistant DeepNeural Networks with an Application to Malware Detection 这篇论文是利用了生成对抗网络 ...
异质网络模型HetGNN论文总结理解
论文题目:Heterogeneous Graph Neural Network 论文来源:KDD 2019 论文链接:https://www3.nd.edu/~dial/publications/zh ...
【机器学习算法实践】lightGBM将可解释的机器学习实现工业落地，小数据量机器学习就够了，大数据量还得深度学习。推荐看论文进行理解，boosting方法有残差的感觉了
LightGBM是2017年由微软推出的可扩展机器学习系统,是微软旗下DMKT的一个开源项目,由2014年首届阿里巴巴大数据竞赛获胜者之一柯国霖老师带领开发.它是一款基于GBDT(梯度提升决策树)算法 ...

LeNet5的论文及理解