AlexNet创新点

AlexNet主要使用到的新技术点如下。

（1）成功使用ReLU作为CNN的激活函数，并验证其效果在较深的网络超过了Sigmoid，成功解决了Sigmoid在网络较深时的梯度弥散问题。虽然ReLU激活函数在很久之前就被提出了，但是直到AlexNet的出现才将其发扬光大。

（2）训练时使用Dropout随机忽略一部分神经元，以避免模型过拟合。Dropout虽有单独的论文论述，但是AlexNet将其实用化，通过实践证实了它的效果。在AlexNet中主要是最后几个全连接层使用了Dropout。

（3）在CNN中使用重叠的最大池化。此前CNN中普遍使用平均池化，AlexNet全部使用最大池化，避免平均池化的模糊化效果。并且AlexNet中提出让步长比池化核的尺寸小，这样池化层的输出之间会有重叠和覆盖，提升了特征的丰富性。

（4）提出了LRN层，对局部神经元的活动创建竞争机制，使得其中响应比较大的值变得相对更大，并抑制其他反馈较小的神经元，增强了模型的泛化能力。

AlexNet创新点相关推荐

手撕 CNN 经典网络之 AlexNet（理论篇）
大家好,我是红色石头! 第一个典型的CNN是LeNet5网络,而第一个大放异彩的CNN却是AlexNet.2012年在全球知名的图像识别竞赛 ILSVRC 中,AlexNet 横空出世,直接将错误率降 ...
经典深度神经网络AlexNet、VGGNet
一.AlexNet(2012) 包含8个网络层,5个卷积层,3个全连接层 AlexNet的特点: 更深的网络结构: 使用层叠的卷积层,即卷积层+卷积层+池化层来提取图像的特征: 使用Dropout抑制 ...
【深度学习】MLP/LeNet/AlexNet/GoogLeNet/ResNet在三个不同数据集上的分类效果实践
本文是深度学习课程的实验报告使用了MLP/LeNet/AlexNet/GoogLeNet/ResNet五个深度神经网络模型结构和MNIST.Fashion MNIST.HWDB1三个不同的数据集,所 ...
常见CNN网络创新点
这篇文章主要介绍卷积神经网络1998年到2019年的20多种经典的网络,体会每种网络的前世今身以及包含的深邃思想.算是一个总结性的博客吧... 目录一.1998年:LeNet 二.2012年:Ale ...
深度学习入门笔记之ALexNet网络
Alex提出的alexnet网络结构模型,在imagenet2012图像分类challenge上赢得了冠军.作者训练alexnet网络时大致将120万张图像的训练集循环了90次,在两个NVIDIA G ...
【技术综述】你真的了解图像分类吗？
言有三毕业于中国科学院,计算机视觉方向从业者,有三工作室等创始人作者 | 言有三编辑 | 言有三图像分类是计算机视觉中最基础的任务,基本上深度学习模型的发展史就是图像分类任务提升的发展历史,不 ...
【模型解读】从LeNet到VGG，看卷积+池化串联的网络结构
文章首发于微信公众号<与有三学AI> [模型解读]从LeNet到VGG,看卷积+池化串联的网络结构从本篇开始,我们将带领大家解读深度学习中的网络的发展这是深度学习模型解读第一篇,本篇我 ...
图像分类简单介绍-转
转自:http://www.sohu.com/a/292203180_100099320 方便以后自己查看. 文章发布于公号[数智物语] (ID:decision_engine),关注公号不错过 ...
python cnn模型_CNN系列模型发展简述（附github代码——已全部跑通）
目录: 1 LeNet 2 AlexNet 3 VGG 4 GoogLeNet 5 ResNet 6 DenseNet 7 Non-Local Networks 8 Deformable Convol ...

AlexNet创新点

AlexNet创新点相关推荐

最新文章

热门文章