神经网络层数、神经元数、梯度下降学习率和训练次数都会影响神经网络的效果

最近用神经网络拟合一个401*4005（401是样本数 4005是特征数）的样本集，得到一定的感触，现来分享一下：

神经网络层数和神经元数会影响神经网络的accuracy。《神经网络与深度学习》一书说过，只在输⼊层和输出层之间存在⼀个中间层的情况下，不论我们想要计算什么样的函数，我们都确信存在⼀个神经⽹络可以计算它。但是不同层数和神经元数的神经网络的工作正确率并不一样。一般来说，在调参合理的情况下，层数和神经元数越多，正确率越高，不过相应地，容易出现过拟合（需要正则化处理或者采用权值衰减/Dropout法则处理正则化）

学习率和训练次数同样也会影响正确率。学习率太高，代价函数不容易降低到最低点（会不断越过最低点）。这跟梯度下降的缺点：在最低点处不容易收敛，收敛效果差有关系。所以需要适当调整学习率来提高正确率。训练次数也是同理，训练次数如果太多了，那么梯度下降可能会越过最低点，反而降低了训练正确率。而简单地观察代价函数的变化趋势很可能只找到局部最优点而不是全局最优点。例如这张图，有多个局部最低点，但是全局最低点就一个。

所以最好的做法是代价函数和正确率可视化，观察代价函数和正确率随训练次数的的变化曲线，从而调整训练次数找到全局最优点。

神经网络层数、神经元数、梯度下降学习率和训练次数都会影响神经网络的效果相关推荐

梯度下降学习率的设定策略
发现一篇写的很好的关于学习率的文章本文转载自卢明冬的博客-梯度下降学习率的设定策略 1.学习率的重要性 1)学习率设置太小,需要花费过多的时间来收敛 2)学习率设置较大,在最小值附近震荡却无法收敛到 ...
【学习率】梯度下降学习率的设定策略
转载卢明冬参考学习率和batchsize如何影响模型的性能? - yumoye - 博客园学会使用顶级算法的秘诀是什么?如何找到合适的学习率?-电子发烧友网深度学习论文 - Cyclical ...
梯度下降学习率的影响
梯度下降-学习率的影响调试梯度下降. 绘制一个在x轴上具有迭代次数的图. 现在在梯度下降的迭代次数上绘制成本函数J(θ). 如果J(θ)增大,则可能需要减小α. 自动收敛测试. 如果在一次迭代中J( ...
深度学习--TensorFlow（4）BP神经网络（损失函数、梯度下降、常用激活函数、梯度消失梯度爆炸）
目录一.概念与定义二.损失函数/代价函数(loss) 三.梯度下降法二维w与loss: 三维w与loss: 四.常用激活函数 1.softmax激活函数 2.sigmoid激活函数 3.tanh ...
用Numpy搭建神经网络第二期：梯度下降法的实现
https://www.toutiao.com/a6696699352833851908/ 大数据文摘出品作者:蒋宝尚小伙伴们大家好呀~~用Numpy搭建神经网络,我们已经来到第二期了.第一期文摘 ...
【python】三种梯度下降学习率策略的比较(exact line search, backtracking, diminishing steps)
简要介绍: 1. exact line search 即在梯度下降的每次迭代中选择使梯度下降最大的学习率.我们可以使用黄金分割法来求解. 关于黄金分割法求根的实现golden_section()见专栏 ...
Lesson 11.1-11.5 梯度下降的两个关键问题反向传播的原理走出第一步：动量法开始迭代：batch和epochs在Fashion—MNIST数据集熵实现完整的神经网络
在之前的课程中,我们已经完成了从0建立深层神经网络,并介绍了各类神经网络所使用的损失函数.本节课开始,我们将以分类深层神经网络为例,为大家展示神经网络的学习和训练过程.在介绍PyTorch的基本工具A ...
Lesson 4.5 梯度下降优化基础：数据归一化与学习率调度
Lesson 4.5 梯度下降优化基础:数据归一化与学习率调度在上一小节中,我们讨论了关于随机梯度下降和小批量梯度下降的基本算法性质与使用流程.我们知道,在引入了一定的样本随机性之后,能够帮助参数点 ...
神经网络之Mini-Batch梯度下降
传统的梯度下降算法,遍历全部数据集算一次损失函数,然后算函数对各个参数的梯度,更新梯度.这种梯度下降法叫做这称为Batch gradient descent(BDG).我们知道 Batch 梯度下降的 ...
002-深度学习数学基础(神经网络、梯度下降、损失函数)
002-深度学习数学基础(神经网络.梯度下降.损失函数) 这里在进入人工智能的讲解之前,你必须知道几个名词,其实也就是要简单了解一下人工智能的数学基础,不然就真的没办法往下讲了. 本节目录如下: 前言 ...

神经网络层数、神经元数、梯度下降学习率和训练次数都会影响神经网络的效果

神经网络层数、神经元数、梯度下降学习率和训练次数都会影响神经网络的效果相关推荐

最新文章

热门文章