深度网络的训练过程与方法

2024-06-19 19:58:13

第一步：自下而上的无监督学习

（这一步是网络参数初始化得过程，区别于传统神经网络初值随机初始化，深度学习模型通过无监督学习输入数据进行初始化，因此这个初值更接近全局最优，从而能够取得更好的效果。）

逐层构建单层神经元，每层采用wake-sleep算法进行调优，每次仅调整一层，逐层调整（这个过程看作是一个feature learning的过程，是和传统神经网络区别最大的部分）；

wake-sleep算法：
wake阶段：认知过程，通过下层的输入特征和向上的认知权重产生每一层的抽象表示，再通过当前的生成权重产生一个重建信息，计算输入特征和重建信息残差，使用梯度下降修改层间的下行生成权重。（如果现实跟我想象的不一样，改变我的生成权重使得我想像的东西变得与现实一样）

sleep阶段：生成过程，通过上层概念与向下的生成权重，生成下层的状态，再利用认知权重产生一个抽象景象，利用初始上层概念和抽象景象的残差，利用梯度下降修改层间向上的认知权重。（如果现实的景象不是我脑中相应的概念，改变我的认知权重使得这种景象在我看来就是这个概念）

第二步：自顶向下的监督学习

在第一步无监督学习获得各层参数的基础上，在最顶的编码层添加一个分类器（LR、SVM等），通过带标签数据的监督学习，利用梯度下降法微调整个网络的参数。使得目标函数达到最小（最优化）。

深度网络的训练过程与方法相关推荐

HALCON 21.11：深度学习笔记---网络和训练过程(4)
HALCON 21.11:深度学习笔记---网络和训练过程(4) HALCON 21.11.0.0中,实现了深度学习方法.关于网络和训练过程如下: 在深度学习中,任务是通过网络发送输入图像来执行的.整 ...
HALCON 20.11：深度学习笔记(4)--- 网络和训练过程
HALCON 20.11:深度学习笔记(4)--- 网络和训练过程 HALCON 20.11.0.0中,实现了深度学习方法.关于网络和训练过程如下: 在深度学习中,任务是通过网络发送输入图像来执行的. ...
深度学习模型训练过程
深度学习模型训练过程一．数据准备基本原则: 1)数据标注前的标签体系设定要合理 2)用于标注的数据集需要无偏.全面.尽可能均衡 3)标注过程要审核整理数据集 1)将各个标签的数据放于不同的文件夹 ...
深度网络的训练经验总结(参数篇)
(续我的上一篇博客)最早训练神经网络的时候完全什么技巧都不懂,能成功运行开源代码,并且看到loss下降就放心跑着了.随着对网络越来越多的接触,发现从数据集(train/val/test)的准备到训 ...
深度学习模型训练的一般方法（以DSSM为例）
向AI转型的程序员都关注了这个号???????????? 机器学习AI算法工程公众号:datayx 本文主要用于记录DSSM模型学习期间遇到的问题及分析.处理经验.先统领性地提出深度学习模型训练 ...
[深度学习] - 网络模型训练过程的 loss 变化分析 (loss / val_loss / test_loss)
目录一.train set 和 test set 基础知识二.分析 loss 和 val_loss (test_loss) 变化情况一.train set 和 test set 基础知识 tra ...
深度神经网络的训练过程,深度神经网络训练方法
深度学习和神经网络的区别是什么 . 这两个概念实际上是互相交叉的,例如,卷积神经网络(Convolutionalneuralnetworks,简称CNNs)就是一种深度的监督学习下的机器学习模型,而深 ...
深度神经网络的训练过程
深度神经网络具体的工作流程是什么样的? 第一,深度神经网络不是黑盒,个人电脑开机直到神经网络运行在内存中的每一比特的变化都是可以很细微的观察的.没有任何神秘力量,没有超出科学解释的现象发生. 第二,深 ...
深度神经网络的训练过程,深度神经网络训练
深度学习与神经网络有什么区别深度学习与神经网络关系2017-01-10最近开始学习深度学习,基本上都是zouxy09博主的文章,写的蛮好,很全面,也会根据自己的思路,做下删减,细化. 五.DeepL ...

最新文章

热门文章