深度网络pre-train对于深度网络的意义

1 pre-train 带来更好的优化还是更好的泛化？

pre-train是一个寻网络权值初值的过程，将pre-train的结果作为BP算法的权值的初值，能够解决深度网络在非凸目标函数上陷入局部最优的问题。从这个角度理解更象是带来更好的优化能力。在带有pre-train的深度网络的泛化表现上不仅仅是训练误差很小，同时泛化误差也很小，下图可以看出带有pre-train的网络在减小测试误差的能力上更优秀，感觉是pre-train的网络能够找到一个泛化能力好但是训练误差不一定好的初值，从这里更象是一个正则化的方法。

2 pre-train 在什么情况是有效的？

试验结果说明，浅层简单的网络并不需要pre-train，也好理解，如果浅层网络能够解决的问题，正则化反而会损害模型的表达能力。而在表达能力太强的深层网络，需要pre-train来约束网络的表能力。

---------------------
作者：cjw_seeker
来源：CSDN
原文：https://blog.csdn.net/github_36129812/article/details/53116491
版权声明：本文为博主原创文章，转载请附上博文链接！

深度网络pre-train对于深度网络的意义相关推荐

【论文阅读】Learning Traffic as Images: A Deep Convolutional ... [将交通作为图像学习: 用于大规模交通网络速度预测的深度卷积神经网络]（2）
[论文阅读]Learning Traffic as Images: A Deep Convolutional Neural Network for Large-Scale Transportation ...
【论文阅读】Learning Traffic as Images: A Deep Convolutional ... [将交通作为图像学习: 用于大规模交通网络速度预测的深度卷积神经网络]（1）
[论文阅读]Learning Traffic as Images: A Deep Convolutional Neural Network for Large-Scale Transportation ...
使用TensorFlow.js进行人脸触摸检测第1部分：将实时网络摄像头数据与深度学习配合使用
目录起点将HTML5网络摄像头API与TensorFlow.js结合使用检测脸部触摸技术脚注终点线下一步是什么?我们是否可以在未经培训的情况下检测到面部触摸? 下载TensorFlowJS ...
[人工智能-深度学习-59]：生成对抗网络GAN - 基本原理（图解、详解、通俗易懂）
作者主页(文火冰糖的硅基工坊):文火冰糖(王文兵)的博客_文火冰糖的硅基工坊_CSDN博客本文网址:https://blog.csdn.net/HiWangWenBing/article/detai ...
深度学习入门笔记之GoogLeNet网络
目录一.简介二.Inception网络结构各版本的演化 1 Inception单元结构 2 Inception V1 3 Inception V2--卷积核替换 4 Inception V3--卷 ...
深度学习网络模型——RepVGG网络详解、RepVGG网络训练花分类数据集整体项目实现
深度学习网络模型--RepVGG网络详解.RepVGG网络训练花分类数据集整体项目实现 0 前言 1 RepVGG Block详解 2 结构重参数化 2.1 融合Conv2d和BN 2.2 Conv2 ...
从神经元到神经网络、从神经网络到深度学习：神经网络、深度学习、神经元、神经元模型、感知机、感知机困境、深度网络
从神经元到神经网络.从神经网络到深度学习:神经网络.深度学习.神经元.神经元模型.感知机.感知机困境.深度网络目录从神经元到神经网络.从神经网络到深度学习神经网络:
深度学习助力网络科学：基于深度学习的社区发现最新综述
来源:AMiner科技论文题目: A Comprehensive Survey on Community Detection with Deep Learning 论文网址: https://arx ...
万字长文带你看尽深度学习中的各种卷积网络
来源:AI科技评论摘要:深度学习中的各种卷积网络大家知多少? 深度学习中的各种卷积网络大家知多少?对于那些听说过却又对它们没有特别清晰的认识的小伙伴们,这篇文章非常值得一读.Kunlun Bai 是 ...
【深度学习】快照集成等网络训练优化算法系列
[深度学习]快照集成等网络训练优化算法系列文章目录 1 什么是快照集成? 2 什么是余弦退火学习率? 3 权重空间中的解决方案 4 局部与全局最优解 5 特别数据增强 6 机器学习中解决数据不平衡问 ...

深度网络pre-train对于深度网络的意义

深度网络pre-train对于深度网络的意义相关推荐

最新文章

热门文章