线性代数中退化矩阵

矩阵退化：

研究的是向量组中的向量

模型退化：

研究的是神经元节点

首先，退化矩阵也叫奇异矩阵。行列式为0，非满秩，也就是说矩阵内存在线性相关的向量组。

矩阵的退化？什么是线性相关？

--非零常量个数等于1时，对应向量肯定是零向量

--个数大于1时候，说明至少有两个向量线性相关

（零向量和任意向量线性相关）

退化程度越高，线性相关的向量组越多

不太严谨的类比神经网络的模型退化

模型的退化（不太严谨的类比神经网络的模型退化）

权重线性相关，提取到的特征无效。

线性相关性增加，提取到的特征有很多是重复的。本来神经网络为了应对复杂的任务而准备了庞大的参数量，但是矩阵退化导致很多参数形同虚设，难以获得更丰富的特征。模型的表达能力就会随之下降，导致训练的损失也难以下降。

以身份认证任务为例子，可供参考的特征有五官、头发、服饰等。理想的情况是神经元分工合作提取不同特征。通过整体的特征来提高模型的表达能力。因为 模型的退化，可能所有的神经元都在盯着一个特征，导致效率低下。虽然也能达到目的，但总没有综合特征来得准确。

论文：

论文提出了模型的三种奇异性：权重=0，权重相等，权重之间线性相关。

矩阵的退化：有零向量组，有相等向量组，都意味着存在线性相关的向量组。

模型退化的缓解

Dropout技术，参数初始化方法，跳跃连接

补充一点：我们常用的ReLU激活函数可能造成神经元坏死（永远无法得到激活的情况），而LeakyReLU左半平面也有梯度所以可以避免这个问题。

参考：【不想读paper】深度神经网络的退化问题 | 一篇总结_哔哩哔哩_bilibili

非常感谢小姐姐的分享！！！

深度神经网络的退化问题相关推荐

深度神经网络中的Batch Normalization介绍及实现
之前在经典网络DenseNet介绍_fengbingchun的博客-CSDN博客_densenet中介绍DenseNet时,网络中会有BN层,即Batch Normalization,在每个Dense ...
为什么很难训练深度神经网络？
在这篇文章中,我将解释在深度神经网络训练中一个常见的误解.似乎大家都认为,训练深度神经网络很难的原因主要是因为梯度消失(或爆炸)的问题."梯度消失"是指通过隐藏层从后向前看,梯度会 ...
神经网络深度神经网络,边缘计算神经网络
1.简述人工神经网络受到哪些生物神经网络的启发人工神经网络最初是为了尝试利用人脑的架构来执行传统算法几乎没有成功的任务. 对人类中枢神经系统的观察启发了人工神经网络这个概念.在人工神经网络中,简单的 ...
深度神经网络问题以及解决方法
深度神经网络问题以及解决方法参考博客:深度学习中的highway network.ResNet 参考博客:神经网络梯度与归一化问题总结一份详细讲解的代码:https://iamtrask.gith ...
深度神经网络混合精度训练
深度神经网络混合精度训练 Mixed-Precision Training of Deep Neural Networks 论文链接:https://arxiv.org/abs/1710.03740 ...
点云配准的端到端深度神经网络：ICCV2019论文解读
点云配准的端到端深度神经网络:ICCV2019论文解读 DeepVCP: An End-to-End Deep Neural Network for Point Cloud Registration ...
使用NetworkX绘制深度神经网络结构图（Python）
本文将展示如何利用Python中的NetworkX模块来绘制深度神经网络(DNN)结构图. 已知我们创建的DNN结构图如下: 该DNN模型由输入层.隐藏层.输出层和softmax函数组成,每一层的神经 ...
用深度神经网络搭建马赛克神器，高清无码效果感人
目录 1.项目背景 2.适用范围 3.使用方法 1.项目背景相信一提起马赛克这个东西,不少小伙伴都痛心疾首,虽然最近几年也频繁传出有在研发去除马赛克的软件,一直没有成品问世.不过最近一位程序员及经过 ...
python深度神经网络量化_基于Python建立深度神经网络！你学会了嘛？
原标题:基于Python建立深度神经网络!你学会了嘛? 图1 神经网络构造的例子(符号说明:上标[l]表示与第l层:上标(i)表示第i个例子:下标i表示矢量第i项) 单层神经网络图2 单层神经网络示 ...

深度神经网络的退化问题