自编码器及其几种变种

自编码器
自编码器是一种基于无监督学习的数据压缩和特征提取的表达方法。
主要种类有一般的自编码器，降噪自编码器，稀疏自编码器，和栈式自编码器。自编码器（ autoencoder) 是一种有效的数据维度斥缩算法，主要应用在以下两个方面
1·构建一种能够重构输入样本并进行特征表达的神经网络
2·训练多层神经网络时，通过自编码器训练样本得到参数初始

第一条中的“特征表达”是指对于分类会发生变动的不稳定模式，或者输入样本中包含噪声等情况，神经网络也能将其转换成
可以准确识别的特征当样本中包含噪声时，如果神经网络能够消除噪声，被称为降噪自编码器（ denoising autoencoder) 另外还有一种称为稀疏自编码器（ sparse autoencoder ）的网络，它在向编码器中引入
了正则化项，以去除冗余信息。
第二条中的“得到参数初始值”是指在多层神经网络中得到最优参数，多层神经网络的训练，首先要利用随机数初始化训练样本的参
数，然后通过训练样本得到最优参数但是，如果是层数较多的神经网络，即使使用误差反向传播算法也很难把误差梯度有效反馈到底层，这样就会导致神经网络训练困难所以，需要使用自编码器计算每层的参数，并将其作为神经网络的参数初始值逐层训练，以使得到更加完善的经网络模型

自编码器

训练编码和解码参数，使误差函数收敛于极小值。
降噪自编码器
在普通自编码器基础上有所改进，即将输入样本加入噪声进行训练，最终效果为
1.保持输入样本不变的条件下，提取能够更好地反映样本属性的特征
2.消除输入样本中包含的噪声
稀疏自编码器
提出稀疏自编码的初衷是中间神经元个数太多降低压缩效率，太少重构样本有困难。其原理是加入正则化项，使大部分单元输出变为0，利用少数单元完成数据重构。
重构函数

ρ表示平均激活度的目标值，KL距离表示平均激活度和目标值的差异，ρ越接近于0，中间层平均激活度越小。β表示稀疏性的权重。在训练网络时，需要通过不断调整参数使 β达到极小值和神经网络
一样，稀疏向编码器的训练也需要使用误差反向传播算法，通过对误
差函数求导计算输入层和中间层之间，以及中间层和重构层之间的
连接权重 w及偏置 bj 的调整值。
反向误差传播调整参数。
栈式自编码器
其结构就是输入层和中间层进行多层堆叠，首先训练第一层编码器，然后保留第一个编码器的编码部分，并把第一个自编码器的巾间层作为第二个向编码器的输入层进行训练，后续过程就是反复地把前一个编码器的中间层作为后一个编码器的输入，进行迭代训练，通过多层堆叠，栈式编码器能够有效地完成输入模式的压缩。

栈式自编码器和多层神经经网络都能得到有效的参数，所以我们可以
把训练后的参数作为神经网络或卷积神经网络的参数初始值，这种方
法叫作预训练。首先，选取多层神经网络的输入层和第一个中间层，组成一个自编码器，然后先进行正向传播，再进行反向传播，计算输入与重构结果的误差，调整参数从而使误差收敛于极小值，接下来训练输
入层与第二个中间层的参数，把正向传播的的值作为输入，训练其与第
二个中层之间的参数然后调整参数，使第一个中间层与第二个中
间层反向传播的值之间的误差收敛于极小值这样，对第一个中间层的
值的重构就完成了。对网络的所有层进行预训练后，可以得到神经网络
的参数初始值。

自编码器及其几种变种相关推荐

使用NCBI数据库查询并使用BLAST比对新冠病毒及九种变种的核酸序列
一.实验目的学会使用NCBI这一常见生物数据库学会使用比对分析工具BLAST分析核酸或氨基酸序列. 二.实验内容登录NCBI生物信息站点,查找新冠病毒(COVID-19)和其他几个变种的核酸序列 ...
编码器的四种输出接线
集电极开路输出是以输出电路的晶体管发射极作为公共端,并且集电极悬空的输出电路.一般分为NPN集电极开路输出(见图1)和PNP集电极开路输出(见图2). 电压输出是在集电极开路输出的电路基础上,在电源间 ...
揭秘自编码器，一种捕捉数据最重要特征的神经网络（视频+代码）
YouTube网红小哥Siraj Raval系列视频又和大家见面啦!今天要讲的是自编码器Autoencoder. 时长8分钟有中文字幕点击观看 ▼ 首先,自编码器是一个神经网络. 如果我们得到的数 ...
stm32读取编码器的两种方式
1.使用外部中断读取 #include "spin.h"#define encoder_port GPIOG #define encoder_pin (GPIO_Pin_3|GP ...
头脑风暴的一种变种：哥顿法
哥顿法又称教学式头脑风暴法或隐含法,是由美国麻省理工大学教授威廉·哥顿于1964年始创的.其特点是讨论前并不公布要解决的问题,而只讨论问题的某一局部或某一侧面:或者讨论与问题相似的另一问题:或者把问题 ...
手机号段对应地区编码_什么是编码器？了解两种类型的编码器
编码器提供反馈,以精确控制速度和位置.转子角位置是通过两个相差90度的方波和每转一圈发生的可选索引脉冲给出的.有多种技术可获得这些结果. 两种类型的编码器:光学和磁编码器光学编码器这种类型的编码器 ...
深入讲解音视频编码原理，H264码流详解——手写H264编码器
音视频高手课08-H264 I帧 P帧 B帧及手写H264编码器 1 三种帧的说明 1.I 帧:帧内编码帧,帧表示关键帧,你可以理解为这一帧画面的完整保留:解码时只需要本帧数据就可以完成(因为包含完整 ...
05 H264基础-03 I帧 P帧 B帧及手写H264编码器
文章目录音视频高手课08-H264 I帧 P帧 B帧及手写H264编码器 1 三种帧的说明 1.2 压缩算法的说明 2 手写H264编码器 1.2.3 **第三步:实现运动预测编码** 怎么用若干 ...
DNN、FCN、CNN、RNN、LSTM、BRNN、DRNN、GAN、自编码器、DBN、RBN、注意力网络、MCNN、Inception、dropout、残差网络
DNN.FCN.CNN.RNN.LSTM.BRNN.DRNN.GAN.DBN.RBN.自编码器.注意力网络.MCNN.Inception.dropout.残差网络文章目录 DNN.FCN.CNN.R ...

自编码器及其几种变种

自编码器及其几种变种相关推荐

最新文章

热门文章