迁移学习是当前深度学习领域的⼀系列通⽤的解决⽅案，⽽不是⼀个具体的算法模型。我们使用模型在特定任务上收集的知识来解决不同但相关的任务。模型可以从上一个任务中学到的东西中获益，从而更快地学习新任务。

迁移学习方法大致可以分为三类：
（1）基于样本的迁移学习方法

从源域数据集中筛选出部分数据，使得筛选出的部分数据与目标数据概率分布近似。

（2）基于特征的迁移学习方法

将源域与目标域样本映射到可再生和希尔特空间（RKHS），并最小化二者之间的差异。

（3）基于参数/模型的迁移学习方法

Pre-training：把最后一层替换成自己的分类器，剩下的网络结构当做特征提取器，进行预训练；fine-tuning：把预训练的模型参数作为初始化，更新所有权重；在微调过程中⼀般不建议使⽤过⼤的学习率，通常来说1e-5是⽐较合适的选择。

Pre-training + fine-tuning（预训练+调参）的迁移学习⽅式是现在深度学习中⼀个⾮常流⾏的迁移学习⽅式，尤其是以图像领域为代表。

示例代码

#加载训练好的模型
checkpoint=torch.load('./ckpt_210.pth')
self.symbol.load_state_dict(checkpoint['net'])#除了最后的全连接层外所有层权重冻结，仅训练最后的全连接层
#方法一
'''
for par in self.symbol.parameters():par.requires_grad = Falseself.symbol.classifier.weight.requires_grad = True
# 把优化器调整一下，只保留模型中可训练的层
train_layer = [p for p in self.symbol.parameters() if p.requires_grad == True]
self.optimizer = optim.Adam(train_layer, lr=self.lr)
'''#方法二：
self.optimizer = optim.Adam(self.symbol.classifier.parameters(), lr=self.lr)

深度学习中迁移学习方法原理相关推荐

深度学习中的Dropout原理介绍
https://blog.csdn.net/qq_36330643/article/details/78445130 如果网络的问题在于连接密集,那么久强制让它稀疏,基于这种想法的算法就是dropou ...
深度学习中的3个秘密：集成、知识蒸馏和蒸馏
作者:Zeyuan Allen-Zhu 来源:AI公园编译:ronghuaiyang 在现在的标准技术下,例如过参数化.batch-normalization和添加残差连接,"现代&quo ...
干货丨简述迁移学习在深度学习中的应用
文章来源:机器之心迁移学习是一种机器学习方法,就是把为任务 A 开发的模型作为初始点,重新使用在为任务 B 开发模型的过程中. 深度学习中在计算机视觉任务和自然语言处理任务中将预训练的模型作为新模型 ...
深度学习中的Momentum算法原理
一.介绍在深度学习中,Momentum(动量)优化算法是对梯度下降法的一种优化, 它在原理上模拟了物理学中的动量,已成为目前非常流行的深度学习优化算法之一.在介绍动量优化算法前,需要对指数加权平均 ...
深度学习中Attention Mechanism详细介绍：原理、分类及应用
Attention是一种用于提升基于RNN(LSTM或GRU)的Encoder + Decoder模型的效果的的机制(Mechanism),一般称为Attention Mechanism.Attent ...
关于深度学习中的注意力机制，这篇文章从实例到原理都帮你参透了（很系统，重点看）
最近两年,注意力模型(Attention Model)被广泛使用在自然语言处理.图像识别及语音识别等各种不同类型的深度学习任务中,是深度学习技术中最值得关注与深入了解的核心技术之一. 本文以机器翻译为 ...
【NLP】四万字全面详解 | 深度学习中的注意力机制（四，完结篇）
作者 | 蘑菇先生知乎 | 蘑菇先生学习记深度学习Attention小综述系列: 四万字全面详解 | 深度学习中的注意力机制(一) 四万字全面详解 | 深度学习中的注意力机制(二) 四万字全面详解 ...
经验 | 深度学习中从基础综述、论文笔记到工程经验、训练技巧
点上方蓝字计算机视觉联盟获取更多干货在右上方 ··· 设为星标 ★,与你不见不散仅作学术分享,不代表本公众号立场,侵权联系删除转载于:本文授权转自知乎作者跑者小越,https://zhuanla ...
从AlexNet到BERT：深度学习中那些最重要idea的最简单回顾
本文作者Denny Britz按时间总结的深度学习比较重要的idea集锦,推荐新人看,几乎给自12年以来最重要的idea 都列了出来,这些 idea 可以说得上是养活了无数人,大家都基于这些发了无数的 ...

深度学习中迁移学习方法原理

示例代码

深度学习中迁移学习方法原理相关推荐

最新文章

热门文章