如果觉得我的算法分享对你有帮助，欢迎关注我的微信公众号“圆圆的算法笔记”，更多算法笔记、算法交流，以及世间万物的学习记录～

NLP中，预训练大模型Finetune是一种非常常见的解决问题的范式。利用在海量文本上预训练得到的Bert、GPT等模型，在下游不同任务上分别进行finetune，得到下游任务的模型。然而，这种方式的代价也很大，经常要对所有任务都保存一个完整的task-specific模型，随着预训练模型体积越来越大，这种方式会占用很多存储空间，当下游任务很多的时候要存储大量的预训练模型。同时，为每个任务finetune一个如此庞大的模型，训练资源的消耗也比较大。

为了实现更绿色、经济的NLP预训练模型迁移，近两年来业内提出了很多优化finetune的方法，例如adapter finetune、mask finetune等。最近很火的prompt更是极大减轻了finetune开销，甚至不进行finetune就能应用于下游任务。本文重点介绍近两年几个NLP中finetune优化的经典工作，包括adapter-finetune、side-tuning、mask-finetune以及prefix-finetune等工作。

1. Adapter-tuning

迁移NLP预训练模型的方法主要分为finetune和feature-based。Finetune将原来的模型在下游任务上进行训练，而feature-based方法使用预训练模型产出的词、句子等embedding作为输入，接下游一个独立的模型进行预测。其中finetune的效果往往由于feature-based方法。然而finetune的计算开销要比feature-based大很多，能不能采

NLP中的绿色Finetune方法大汇总相关推荐

迁移学习花式Finetune方法大汇总
如果觉得我的算法分享对你有帮助,欢迎关注我的微信公众号"圆圆的算法笔记",更多算法笔记和世间万物的学习记录- 迁移学习广泛地应用于NLP.CV等各种领域,通过在源域数据上学习知识, ...
常用的密码破解方法大汇总 zz
常用的密码破解方法大汇总 zz 2008-10-30 01:59 P.M. 在日常操作中,我们经常要输入各种各样的密码,例如开机时要输入密码,QQ时也要先输入密码,假如你忘记了这些密码,就有可能用不了 ...
VB全面控制Excel方法大汇总
转自:http://blog.csdn.net/chenjl1031/article/details/8983631 VB全面控制Excel方法大汇总,共300个: 首先创建 Excel 对象,使用C ...
计算机一级电子表格地区排名,玩转Excel电子表格排序方法大汇总
玩转Excel电子表格排序方法大汇总分类:计算机等级 | 更新时间:2016-07-08| 来源:转载排序是数据处理中的经常性工作,Excel排序有序数计算(类似成绩统计中的名次)和数据重排两类. ...
【网络安全入门大总结】—Java语言中常用的渗透漏洞大汇总
Java语言中常用的漏洞大汇总,建议收藏. 准备好,上课了~~~ 目录 Servlet 简介生命周期为接口 Struts 2 . 简介请求流程相关CVE Spring 简介 Spring MV ...
NLP中的关系抽取方法归纳
文章目录前言命名实体识别任务 Softmax和CRF 指针网络 span排列关系分类任务半监督学习方法基于远程监督的优化多示例学习强化学习预训练监督学习方法联合抽取共享参数的联合 ...
NLP中的数据增强方法
目录 1 概述 2. 方法 2.1 随机drop和shuffle 2.2 同义词替换 2.3 回译 2.4 文档裁剪 2.5 生成对抗网络 2.6 预训练的语言模型 1 概述 NLP中的数据是离散的. ...
射线法判断点在多边形内适用范围_桩基六种检测方法大汇总，适用范围大对比...
桩基是结构的主要承重部分,其质量直接关系到结构的适用安全性及长久性.然而桩基是隐蔽工程,其质量的评价.判定必须通过专业的检测手段. 桩基工程分类繁多.一般按承载力分为摩擦桩.端承桩.摩擦端承桩.桩基检 ...
NLP中的数据增强方法综述
论文链接:A Survey of Data Augmentation Approaches for NLP 摘要由于越来越多的研究在低资源领域.新任务和需要大量训练数据的大规模神经网络中,NLP中的 ...

NLP中的绿色Finetune方法大汇总

1. Adapter-tuning

NLP中的绿色Finetune方法大汇总相关推荐

最新文章

热门文章