文献阅读——Exploiting Cloze Questions for Few Shot Text Classification and Natural Language Inference
附注
- 这篇文章中在最终提到模型的时候使用了一个 “知识蒸馏” 的点，这点需要注意。如果不懂的话，请参考知识蒸馏基本原理
- 其实，这里的知识蒸馏主要是在预训练模型的Fine-tuning中应用的较多，首先是使用一个大于1的T来学习预训练模型得到的一个有关数据之间的软分布，同时加上自己的一定真是数据，这样可以使得我们的模型具有较好的泛化能力。
- 接着是在我们进行预测的时候将T的温度降下来，使得输出一个正常的分布。
文章主要思想
- 首先对于这篇文献主要解决的问题是few-shot文本分类问题，同时在文中也是提到了文中提到的方法加以改进亦可以做到zero-shot方面的文本分类问题上来。
- Few-shot上面存在的问题有：
- 首先，few-shot的数据集中带有标签的数据量很少，这种情况有可能导致，我我们在进行模型的预训练的时候很难从这些少量的实例中提取到有用的信息。
- 因此，文中针对于解决few-shot的文本分类问题提出了它的解决方案。
- 文中提到的算法有两个名称分别是PET和iPET，很明显可以看出来iPET是PET模型的改进版。也就是使用的迭代的方式来解决了PET方法中遗留下来的问题。
- 这里先论述base method——PET方法。
- 这种方法使用的大致思想是，首先使用few-shot数据集中仅存的少量带标签的数据对MLM模型进行Fine-tuning，然后可以得到一个集成的语言模型&
文献阅读——Exploiting Cloze Questions for Few Shot Text Classification and Natural Language Inference相关推荐
- 【提示学习】Exploiting Cloze Questions for Few Shot Text Classification and Natural Language Inference
论文信息 名称 内容 论文标题 Exploiting Cloze Questions for Few Shot Text Classification and Natural Language Inf ...
- 论文解读：Exploiting Cloze Questions for Few Shot Text Classification and Natural Language Inference
论文解读:Exploiting Cloze Questions for Few Shot Text Classification and Natural Language Inference 随着 ...
- 【论文分享】PET：Exploiting Cloze Questions for Few Shot Text Classification and Natural Language Inference
论文链接:https://arxiv.org/pdf/2001.07676.pdf 时间:2021年1月 特点:多模板 目录 背景 模型 PVP定义 组合PVP P: V: 结构 实验 背景 在小样本 ...
- Exploiting Cloze Questions for Few Shot Text Classification and NaturalLanguage Inference翻译
Abstract 一些NLP任务可以以完全无监督的方式解决,方法是用自然语言提供预先训练过的带有"任务描述"的语言模型(例如,Radford等人,2019).虽然这种方法的性能不如 ...
- 论文解读: Exploiting Cloze Questions for Few Shot Text Classification and Natural Language Inference
前言:在自然语言研究领域,某些自然语言处理任务可以利用"预训练模型+任务描述"方式的无监督学习来解决.然而,已有的"预训练模型+任务描述"的无监督学习方法不如有 ...
- 深度学习文本分类文献综述（翻译自Deep Learning Based Text Classification: A Comprehensive Review）
深度学习文本分类文献综述 摘要 介绍 1. 文本分类任务 2．文本分类中的深度模型 2.1 Feed-Forward Neural Networks 2.2 RNN-Based Models 2.3 ...
- 论文阅读笔记：Graph Convolutional Networks for Text Classification
Abstract 文本分类作为一个经典的自然语言处理任务,已经有很多利用卷积神经网络进行文本分类的研究,但是利用图卷积神经网络进行研究的仍然较少. 本文基于单词共现和文档单词间的关系构建一个text ...
- Natural Language Inference Over Interaction Space(DIIN)阅读笔记
文章目录 Introduction Model Interactive Inference Network(IIN) Densely Interactive Inference Network(DII ...
- 文献阅读笔记 # Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks
<Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks> 用于快速搭建NLP任务的demo的开源项目sbert的原始 ...
最新文章
- cpu spectre 幽灵 漏洞 突破内存独立性限制 简介
- linux系统性能优化及瓶颈分析
- swfupload简单使用
- c语言wb和wb 区别,C语言文件 w+与wb+区别
- 微软技术直通车（第三期） 之 人工智能
- 初窥R（基本说明、获取帮助、工作空间、输入输出、包）
- ajax前台转换json数据库,基于jQuery的ajax功能实现web service的json转化
- Docker笔记3 docker的数据管理
- Javascript 脚本错误.
- platform总线注册过程及platform_driver与platform_device的匹配
- VB6.0 组织json对象并生成json字符串
- 视沃科技-大牛直播SDK
- linux设置开机自启动命令
- 链路捆绑（名词注解)
- [蓝牙 Mesh Zephyr]-[001]-Mesh beacon
- 类和对象9：属性访问方法
- QQ5.1 去广告显IP新春完美版【木子李作品】
- shineblink MQ-3酒精浓度探测
- 全国公立医院病案首页上报系统（适用于二、三级医院）
- 微信朋友圈能评论表情包了，来斗图啊！