基于Prompt的MLM文本分类
简介
常规NLP做文本分类时常用Transfer Learning的方式，在预训练bert上加一个分类层，哪个输出节点概率最大则划分到哪一类别。而基于Prompt的MLM文本分类是将文本分类任务转化为MLM（ Masked Language Modeling）任务，通过[MASK]位置的输出来判断类别。
例如通过文本描述判定天气好坏，类别【好、坏】：
常规方式：今天阳光明媚！ 【好】
基于Prompt的MLM： 天气[MASK]，今天阳光明媚！【天气好，今天阳光明媚！】
Prompt的设定可以有多种方式设定，手写Prompt 、自动离散Prompt、自动连续 P-Tuning，自行查找论文
实验
先手写Prompt做个实验：
就以上面
基于Prompt的MLM文本分类相关推荐
- 基于Prompt的MLM文本分类 bert4keras实现
本文主要介绍使用Prompt的MLM文本分类 bert4keras的代码实现,用以丰富bert4keras框架的例子 关于prompt的原理的文章网上有很多优秀的文章可以自行百度. github地址 ...
- 基于Prompt的MLM文本分类-v2
自动寻找Prompt 实验版本好多参数可调 import os import torch import logging import datasets import transformers impo ...
- 【调研】基于Prompt的小样本文本分类调研：PET,LM-BFF,KPT,PTR
本篇博客一共要分享四篇prompt论文,它们分别提出了四个模型. 目录
- 基于深度学习的文本分类 3
基于深度学习的文本分类 Transformer Transformer是一种完全基于Attention机制来加速深度学习训练过程的算法模型,其最大的优势在于其在并行化处理上做出的贡献.换句话说,Tra ...
- 文本基线怎样去掉_ICML 2020 | 基于类别描述的文本分类模型
论文标题: Description Based Text Classification with Reinforcement Learning 论文作者: Duo Chai, Wei Wu, Qing ...
- 【项目实战课】NLP入门第1课，人人免费可学，基于TextCNN的新闻文本分类实战...
欢迎大家来到我们的项目实战课,本期内容是<基于TextCNN的新闻文本分类实战>. 所谓项目课,就是以简单的原理回顾+详细的项目实战的模式,针对具体的某一个主题,进行代码级的实战讲解,可以 ...
- ICML 2020 | 基于类别描述的文本分类模型
论文标题: Description Based Text Classification with Reinforcement Learning 论文作者: Duo Chai, Wei Wu, Qing ...
- 基于深度学习的文本分类1
基于深度学习的文本分类 与传统机器学习不同,深度学习既提供特征提取功能,也可以完成分类的功能.从本章开始我们将学习如何使用深度学习来完成文本表示. 现有文本表示方法的缺陷 在上一章节,我们介绍几种文本 ...
- Datawhale NLP入门：Task5 基于深度学习的文本分类2
Task5 基于深度学习的文本分类2 在上一章节,我们通过FastText快速实现了基于深度学习的文本分类模型,但是这个模型并不是最优的.在本章我们将继续深入. 基于深度学习的文本分类 本章将继续学习 ...
最新文章
- Precision and recall From Wiki
- java 文件上传 jar_JavaWeb 之 使用 commons-fileupload.jar 实现文件上传
- 央行数字货币研究所悄然挂牌 工作人员:已有一段时间
- angularjs中使用swiper时不起作用，最后出现空白位
- Autofac实现有条件的DI
- mysql数据库业务逻辑_Mysql业务设计（逻辑设计）
- Docker学习文档之二 搭建环境-Windows环境
- initlistpython_python --（链表）
- Eclipse打开报错解决方案
- 单片机c语言毕业设计,单片机毕业设计的总结.docx
- CUDA C编程入门
- T19136 交通指挥系统 题解
- JAVA查搜索文件内容
- SyncToy 文件同步工具的定时同步方案(不使用第三方软件)
- 2020杭州区块链国际周圆满闭幕，这一份金句集锦不能错过
- java中arSigal_基于AR模型谱估计算法（Yule-Walker方法与Burg方法）的C++实现
- MYSQL 删除百万级数据
- Linux下性能分析工具
- IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY（TCSVT） 投稿经验
- 怎样辨别内部晶振与外部晶振