BERT的[CLS]有什么用

NLP中常见任务的开源解决方案、数据集、工具、学习资料

[CLS]就是classification的意思，可以理解为用于下游的分类任务。

主要用于以下两种任务：

单文本分类任务：对于文本分类任务，BERT模型在文本前插入一个[CLS]符号，并将该符号对应的输出向量作为整篇文本的语义表示，用于文本分类，如下图所示。可以理解为：与文本中已有的其它字/词相比，这个无明显语义信息的符号会更“公平”地融合文本中各个字/词的语义信息。

语句对分类任务：该任务的实际应用场景包括：问答（判断一个问题与一个答案是否匹配）、语句匹配（两句话是否表达同一个意思）等。对于该任务，BERT模型除了添加[CLS]符号并将对应的输出作为文本的语义表示，还对输入的两句话用一个[SEP]符号作分割，并分别对两句话附加两个不同的文本向量以作区分，如下图所示。

BERT的[CLS]有什么用相关推荐

谷歌BERT预训练源码解析（三）：训练过程
目录前言源码解析主函数自定义模型遮蔽词预测下一句预测规范化数据集前言本部分介绍BERT训练过程,BERT模型训练过程是在自己的TPU上进行的,这部分我没做过研究所以不做深入探讨.BE ...
BERT的成功是否依赖于虚假相关的统计线索？
作者 | 李理来源 | 个人博客导读:本文介绍论文Probing Neural Network Comprehension of Natural Language Arguments,讨论BERT ...
BERT小学生级上手教程，从原理到上手全有图示，还能直接在线运行
作者 Jay Alammar 伊瓢编译量子位出品 | 公众号 QbitAI BERT,作为自然语言处理领域的C位选手,总是NLPer们逃不过的一环. 但是,如果是经验匮乏.基础薄弱的选手,想玩转 ...
XLNet团队：赢BERT靠的并不是数据集更大，公平对决也碾压对手
晓查发自凹非寺量子位出品 | 公众号 QbitAI 几周前,谷歌发布了新的NLP模型XLNet,它在20项基准测试中均优于BERT. 但是与BERT相比,XLNet模型的训练数据比BERT大1 ...
【信息抽取】如何使用BERT进行关系抽取
事物.概念之间的关系是人类知识中非常重要的一个部分,但是他们通常隐藏在海量的非结构文本中.为了从文本中抽取这些关系事实,从早期的模式匹配到近年的神经网络,大量的研究在多年前就已经展开. 然而,随着互联 ...
就知道调bert，都不知道加个对比学习吗？
说到句向量,大家除了第一反应是用bert的CLS作为句向量,还有就是用word2vec学到每个词的向量,然后把句子中所有的词向量做pooling作为句子的向量.有篇论文SimCSE提到可以引入对比学习 ...
结合业务场景案例实践分析，倾囊相授美团BERT的探索经验
Google 在 2018 年公布 BERT 的工作之后,引起了 NLP 学术圈以及工业界的极大关注.无论是在各个公司的应用场景中,还是在一些公开的 Benchmark 上,BERT 的效果都得到了验 ...
【Transformer】CLS（classification）有什么用？
CLS]就是classification的意思,可以理解为用于下游的分类任务. 一句话理解:[CSL]就是一个向量,只是不是某一个字的向量,是一个够代表整个文本的的语义特征向量,取出来就可以直接用于分 ...
Gavin老师Transformer直播课感悟 - BERT多任务Fine-tuning案例实战
一.概述从任务的视角来看BERT的微调(Fine-tuning), 通过下游监督式学习的任务(设定预定义的标签)来对BERT预训练之后的网络进行微调,这里需要重点关注的是"Further ...

BERT的[CLS]有什么用

BERT的[CLS]有什么用相关推荐

最新文章

热门文章