bert简介_关于BERT:你不知道的事
近期对BERT系列综述了一番,但记得以前刚接触BERT的时候有很多疑问,之后通过看博客、论文陆续弄明白了。这次就以QA的形式将关于BERT的疑问及其相应解答分享给大家,不足之处,望请指出。
(1)BERT 的MASK方式的优缺点?
答:BERT的mask方式:在选择mask的15%的词当中,80%情况下使用mask掉这个词,10%情况下采用一个任意词替换,剩余10%情况下保持原词汇不变。
优点:1)被随机选择15%的词当中以10%的概率用任意词替换去预测正确的词,相当于文本纠错任务,为BERT模型赋予了一定的文本纠错能力;2)被随机选择15%的词当中以10%的概率保持不变,缓解了finetune时候与预训练时候输入不匹配的问题(预训练时候输入句子当中有mask,而finetune时候输入是完整无缺的句子,即为输入不匹配问题)。
缺点:针对有两个及两个以上连续字组成的词,随机mask字割裂了连续字之间的相关性,使模型不太容易学习到词的语义信息。主要针对这一短板,因此google此后发表了BERT-WWM,国内的哈工大联合讯飞发表了中文版的BERT-WWM。
(2)BERT中的NSP任务是否有必要?
答:在此后的研究(论文《Crosslingual language model pretraining》等)中发现,NSP任务可能并不是必要的,消除NSP损失在下游任务的性能上能够与原始BERT持平或略有提高。这可能是由于Bert以单句子为单位输入,模型无法学习到词之间的远程依赖关系。针对这一点,后续的RoBERTa、ALBERT、spanBERT都移去了NSP任务。
(3)BERT深度双向的特点,双向体现在哪儿?
答:BERT使用Transformer-encoder来编码输入,encoder中的Self-attention机制在编码一个token的时候同时利用了其上下文的token,其中‘同时利用上下文’即为双向的体现,而并非想Bi-LSTM那样把句子倒序输入一遍。
(4)BERT深度双向的特点,深度体现在哪儿?
答:针对特征提取器,Transformer只用了self-attention,没有使用RNN、CNN,并且使用了残差连接有效防止了梯度消失的问题,使之可以构建更深层的网络,所以BERT构建了多层深度Transformer来提高模型性能。
(5)BERT中并行计算体现在哪儿?
答:不同于RNN计算当前词的特征要依赖于前文计算,有时序这个概念,是按照时序计算的,而BERT的Transformer-encoder中的self-attention计算当前词的特征时候,没有时序这个概念,是同时利用上下文信息来计算的,一句话的token特征是通过矩阵并行‘瞬间’完成运算的,故,并行就体现在self-attention。
(6)BERT中Transformer中的Q、K、V存在的意义?
答:在使用self-attention通过上下文词语计算当前词特征的时候,X先通过WQ、WK、WV线性变换为QKV,然后如下式右边部分使用QK计算得分,最后与V计算加权和而得。
倘若不变换为QKV,直接使用每个token的向量表示点积计算重要性得分,那在softmax后的加权平均中,该词本身所占的比重将会是最大的,使得其他词的比重很少,无法有效利用上下文信息来增强当前词的语义表示。
而变换为QKV再进行计算,能有效利用上下文信息,很大程度上减轻上述的影响。
(7)BERT中Transformer中Self-attention后为什么要加前馈网络?
答:由于self-attention中的计算都是线性了,为了提高模型的非线性拟合能力,需要在其后接上前馈网络。
(8)BERT中Transformer中的Self-attention多个头的作用?
答:类似于cnn中多个卷积核的作用,使用多头注意力,能够从不同角度提取信息,提高信息提取的全面性。下次更新内容可能包括:B站 is all your need、中文 NLP 各类任务简介 • 下、基于序列标注的关系抽取实战,等,敬请期待♥♥♥。
仓库地址共享:
在机器学习算法与自然语言处理公众号后台回复“代码”,
即可获取195篇NAACL+295篇ACL2019有代码开源的论文。开源地址如下:https://github.com/yizhen20133868/NLP-Conferences-Code
重磅!忆臻自然语言处理-Pytorch交流群已正式成立!
群内有大量资源,欢迎大家进群学习!
注意:请大家添加时修改备注为 [学校/公司 + 姓名 + 方向]
例如 —— 哈工大+张三+对话系统。
号主,微商请自觉绕道。谢谢!
推荐阅读:
常用 Normalization 方法的总结与思考:BN、LN、IN、GN
人人都能看懂的LSTM
Python “偏函数” 用法全方位解析
bert简介_关于BERT:你不知道的事相关推荐
- bert简介_什么是BERT?
BERT的全称为Bidirectional Encoder Representation from Transformers,是一个预训练的语言表征模型.它强调了不再像以往一样采用传统的单向语言模型或 ...
- feign调用第三方接口_讲一个你不知道的事:SringCloud的feign的继承特性
前言 说起SpringChoud的feign大家用过的都说好.Feign是Netflix开发的声明式.模板化的HTTP客户端.对于我们微服务来说,微服务之间的api调用,使用feign来说是再方便不过 ...
- bert简介_BERT简介
bert简介 BERT, Bi-directional Encoder Representation from Transformer, is a state of the art language ...
- bert下游_原来你是这样的BERT,i了i了! —— 超详细BERT介绍(三)BERT下游任务...
原来你是这样的BERT,i了i了! -- 超详细BERT介绍(三)BERT下游任务 BERT(Bidirectional Encoder Representations from Transforme ...
- Deeplearning4j 实战 (21):Bert简介及NLP问题应用
Eclipse Deeplearning4j GitChat课程:https://gitbook.cn/gitchat/column/5bfb6741ae0e5f436e35cd9f Eclipse ...
- bert 多义词_自然语言处理:Bert及其他
以下内容主要参考了文末列出的参考文献,在此表示感谢! 2018年被认为是NLP技术的new era的开始.在这一年,提出了多种有创新性的技术,而且最后的集大成者Bert在NLP的多项任务中屠榜,造成的 ...
- BERT |(3)BERT模型的使用--pytorch的代码解释
参考代码:https://github.com/649453932/Bert-Chinese-Text-Classification-Pytorch 从名字可以看出来这个是做一个中文文本分类的的任务, ...
- Bert算法:语言模型-BERT详细介绍
本文的目的是向NLP爱好者们详细解析一个著名的语言模型-BERT. 全文将分4个部分由浅入深的依次讲解. 1.Bert简介 BERT是2018年10月由Google AI研究院提出的一种预训练模型. ...
- python3.9.0 print_关于 Python 3.9,那些你不知道的事
原标题:关于 Python 3.9,那些你不知道的事 作者 | Ayushi Rawat 编译 | 高卫华 题图 | 视觉中国 Python一直在满足社区需求,并且将成为未来使用最多的语言. Pyth ...
最新文章
- Elasticsearch之集群脑裂
- C# 入门之 Hello World
- sas infile和filename
- 前端学习(2621):更新品牌
- vue+elementUI开发实践问题总结
- Linus 本尊来了!为什么 KubeCon 越来越火?
- 华为鸿蒙还会不会推出,华为如果把鸿蒙独立出来,让小米、魅族和蓝绿厂参股进来,会不会超越安卓?...
- attention机制_聊聊NLP中的Attention机制---抛砖引玉
- 分布式场景下redis已经逐渐取代了memcached,那么各有什么使用场景和优缺点呢?
- C语言猜数字小游戏---详解+源码
- Java命令学习系列(六)——javap
- Linux下安装yum源
- 管理信息系统复习总结(保姆级)
- tensorflow.js基本使用 图标识别(八)
- 网站SEO提升关键词排名的六个步骤
- matlab语法 axis on,matlab axis
- CAD二开之打开时插件命令自动加载(RibbonUI自动显示)
- c语言编程实现开平方运算,详细解析C语言中的开方实现
- 入门OJ:郭嘉的消息传递
- vmbox-android