带有笔记的文章是最近正在研究的内容，质量有可能很差，只有自己看的懂，所以看的笔记的大致看看就可以，我也正在积累，等感觉没问题了就会重新整理再发一次

术语

掩码语言模型（MLM）任务
句子连贯性判定（NSP）任务
bert 解释
bert其实就是砍掉解码器的transformer
原理
BERT 模型使用两个新的无监督预测任务进行预训练，分别是 Masked LM（MLM）和 Next Sentence Prediction（NSP）。
为了训练深度双向 Transformer 表示，采用了一种简单的方法：随机掩盖部分输入词，然后对那些被掩盖的词进行预测，此方法被称为“Masked LM”（MLM）。该任务非常像我们在中学时期经常做的完形填空
随机选择句子中15%的单词进行 Mask，在选择为 Mask 的单词中，有80%真的使用[MASK]进行替换，10%使用一个随机单词替换，剩下10%保留原词不进行替换。
Next Sentence Prediction
Next Sentence Prediction（NSP）是一个二分类任务，其目标是判断句子 B 是否是句子 A 的下文，如果是的话输出标签为 ‘IsNext’，否则输出标签为 ‘NotNext’。

bert 类型
albert、Albert_tiny、Albert v2模型--------精简版的bert模型
引入了BERT模型中的双向上下文信息的广义自回归模型——XLNet模型
引入了BERT模型训练方式和目标的RoBERTa和SpanBERT模型；
结合了多任务及知识蒸馏（Knowledge Distillation）、强化BERT模型功能的MT-DNN模型。
GPT-3模型，可以写出不同风格的文章。它可以写出诗集、散文，甚至“金庸风格”的小说、新闻稿等
RoBERTa 是哈工大的 roberta-base-wwm-ext；
NEZHA 是最好的字级别中文预训练模型，来自华为诺亚方舟研究院；
AMBERT 是曾经多粒度中文预训练模型的 SOTA，是字节跳动李航组的工作；
BERT-word 是使用词作为输入的 BERT；
LBERT 是学到了字和词的信息的方法

huggingface
bert模型存放的地方
https://huggingface.co/distilbert-base-uncased-finetuned-sst-2-english/tree/main

笔记——BERT模型相关推荐

从Transformer到BERT模型
目录: ELMo与Transformer的简单回顾 DAE与Masked Language Model BERT模型详解 BERT模型的不同训练方法如何把BERT模型应用在实际项目中如何对BERT ...
【NLP】BERT 模型与中文文本分类实践
简介 2018年10月11日,Google发布的论文<Pre-training of Deep Bidirectional Transformers for Language Understan ...
【NLP】通俗讲解从Transformer到BERT模型！
作者:陈锴,中山大学张泽,华东师范大学近两年来,Bert模型非常受欢迎,大部分人都知道Bert,但却不明白具体是什么.一句话概括来讲:BERT的出现,彻底改变了预训练产生词向量和下游具体NLP任 ...
【NLP】一份相当全面的BERT模型精讲
本文概览: 1. Autoregressive语言模型与Autoencoder语言模型 1.1 语言模型概念介绍 Autoregressive语言模型:指的是依据前面(或后面)出现的单词来预测当前时刻 ...
一文看懂Transformer到BERT模型
目录: ELMo与Transformer的简单回顾 DAE与Masked Language Model BERT模型详解 BERT模型的不同训练方法如何把BERT模型应用在实际项目中如何对BERT ...
革命性提升-宇宙最强的NLP预训练BERT模型（附官方代码）
编辑忆臻公众号 | 机器学习算法与自然语言处理 yizhennotes 1. Bert官方源码公开终于是千呼万唤始出来,Google AI 发表于10月中旬的论文: <BERT: Pre ...
“哪吒”出世！华为开源中文版BERT模型
点上方蓝字计算机视觉联盟获取更多干货在右上方 ··· 设为星标 ★,与你不见不散编辑:Sophia 计算机视觉联盟报道 | 公众号 CVLianMeng 转载于 :诺亚实验室 [人工智能资源 ...
BERT模型实战之多文本分类（附源码）
BERT模型也出来很久了,之前看了论文学习过它的大致模型(可以参考前些日子写的笔记NLP大杀器BERT模型解读),但是一直有杂七杂八的事拖着没有具体去实现过真实效果如何.今天就趁机来动手写一写实战,顺 ...
NLP大杀器BERT模型解读
谷歌研究人员通过新的BERT模型在11项NLP任务中夺得STOA结果,这在自然语言处理学界以及工业界都引起了不小的热议.作者通过在33亿文本的语料上训练语言模型,再分别在不同的下游任务上微调,这样的模 ...

笔记——BERT模型

术语

笔记——BERT模型相关推荐

最新文章

热门文章