GPT1

出现在Bert之前，

gpt预训练的一个目标函数有两个，

第一个是基础的下一个词预测任务，选择一个K窗口，将窗口中的K个词的embedding作为条件去预测下一个词。

第二个是一个分类任务，一段话给一个标签，然后去预测这标签。

GPT2

GPT2是open ai为了回应bert，所做的一个反击，他首先是参数量大大增加了，bert large的参数总量也就是3.4亿，但是GPT2直接跳到了15亿，他的模型结构是基本没有变的，只是增加了层数参数，但是在模型架构训练目标函数上和1没有区别，他的卖点是 zero-shot也就是不需要微调，我的任何任务直接能拿来就用，正是因为zero-shot的设定，它没有在输入上加那些特殊符号，而是用一个text做前缀提示后续输入的形式，做法就是跟T5是一样的，可以看我上一篇文章。他的数据集是一个自己爬的超大的数据集。下面是它模型参数第一个设定，可以看出，非常大。

GPT3

3代模型就更大了，但是架构上他基本是就是按照12代做的，模型结构上区别也不大，模型训练和2也没太大区别，就是一个多任务的学习，GPT一共有1750亿个参数，模型大小是bert的上百倍，gpt3可以做zero-shot，也可以做one-shot，也可以做few-shot，顾名思义，一个是不需要微调，一个是用一个句子做微调，另一个是

[nlp] GPT T5相关推荐

nlp gpt论文_gpt 3变形金刚和nlp的狂野世界
nlp gpt论文介绍(Introduction) The tech world is so full of fascinating demons. Every now and then, we g ...
nlp gpt论文_GPT-3：NLP镇的最新动态
nlp gpt论文什么是GPT-3? (What is GPT-3?) The launch of Open AI's 3rd generation of the pre-trained langu ...
从word2vec开始，说下GPT庞大的家族系谱
2020-10-05 10:57:15 机器之心分析师网络作者:王子嘉编辑:H4O 本文从从老祖级别的 word2vec 开始,从头到尾梳理了 GPT 的「家谱」和 word2vec 领衔的庞 ...
文本表示模型(1)：主题模型LSA、pLSA、LDA
目录文本表示模型主题模型 LSA pLSA LDA 文本表示模型文本表示模型可分为以下几种: 基于one-hot, tf-idf, textrank等的bag-of-words: 基于计数的,主 ...
欺诈行为识别_使用R（编程）识别欺诈性的招聘广告
欺诈行为识别背景 (Background) Online recruitment fraud (ORF) is a form of malicious behaviour that aims to ...
python中api_通过Python中的API查找相关的工作技能
python中api 工作技能世界 (The World of Job Skills) So you want to figure out where your skills fit into tod ...
nosql_探索NoSQL系列
nosql 数据科学 (Data Science) Knowledge on NoSQL databases seems to be an increasing requirement in data ...
python bokeh_提升视觉效果：使用Python和Bokeh制作交互式地图
python bokeh Let's face it, fellow data scientists: our clients LOVE dashboards. Why wouldn't they? ...
广告投手_测量投手隐藏自己的音高的程度
广告投手 As the baseball community has recently seen with the Astros 2017 cheating scandal, knowing what ...

[nlp] GPT T5

GPT1

GPT2

GPT3

[nlp] GPT T5相关推荐

最新文章

热门文章