不可错过！普林斯顿陈丹琦最新《大语言模型理解》2022课程！全面讲述BERT、GPT、T5等大模型，附Slides...

视学算法报道

来源：专知

编辑：Aeneas

【导读】本课程旨在帮助您在自然语言处理方面进行前沿研究，特别是与预训练语言模型相关的主题。

在过去3-4年中，大型语言模型(LLMs)彻底改变了自然语言处理(NLP)领域。它们构成了最先进的系统的基础，在解决广泛的自然语言理解和生成任务时无处不在。随着前所未有的潜力和能力，这些模型也带来了新的道德和可扩展性挑战。本课程旨在涵盖围绕预训练语言模型的前沿研究课题。我们将讨论它们的技术基础(BERT、GPT、T5模型、专家混合模型、基于检索的模型)、新出现的功能(知识、推理、少样本学习、上下文学习)、微调和适应、系统设计以及安全和伦理。我们将涵盖每个主题，并深入讨论重要论文。学生将被期望定期阅读和提交研究论文，并在结束时完成一个研究项目。

这是一门高级研究生课程，所有学生都应该上过机器学习和NLP课程，并熟悉诸如transformer等深度学习模型。

https://www.cs.princeton.edu/courses/archive/fall22/cos597G/

学习目标

本课程旨在帮助您在自然语言处理方面进行前沿研究，特别是与预训练语言模型相关的主题。我们将讨论最先进的技术，它们的能力和局限性。
练习你的研究技能，包括阅读研究论文，进行文献调查，口头报告，以及提供建设性的反馈。
通过期末项目获得实践经验，从头脑风暴到实施和实证评估，再到撰写期末论文。

课程内容：

引言
BERT
T5 (encoder-decoder models)
GPT-3 (decoder-only models)
Prompting for few-shot learning
Prompting as parameter-efficient fine-tuning
In-context learning
Calibration of prompting LLMs
Reasoning
Knowledge
Data

参考论文：On the Opportunities and Risks of Foundation Models

作者：Percy Liang、李飞飞等
论文链接：https://arxiv.org/pdf/2108.07258.pdf

摘要：最近，斯坦福大学的 Percy Liang、Rishi Bommasani（Percy Liang 的学生）、李飞飞等 100 多位研究者联名发布了一篇论文。在论文中，他们给大模型取了一个名字——「基础模型（foundation model）」，并系统探讨了基础模型的机遇与风险。「基础」代表至关重要，但并不完备。

论文正文分为四个部分，分别阐述了基础模型的能力、应用、相关技术和社会影响，其具体内容如下：

能力：语言、视觉、机器人学、推理、交互、理解等；
应用：医疗、法律、教育等；
技术：建模、训练、适应、评估、系统、数据、安全与隐私、稳健性、理论、可解释性等；
社会影响：不平等、滥用、环境、法规、经济、伦理等。

这篇论文的问世将为负责任地发展、部署基础模型提供一些借鉴。

参考资料：

https://mp.weixin.qq.com/s/tS454NVvB__-jXGD2Hew3g

点个在看 paper不断！

不可错过！普林斯顿陈丹琦最新《大语言模型理解》2022课程！全面讲述BERT、GPT、T5等大模型，附Slides...相关推荐

斯坦福大学陈丹琦等人解读机器阅读最新进展：超越局部模式匹配
来源:AI 科技评论不久前,斯坦福大学的计算机科学博士陈丹琦的一篇长达 156 页的毕业论文<Neural Reading Comprehension and Beyond>成为「爆款文 ...
清华姚班陈丹琦获斯隆奖！与去年得主马腾宇是同班同学，博士毕业论文是近十年最热之一...
点击上方"AI遇见机器学习",选择"星标"公众号重磅干货,第一时间送达杨净丰色发自凹非寺量子位 | 公众号 QbitAI 清华姚班大神陈丹琦,刚刚有 ...
陈丹琦带着清华特奖学弟发布新成果：打破谷歌BERT提出的训练规律！这个庆祝方式太学神了吧...
萧箫发自凹非寺量子位 | 公众号 QbitAI 新晋斯隆奖得主如何庆祝? 公开最新研究成果算不算? 就在斯隆奖宣布当天,陈丹琦团队展示了最新的研究成果. 团队发现,经典NLP模型BERT提出的预 ...
清华姚班陈丹琦获斯隆奖！博士毕业论文是近十年最热之一
点击机器学习算法与Python学习 ,选择加星标精彩内容不迷路量子位 | 公众号 QbitAI 清华姚班大神陈丹琦,刚刚有了最新荣誉.斯隆研究奖得主. 获得这个奖项的研究者,将得到为期两年750 ...
陈丹琦带着清华特奖学弟发布新成果：打破谷歌BERT提出的训练规律这个庆祝方式太学神了吧
新晋斯隆奖得主如何庆祝? 公开最新研究成果算不算? 就在斯隆奖宣布当天,陈丹琦团队展示了最新的研究成果. 团队发现,经典NLP模型BERT提出的预训练"15%掩蔽率"法则,是可以被 ...
清华姚班校友陈丹琦斩获2022斯隆奖！「诺奖风向标」27位华人学者入选
视学算法报道编辑:桃子拉燕 [新智元导读]刚刚,有「诺奖风向标」之称的斯隆研究奖公布了最新获奖名单.今年,共有118名学者当选.值得一提的是,清华姚班毕业的华人科学家陈丹琦位列其中. 刚刚 ...
清华姚校友陈丹琦斩获2022斯隆奖！博士论文是近十年最热之一！共计27位华人入选...
来源:新智元有「诺奖风向标」之称的斯隆研究奖公布了最新获奖名单. 今年,共有118名学者获斯隆研究奖,华人学者占27席.他们将获得75000美元,这笔款项可在两年的时间内用于支持其研究的任何费用. ...
清华姚班陈丹琦等27位华人学者获奖，斯隆奖2022年获奖名单颁布！
整理 | 于轩出品 | 程序人生 (ID:coder _life) 近日,素有"诺奖风向标"之称的斯隆研究奖颁布了2022年获奖名单.斯隆研究奖于1955年设立,每年颁发一次,旨 ...
伯克利摘得最佳论文，陈丹琦、杨笛一等华人团队获杰出论文，ACL2022奖项公布...
视学算法报道编辑:陈萍.杜伟刚刚,NLP 领域国际顶会 ACL2022 公布获奖论文信息,其中加州大学伯克利分校的增量句法表示研究被评为最佳论文.此外,最佳主题论文.杰出论文也揭晓. ACL 是计 ...
【清华访谈】｜陈丹琦：穿越多元文化，做独具特色的科研
源|清华<从茶园走向世界>校友访谈她说,要穿越多元文化,做独具特色的科研."她在发现重要的研究问题上很有品位.她已经对该领域产生了非凡的影响,并且她的影响只会越来越大.&quo ...

不可错过！普林斯顿陈丹琦最新《大语言模型理解》2022课程！全面讲述BERT、GPT、T5等大模型，附Slides...

【导读】本课程旨在帮助您在自然语言处理方面进行前沿研究，特别是与预训练语言模型相关的主题。

不可错过！普林斯顿陈丹琦最新《大语言模型理解》2022课程！全面讲述BERT、GPT、T5等大模型，附Slides...相关推荐

最新文章

热门文章