Paper小计:Language Models as Knowledge Bases?
propose:
LAMA: 由一组知识源组成,每个知识源都由一组事实组成。
我们定义,一个预训练的语言模型知道一个事实(主语、关系、宾语),如(但丁出生在佛罗伦萨),如果它能成功预测MASK的对象,如 "但丁出生在 "这样的句子来表达这一事实。我们测试了各种类型的知识:存储在Wikidata中的实体之间的关系、常识性的概念网中的概念之间的关系,以及回答自然语言问题所需的知识SQuAD中的问题。在后一种情况下,我们手动将SQuAD问题的一个子集映射到cloze句子。
结论:
1.BERT模型(BERT-large)捕获了(准确的)关系型的知识,与用现成的关系提取器和基于甲骨文的实体提取器提取的知识库相当。
2.事实知识可以从预训练的语言模型中恢复得很好,然而,对于某些关系(特别是
N-to-M关系)性能非常差。
3.BERT-large在恢复事实知识和语言模型方面一直优于其他语言模型在恢复事实和常识性知识方面一直优于其他语言模型,同时对查询的措辞更加稳健。
4.BERT-large在开放域QA方面取得了显著的结果,在@10时精度达到57.1%,而使用特定任务的监督关系提取系统构建的知识库为63.5%。
knowledge in language models:
Paper小计:Language Models as Knowledge Bases?相关推荐
- QA-GNN: Reasoning with Language Models and Knowledge Graphsfor Question Answering
题目:QA-GNN:使用语言模型和知识图进行问答推理 作者:Michihiro Yasunaga.Hongyu Ren.Antoine Bosselut.Percy Liang.Jure Leskov ...
- Prompt-based Language Models:模版增强语言模型小结
©PaperWeekly 原创 · 作者 | 李泺秋 学校 | 浙江大学硕士生 研究方向 | 自然语言处理.知识图谱 最近注意到 NLP 社区中兴起了一阵基于 Prompt(模版)增强模型预测的潮流: ...
- 论文阅读:Can Generative Pre-trained Language Models Serve As Knowledge Bases for Closed-book QA
论文阅读:Can Generative Pre-trained Language Models Serve As Knowledge Bases for Closed-book QA 来源:ACL 2 ...
- Paper:GPT-3《 Language Models are Few-Shot Learners》的翻译与解读
Paper:GPT-3< Language Models are Few-Shot Learners>的翻译与解读 目录 <GPT-3: Language Models are Fe ...
- Paper:GPT-3之《 Language Models are Few-Shot Learners》的翻译与解读
Paper:GPT-3之< Language Models are Few-Shot Learners>的翻译与解读 目录 <GPT-3: Language Models are F ...
- 【论文解读 AAAI 2020 | GNTP】Differentiable Reasoning on Large Knowledge Bases and Natural Language
论文题目:Differentiable Reasoning on Large Knowledge Bases and Natural Language 论文来源:AAAI 2020 伦敦大学, Fac ...
- Paper简读 - ProGen2: Exploring the Boundaries of Protein Language Models
欢迎关注我的CSDN:https://spike.blog.csdn.net/ 本文地址:https://blog.csdn.net/caroline_wendy/article/details/12 ...
- #Paper Reading# Language Models are Few-Shot Learner
论文题目: Language Models are Few-Shot Learner 论文地址: https://proceedings.neurips.cc/paper/2020/hash/1457 ...
- AIGC之LLaMA:《LLaMA: Open and Efficient Foundation Language Models》翻译与解读
AIGC之LLaMA:<LLaMA: Open and Efficient Foundation Language Models>翻译与解读 导读:该论文提出了一个开源的大规模语言模型LL ...
最新文章
- 受益一生的15个学习习惯
- y电容如何选型_常用电子元器件分类选型以及单端反激正激变压器设计 (MOS管、电感部分)...
- redis:list的底层实现--压缩列表
- 诗歌rails之 Logger
- 如何根据ABAP类的一个方法名称,反查出这个类的名称
- oracle的parse是什么意思,Oracle性能测量体系(Parse Time)
- IOS提交审核 错误Missing Push Notification Entitlement
- 【C#】:浅谈反射机制 【转】
- Visual Studio Code 编辑器 使用入门
- 微信无法连接到服务器怎么诊断网络【微信高级教程3】
- 3d slicer调整窗宽窗位_3D游戏模型制作技巧,掌握这些技术你也能进鹅厂!
- KnockOutlook:针对Outlook的红队安全研究工具
- it论坛 计算机科学概论,(毕业论文) 计算机科学与技术专业 IT技术论坛.doc
- JSP+JavaBean实现简单计算器
- tx2上装scikit-image
- 边缘计算相关论文汇总
- Loding缓存展示的写法-vue3
- MacOS-Mac开发和iOS开发的区别
- 语音转写基于科大讯飞WebApi接口的安卓实现--上传录音音频翻译成文字
- python+windows画图工具--复现别人论文中的colormap 方法2