DeepMind出品:终于不瞎编了!AI学会了“谷歌一下”,回答问题正确率达90%。
点击上方“视学算法”,选择加"星标"或“置顶”
重磅干货,第一时间送达
明敏 发自 凹非寺
量子位 | 公众号 QbitAI
语言模型总是给出“驴唇不对马嘴”的答案,已经成为它最饱受诟病的问题之一。
现在,DeepMind想到了一个解决办法——
让模型像人类一样,学会“谷歌一下”,回答问题同时还能给出论据。
这个模型名叫GopherCite,当你问它:
GopherCite是如何找到论据来源的?
它会回答:
通过谷歌搜索检索相关文档。
同时还给出了答案的依据,援引自DeepMind发布这项研究的页面。
而且遇到实在不懂的问题,它还会说“I don’t know.”,不会强行给一个错误答案。
训练结果显示,该模型在自然问题数据集、ELI5数据集上的正确率分别可以达到90%、80%,接近人类水平。
用强化学习训练AI查谷歌
首先我们来看一下GopherCite的效果如何。
当被问道:
在Scooby Doo中,Scooby是什么动物?
GopherCite回答道:
一只大丹犬。
摘自维基百科Scooby-Doo。这是周六早上播出的系列青少年动画片,主角包括弗雷德·琼斯等,以及一只名叫Scooby-Doo、会说话的大丹犬。
不难看出,在学会找论据后,AI给出的回答靠谱多了。
事实上,GopherCite的前辈——超大语言模型Gopher,此前回答问题时的表现就要差劲很多。
Gopher是DeepMind在去年年底发布的NLP模型,包含2800亿参数。
它基于Transformer架构,在10.5TB大小的MassiveText语料库上进行训练。
在这里,DeepMind举了一个例子来说明。
让Gopher和GopherCite回答同一个问题:
普莱西德湖一共举办过几次冬奥会?
Gopher回答(是错的):
普莱西德湖在1932年、1936年、1980年举办过冬奥会。
但GopherCite就答对了:
两次。
并给出了严谨的理由:
援引自美国主办奥运会城市史。1932年、1980年在普莱西德湖举办过冬季奥运会;1936年、1984年在洛杉矶举办过夏季奥运会。
那么GopherCite的具体工作原理是怎样的呢?
在Gopher的基础上,研究人员开发了一种奖励机制,也就是用上强化学习。
在收到问题后,模型会访问谷歌搜索的API来找到相关的网页,获取top-K结果。
(top-K操作,即从分数集合中找到k个最大或最小元素,是一个重要的机器学习模型组件,被广泛用于信息检索和数据挖掘中。)
然后它会根据问题来生成一些答案,答案数量N会大于K。
这些答案同时会带有自己的证据,即从网页上搜索到的包含答案的文段。
接下来,系统会对这些答案进行打分,最终输出得分最高的答案。
在推理过程中,模型采样会按照循环在文档上不断迭代,每个循环都会从单个文档中尽可能多地显示上下文内容,然后对文本重新排序并返回给上一步。
此外,这个模型还会计算最终生成答案的质量,如果生成答案太差,它就会选择不回答。
结果显示,在自然问题数据集上,GopherCite回答70%的问题时,正确率达到90%。
在ELI5Filtered数据集上回答70%的问题时,正确率为80%左右。
DeepMind表示这种训练模式和LaMDA有些类似。
LaMDA是谷歌在去年I/O大会上发布的一个对话模型,它能够在“听懂”人类指令的基础上,对答如流并保证逻辑、事实正确。
不同的是,LaMDA有时会直接给人分享问题的相关链接,而GopherCite可以直接摘出相关论据文段。
另外,OpenAI最近也开发了一个网页版GPT (WebGPT),同样也是用类似的方法来校正GPT-3。
DeepMind表示,WebGPT是通过多次访问网页来组织答案,GopherCite则是侧重于读取长文段。
还是会有失误
虽然懂得援引资料了,但是GopherCite有时还是会生搬硬套。
比如当你问它“喝了红牛会怎么样?”,它的回答是“翅膀”。
这是源于红牛的广告语:“它会给你翅膀”。
显然让它理解比喻还是有点困难……
也有网友吐槽说,可能人类自己去谷歌搜索会更快()。
你觉得呢?
参考资料:
https://deepmind.com/research/publications/2022/GopherCite-Teaching-Language-Models-To-Support-Answers-With-Verified-Quotes
— 完 —
点个在看 paper不断!
DeepMind出品:终于不瞎编了!AI学会了“谷歌一下”,回答问题正确率达90%。相关推荐
- 终于不瞎编了!AI学会了“谷歌一下”,回答问题正确率达90% | DeepMind
明敏 发自 凹非寺 量子位 | 公众号 QbitAI 语言模型总是给出"驴唇不对马嘴"的答案,已经成为它最饱受诟病的问题之一. 现在,DeepMind想到了一个解决办法-- 让模型 ...
- AI写剧本炸场戏剧节!DeepMind出品,马斯克看了直夸,网友看到接口悟了
羿阁 萧箫 发自 凹非寺 量子位 | 公众号 QbitAI OpenAI的ChatGPT大火后,DeepMind终于也坐不住了! 这次,他们推出一款名为"Dramatron"的新A ...
- 我凭这个引流套路做到月入10万+,你也可以(瞎编的)
我凭这个引流套路做到月入10万+,你也可以(瞎编的) (声明,以上内容纯属炮哥闲的蛋疼胡编乱造的,不针对任何人,切莫当真,擅自操作项目后果自负.) 闲话少说先上项目! 什么样的项目可以月入10万? 答 ...
- 史上AI最高分!谷歌大模型创美国医师执照试题新纪录,科学常识水平媲美人类医生...
杨净 羿阁 发自 凹非寺 量子位 | 公众号 QbitAI 史上AI最高分,谷歌新模型刚刚通过美国医师执照试题验证! 而且在科学常识.理解.检索和推理能力等任务中,直接与人类医生水平相匹敌.在一些临床 ...
- 观看5万个游戏视频后,英伟达AI学会了自己开发「吃豆人」
晓查 发自 凹非寺 量子位 报道 | 公众号 QbitAI AI学会玩游戏已经不是什么新鲜事了,无论是星际争霸还是王者荣耀,AI的水平都已经超过了顶级选手. 现在,AI不仅能玩游戏,还学会了造游戏. ...
- 围观人类弹琴后,Facebook的AI学会了假装演奏
安妮 编译自 CNBC 量子位 出品 | 公众号 QbitAI Facebook的AI研究人员想让卡通形象看起来像在演奏乐器. 脑补不出来?画面可能是下面这样的-- class="video ...
- 【AI前沿】谷歌如何利用人工智能重塑美国医疗行业?
谷歌正在押注未来医疗会变得数据结构化和人工智能化,它已经把 AI 运用到了疾病监测,新型数据基础设施和有潜力的保险等领域. 在这篇报告里,我们将探索谷歌医疗行业的众多布局和未来可能会进入的领域. 谷歌 ...
- 训练 AI 学会通过复制来构建 AI 系统
https://www.toutiao.com/a1620271991216259 [训练 AI 学会通过复制来构建 AI 系统] 中国计算机视觉巨头商汤科技和香港中文大学的研究人员发布了有关 IRL ...
- 现在,AI 已经能预测病人什么时候死亡了,准确率达 90%
点击上方"CSDN",选择"置顶公众号" 关键时刻,第一时间送达! 据国外媒体 Eurasia Review 报道,来自斯坦福大学的研究人员已经开发出了一种使用 ...
最新文章
- delphi7存取配置文件与sqlserver数据库连接_SQL Server基础知识概念要点详细讲解
- eclipse快速定位到错误处
- 生信宝典之傻瓜式 (五) - 文献挖掘查找指定基因调控网络
- Hotspot JVM的常用选项
- linux msgctl函数,msgctl()函数
- linux7添加端口过程,CentOS7安装firewalld防火墙添加放行端口简单演示过程
- 哪里有高中教师教学计算机能力培训,04060406_王世红_高中教师信息技术能力的培训.doc...
- Javascript封装
- Java 设置 JLabel 字体 颜色
- mini-pcie接口(EC20和N720)
- linux 内核移植和根文件系统的制作
- 除了花瓣、站酷,提高品位、汲取灵感,关注这10个国内优质设计网站
- FFmpeg+OpenCV 读取摄像头
- 符号在excel中的引用_如何在Excel工作表中添加表情符号
- Shell 编程规范与变量
- 恶意软件伪装成PDF传播、新冠病毒变种成钓鱼攻击诱饵|12月3日全球网络安全热点
- 【xinfanqie】解决网络出现“正在连接”的问题
- 详述 Java NIO 以及 Socket 处理粘包和断包方法
- CF 704A Thor
- 封神台——第一关:为了女神小芳
热门文章
- [置顶] 单例模式lua实现
- 常见面试题:重写strcpy() 函数原型
- 用javascript实现的纵版飞行射击游戏—《天机》
- 秦州:西瓜书 + 南瓜书 吃瓜系列 10. 集成学习(下)
- 股市币市:数据分析与交易所公告(20190227)
- 开放-封闭原则(The Open-Closed Principle,OCP)
- Python 来分析,堪比“唐探系列”!B站9.5分好评如潮!
- 听说,英特尔要对外开放 x86 授权?
- 马斯克公开支持“上班摸鱼”:让工作更愉快!
- 联邦学习,为何而生?