LeCun的62页新作:未来十年的AI研究计划——自主机器智能
点击下方卡片,关注“CVer”公众号
AI/CV重磅干货,第一时间送达
点击进入—> CV 微信技术交流群
丰色 发自 凹非寺
转载自:量子位(QbitAI)
这段时间,关于“AI未来往哪走的”讨论,可以说是越来越激烈了。
先是Meta被曝AI相关部门大重组,又有谷歌AI是否具备人格大讨论,几乎每一次讨论都能看到Yann LeCun的身影。
现在,LeCun终于坐不住了。
他用一篇长达62页的最新论文,详细介绍了他未来十年要做什么样的AI研究:
自主机器智能(Autonomous Machine Intelligence)。
LeCun表示,在大数从业者都不会提前将自己的研究内容公布出来的“学术风气”下,他这一举动可以说是很特别了。
究其原因,除了发扬开放的科学研究精神,也是为了号召更多人一起加入其中,一起研究。
那么,他说的这个自主人工智能,究竟是什么,又要如何开展?
可以模拟世界运作的AI
在论文中,LeCun先是举了一个例子:
一个年轻人可以最快在20小时内就学会开车;
一个当今世界最优秀的自动驾驶系统,却要用到数百万甚至数十亿条带标签的训练数据,并在虚拟环境中进行数百万次强化学习才能得出——还完全达不到人类的水平。
从这个例子我们可以得出,尽管我们在人工智能方面的研究取得了不少进展,但离创造出一个能真正像人类一样思考和学习的AI还差得远。
LeCun所提出的自主人工智能就是要解决这个问题。
在他看来,对“世界模型”(世界如何运作的内部模型)进行学习的能力可能是关键。
众所周知,人类和其他动物总是能通过观察和少量互动,就能以无监督的方式学习到大量关于世间万物如何运转的背景知识。
这些知识就是我们所说的常识,而常识就是构成“世界模型”的基础。
有了常识,我们在不熟悉的场景下也能开展行动。比如开头那位从来没有开过车的年轻人,碰到雪地,不用教也知道这样的路很滑得慢慢开。
此外,常识还可以帮我们填补信息在时间和空间上的缺失。比如一名司机听到了金属等物质的碰撞声,即使没有看到现场,也能知道那可能是有车祸发生。
在这些概念之上,LeCun提出了构建自主人工智能的第一个挑战:
如何设计一个学习范式和体系架构,让机器能够以自监督学习(也就是不需要标注数据)的方式学习“世界模型”,然后用这个模型去进行预测、推理和行动。
在这里,他重新组合了认知科学、系统神经科学、最优控制、强化学习和“传统”人工智能等各个学科中提出的想法,并将它们与机器学习中的新概念相结合,提出了一个由六个独立模块组成的自主智能架构。
其中,每个模块都是可微的,每一个都可以很容易地计算某个目标函数相对于自己的输入的梯度估计,并将梯度信息传播到上游模块。
六模块自主智能架构
LeCun设想的六个模块分别为:
1、配置模块:负责执行控制。给定要执行的任务,它可以通过调节其他模块的参数,为任务预先配置感知模块、世界模块等其他三个模块的值。
2、感知模块:负责接收来自传感器的信号并估计世界的当前状态。
3、世界模型模块:是这个架构中最复杂的一部分。有两个作用:
(1)估计感知模块无法提供的关于世界状态缺失的信息;
(2)预测未来可能的状态。由于世界充满了不确定性,该模块必须能够涵盖出多种可能的预测。
4、成本模块:用来计算标量(scalar)的输出,它可以预测智能体的不适程度(discomfort of the agent,智能体受到的损害、违反硬编码的行为约束等)。
该模块又有两个子模块:
(1)内在成本模块(cost),用来即时计算“不适感”;
(2)评判家(critic):预测内在成本模块的未来值。
5、行动模块:用来计算要实现的动作序列。行动模块可以找到一个使未来成本模块最小化的最优动作序列,并以类似于经典最优控制的方式,以最优序列输出第一个动作。
6、短期内存模块:跟踪当前和预测的世界状态以及相关成本。
其中,对于这个架构的核心——世界模块,最关键的挑战是如何使其能够表示出多个合理的预测。
此外,它在学习世界的抽象表示时,还要学会忽略不相关的信息,只保留最有用的细节。
比如在开车时,只需要预测驾驶员周围的汽车会做什么,不需要预测道路两旁树木中每片叶子的详细位置。
对此,LeCun也给了一个可能的解决方案:
联合嵌入预测架构 (JEPA),用它来处理预测中的不确定性。
同时,他还提出用非对比自监督学习对JEPA进行训练,以及从不同时间尺度上进行预测的分级JEPA,它可以将复杂任务拆解为一系列不那么抽象的子任务。
AI待解决的问题还有很多
LeCun表示,对于未来几十年来说,训练出来这样一个世界模型是人工智能要取得突破性进展必须面对的最大挑战。
目前来看,要想实现上面这个架构,还有很多方面都有待定义:比如如何精确地训练critic、如何构造和训练配置器、以及如何使用短期内存跟踪世界状态,并存储世界状态、动作和相关内在成本的历史来调整critic……
除此之外,LeCun也在论文中指出,对于未来的自主人工智能研究:
(1)扩大模型规模有必要,但不够;
(2)奖励机制也不够,基于观察的自监督学习才是更有效的方式;
(3)推理(reason)和计划(plan)实质上都归结于推断(inference):找到一系列动作和潜在变量,以最小化(可微)目标。这也是使推理与基于梯度的学习能够兼容的办法。
(4)在以上这种情况下,可能就不需要明确的符号操作机制了。
更多细节可以查看论文原文:
https://openreview.net/forum?id=BZ5a1r-kVsf
参考链接:
[1]https://twitter.com/ylecun/status/1541492391982555138
[2]https://ai.facebook.com/blog/yann-lecun-advances-in-ai-research/
点击进入—> CV 微信技术交流群
ICCV和CVPR 2021论文和代码下载
后台回复:CVPR2021,即可下载CVPR 2021论文和代码开源的论文合集
后台回复:ICCV2021,即可下载ICCV 2021论文和代码开源的论文合集
后台回复:Transformer综述,即可下载最新的3篇Transformer综述PDF
目标检测和Transformer交流群成立
扫描下方二维码,或者添加微信:CVer6666,即可添加CVer小助手微信,便可申请加入CVer-目标检测或者Transformer 微信交流群。另外其他垂直方向已涵盖:目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer等。
一定要备注:研究方向+地点+学校/公司+昵称(如目标检测或者Transformer+上海+上交+卡卡),根据格式备注,可更快被通过且邀请进群▲扫码或加微信: CVer6666,进交流群
CVer学术交流群(知识星球)来了!想要了解最新最快最好的CV/DL/ML论文速递、优质开源项目、学习教程和实战训练等资料,欢迎扫描下方二维码,加入CVer学术交流群,已汇集数千人!▲扫码进群
▲点击上方卡片,关注CVer公众号
整理不易,请点赞和在看
LeCun的62页新作:未来十年的AI研究计划——自主机器智能相关推荐
- 未来十年是AI的黄金发展期
https://www.toutiao.com/a6653349607361217037/ 虽然AI现阶段还有一些挑战需要突破,但是业内人士对于其未来的发展仍持乐观态度.近日,中国工程院院士.中国互联 ...
- LeCun指明下一代AI方向:自主机器智能
在这篇长达 62 页的论文中,LeCun 表示,这篇论文提炼了他对过去 5 年 - 10 年关于 AI 发展大方向的思考,这基本上是他计划在接下来的 10 年中开展的工作,也是他希望激励其他人从事的工 ...
- 首发|机器学习未来十年:你需要把握的趋势和热点
CSDN 出品的<2018-2019 中国人工智能产业路线图>V2.0 版即将重磅面世! V1.0 版发布以来,我们有幸得到了诸多读者朋友及行业专家的鼎力支持,在此表示由衷感谢.此次 V2 ...
- 机器学习未来十年:你需要把握的趋势和热点
https://mp.weixin.qq.com/s/hN5BahBo_1TpQSs6JCEFeg 本文贡献者:刘铁岩.秦涛.邵斌.陈薇.边江 刘铁岩,微软亚洲研究院副院长,国际电子电气工程师学会(I ...
- IBM对话智能+未来:十年提升AI性能效率千倍?
来源:云科技时代 140多前的1879年,爱迪生经过几千次试验发明了电灯:之后过了90年的1969年美国把人类送到了月球,1970年空中客车公司诞生.在1870年代,人类初次进入电力时代的时候,没有人 ...
- 【观察】未来十年AI的主场在行业,行业AI的使能之路看华为
申耀的科技观察 读懂科技,赢取未来! 毫无疑问,置身华为HC2018现场,仔细聆听完大会众多发言人的主题报告,你能强烈的感受到,即将到来的AI新时代无疑会掀起一场翻天覆地的大变革,这其中有直面未来的激 ...
- Yann LeCun:未来几十年AI研究的最大挑战是「预测世界模型」
来源:机器之心 本文约4000字,建议阅读8分钟 本文为你介绍一种叫做分层 JEPA(联合嵌入预测架构)的架构. LeCun 认为,构造自主 AI 需要预测世界模型,而世界模型必须能够执行多模态预测, ...
- 图灵奖获得者Yann LeCun:未来几十年AI研究的最大挑战是「预测世界模型」
来源:机器之心 LeCun 认为,构造自主 AI 需要预测世界模型,而世界模型必须能够执行多模态预测,对应的解决方案是一种叫做分层 JEPA(联合嵌入预测架构)的架构.该架构可以通过堆叠的方式进行更抽 ...
- 【趋势】未来十年计算机体系结构的历史和趋势
来源:机器之心 先分享我对这篇文章的总结,或者我得到的启发: 1.DSA (Domain-Specific Architectures,特定领域的体系结构) 将成为未来十年甚至更长时间,计算机体系结构 ...
最新文章
- OpenCV(十)ROI感兴趣区域
- Windows环境下MinGW/gcc安装和环境配置
- 上周热点回顾(5.16-5.22)
- SQL Server timeout分析和总结
- 关于chrome控制台警告:Synchronous XMLHttpRequest on the main thread终极解决办法
- Tomcat自定义部署
- win7电脑删除文件特别慢怎么办
- 看一次广告听30分钟歌 你愿意为QQ音乐新功能买单吗?
- python 进阶知识点_高效率 Python 进阶:10 个关键知识点与特性
- 红帽急了:新年的 RHEL 将有低成本或免费版
- Lena——计算机视觉中的女神被人忽视的部分
- 操作系统学习笔记十二(基于分页的虚拟存储系统)
- iOS模块化灰度 A/BTest
- 038-拯救大兵瑞恩之 TiDB 如何在 TiKV 损坏的情况下恢复
- 个体工商户营业执照在网上如何年检?
- 互联网医院源码|互联网医院软件体现智慧医疗的优势
- 布隆过滤器的浅入浅出
- 常见MIME类型设置方法
- usc计算机科学硕士分支方向,学美留学:美国研究生热门专业系列,计算机专业介绍...
- 008年杀毒软件排行榜以及排行对比图
热门文章
- 用c语言编写计费程序,电信计费模拟实现(C语言)...docx
- 关于用出生日期查询生日还有多少天的问题
- mysql 超时问题的解决办法
- 2016CVPR目标检测论文简介
- 操作系统--I/O管理
- Implement (interface)
- 设半径为R的球面S的球心在定球面x^2+y^2+z^2=a^2(a>0)上,问R取何值时,球面s在定球面内的面积最大?
- 它的身体像鸡蛋飞秋下载
- 解决海信智能电视不能安装U盘上的安装包的问题
- mysql添加函数库_创建mysql函数