【CSDN 编者按】美国加州大学伯克利分校的研究人员制作的机器狗，无需在计算机模拟仿真中进行训练，而直接在现实世界中，利用人工智能大脑在一个小时内从晃晃悠悠翻身都困难到行动自如即使被推倒也能迅速翻身站立起来完成了巨大的转变。

原文链接：https://singularityhub.com/2022/08/08/this-robot-dog-has-an-ai-brain-and-taught-itself-to-walk-in-just-an-hour/

声明：本文为CSDN翻译，转载请注明来源。

作者 | Jason Dorrier

译者 | 陈甜静  责编 | 屠敏

出品 | CSDN（ID：CSDNnews）

自学走路机器狗

哺乳动物出生后都会经历努力爬起来，跌倒，站立，然后再次跌倒的情况。但令人惊讶的是，在经过了这不熟练的大概十几分钟初始期后，动物们都会熟练地使用四肢做出日常跳跃等动作了。

加州大学伯克利分校丹尼尔·哈夫纳（Danijar Hafner）和同事们研制出的一只机器狗很特别，它没有通过事先设定好的程序执行任务，完全是通过自学学会了翻身以及走路。

图源：Danijar Hafner / YouTube

刚开始它先是仰卧在地上双腿不断摆动，试图想要翻过身来，经过不断尝试终于在十分钟的时候学会了翻过身变成俯趴在地上，在二十分钟的时候试图尝试站立起来，在三十分钟的时候已经站立起来但是却有些踉跄，在四十分钟的时候开始尝试着行走，但是四肢却有些不受控制。终于在一个小时后，机器狗已经可以熟练控制四肢往前行走。使用一卷纸板作为障碍物，用来试探机器狗的行动路线，没想到仅在十分钟之后，机器狗就学会了如何在障碍物的阻挡下重新翻身站立起来往前走。

图源：Danijar Hafner / YouTube

这不是机器人第一次使用人工智能来学习走路。但是，虽然以前的机器人通过无数次模拟迭代中的反复试验来学习这项技能，但这款机器狗完全是在现实世界中学习的。

图源：Danijar Hafner / YouTube

在arXiv上发表的一篇论文中，研究人员Danijar Hafner、Alejandro Escontrela和Philipp Wu表示，将在模拟中学到的算法转移到现实世界并不简单。有下面两个原因：

• 现实世界和模拟之间的小细节和差异可能会绊倒初出茅庐的机器人。

• 在现实世界中训练算法是不切实际的：它会花费太多时间，并且对机器人产生磨损。

Dactyl机械手

例如，四年前，OpenAI展示了一种可以操纵立方体的人工智能机械手—Dactyl机械手，它是通过机器自主学习无须太长时间，就可以通过机器自主学习的训练和基于特定的编码，实现了单手解魔方的玩法。训练和专门的编程，实现了单手解魔方。它使用了最新被称作强化学习的AI算法，但纯粹的强化学习算法需要很多反复试验学习技能，以便在现实世界中进行训练。

图源：YouTube

Dreamer算法

来自伯克利团队使用一种名为Dreamer的算法来解决这个问题。构建“世界模型”，Dreamer算法可以预测未来行动将实现其目标的概率。随着经验的积累，其预测的准确性会提高。通过提前过滤掉不太成功的动作，世界模型可以让机器人更快地找出什么是有效的。

研究人员称从过去的经验中学习世界模型使机器人能够想象潜在行动的未来结果，减少试错次数。换句话说，世界模型可以将模拟中相当于数年的训练时间减少到不超过现实世界中的一小时。

该团队还将Dreamer算法应用于拾放机械臂和轮式机器人。在这两种情况下，他们发现Dreamer可以让他们的机器人能够有效地学习相关技能，而无需模拟时间。可能在未来还会应用到自动驾驶汽车上面。

当然，仍有挑战需要解决。尽管强化学习自动化了机器人复杂的手动编码，但仍然需要工程师定义机器人的目标以及成功的要素——对于现实世界环境来说，这是一项既耗时又开放的练习。此外，在硬件上进行长时间的学习也会给机器人造成磨损，可能需要人类的干预或修复。研究人员表示，将模拟器训练与现实世界学习相结合可能会很有成效。

尽管会有一些还未解决的挑战，但Dreamer算法还是将机器人技术中的人工智能向前推进了一大步。俄勒冈州立大学的机器人学教授乔纳森·赫斯特（Jonathan Hurst）表示，“强化学习将成为机器人控制未来的基石工具”。

哈夫纳称，将来如果能教会这只机器狗理解语音指令就太好了。该团队希望将摄像头与机器狗连接起来，使其具有视觉能力。这样就能够和真实的小狗相似，可以让其帮忙在房间里寻找物品。

AIBO

在90年代时，索尼推出了一款宠物机械狗—AIBO，但后续由于种种原因导致停产了，在经过长达12年的沉淀后，索尼推出了全新的AIBO，它用了4000个零件、22个执行器并且内置多个传感器、相机等功能，使它更加趋近于真实的狗狗。

图源：索尼官网

但未来应用Dreamer算法而制作的可以自学技能的机器狗会不会更加趋近于一个真实的小狗呢？在未来或许你会想养一只不用帮它洗澡铲屎的机器狗吗？

— 推荐阅读 —