原文是Richard Sutton 2019年写的，从今天回看，一篇雄文 Attention Is All You Need 碾压了多少 NLP研究员的光荣与梦想 ... 这个教训，太深重！

The Bitter Lesson（英文原文在“阅读原文”里）

Rich Sutton 认为，过去 70 年来，AI 研究走过的最大弯路，就是过于重视人类既有经验和知识，而如今发现只有通用计算方法（蛮力计算 brute-force）是最有效的，而且优势很大 —— 因为摩尔定律，每单位计算成本持续呈指数下降。大多数人工智能研究都是假设 Agent 可用的计算量是恒定的（在这种情况下，利用人类知识将是提高性能的唯一方法之一），但是，在稍长的时间里看，可用的计算量必然会大大增加。为了在短期内获得改善，研究人员试图启用本领域内的现存人类知识，但长远来看，唯一重要的是利用算力。基于人类知识的方法往往很复杂，不太适合利用好通用算力。有许多人工智能研究人员迟迟未能学习这个苦涩的教训的例子，回顾这些年的一些最突出的例子是很有启发性的：

在电脑国际象棋中，1997年击败世界冠军卡斯帕罗夫的方法基于大量的深度搜索。当时，许多计算机国际象棋研究人员对此感到失望，他们一直致力于利用人类对国际象棋特殊结构的理解的方法。当一种更简单的基于搜索的方法，结合特殊的硬件和软件，取得了更大的成功时，这些基于人类知识的国际象棋研究人员没有虚心接受失败。他们反驳道，“粗暴的”搜索可能这次赢了，但这不是一种通用的策略，而且也不是人们玩国际象棋的方式。这些研究人员希望基于人类的行棋思路获胜，当它没有获胜时他们感到失望。

在电脑围棋中，也出现了类似的研究进展，只是比国际象棋晚了20年。最初的巨大努力是避免用蛮力搜索，而是想办法利用人类知识（一千年的棋谱），或游戏的特殊特征，但是所有这些努力都被证明是无关紧要的。更糟糕的是，一旦有效地进行了大规模搜索，这些努力都是负向的。同样重要的是使用自我对局来学习价值函数。自我游戏学习 以及 通用学习 一般来说，就像搜索一样，它能够吃掉大量的算力。在电脑围棋中，就像在电脑国际象棋中一样，研究人员最初的努力是利用人类的理解（因此不需要太多的搜索），只有在后来才通过拥抱搜索和学习取得更大的成功。

在语音识别方面，20世纪70年代有一场早期的竞赛，由美国国防部高级研究计划局赞助。参赛者包括许多利用人类知识的特殊方法——知识词汇，音素，人类声道等等。另一方面是更统计学的方法，它们做了更多的计算，基于隐马尔可夫模型（HMMs）。再次，统计学方法胜过基于人类知识的方法。这导致自然语言处理领域出现了一个重大变化，几十年来，统计学和计算逐渐主导了这一领域。语音识别中最近深度学习的兴起是这一持续发展的最新一步。深度学习方法甚至更少地依赖于人类知识，使用更多的计算，加上在巨大的训练集上的学习，来产生更好的语音识别系统。正如游戏中一样，研究人员总是试图制造出研究人员认为自己的大脑运作方式的系统——他们试图把这些知识放入他们的系统中——但最终证明是适得其反，是研究人员时间的巨大浪费，当摩尔定律使得大量算力变得可用，并找到了一种将其用于好处的方法。

在计算机视觉/CV领域，也有类似的模式。早期的方法把视觉想象成寻找边缘，或广义柱，或以SIFT特征的形式。但今天这一切都被抛弃了。现代的深度学习神经网络仅使用卷积和某些不变性的概念，并且表现得更好。这是一个重要的教训。

纵观整个AI 人工智能领域，我们仍然没有彻底地学习到这个教训，因为我们仍在犯同样的错误。要看到这一点，并有效地抵制它，我们必须理解这些错误的吸引力。我们必须学习苦涩的教训，即把我们认为的思维方式构建到系统中是行不通的。

苦涩的教训是基于历史观察，即 1）人工智能研究人员经常试图把知识构建到他们的代理中，2）这在短期内总是有帮助的，并且对研究人员来说是个人满意的，但3）从长远来看，它总会达到一个瓶颈，甚至会阻碍进一步的进展，4）突破性的进展最终是通过一种相反的方法——基于搜索和学习的大规模堆算力——而获得的。

从苦涩的教训中应该学到的一件事是：通用方法的巨大力量，即随着可用算力的增加，这些方法仍然可以继续扩展。似乎可以以这种方式无限扩展的两种方法是搜索和学习。

从苦涩的教训中学到的第二个普遍点是：人类心灵的实际内容是极其复杂的，我们不应该再试图找到简单的方法来思考心灵的内容，比如简单地思考空间，物体，多个代理或对称性。所有这些都是任意的、内在复杂的外部世界的一部分。它们不应该被构建，因为它们的复杂性是无止境的；

相反，我们应该构建可以找到和捕获这种任意复杂性的元方法。这些方法的关键是它们可以找到良好的近似值，但算法应该是基于我们的方法（如学习），而不是我们已经学到的知识，我们希望AI Agent 能够像我们人类一样去发现，去思考，而不是在系统里集成我们已经发现的知识。

大师兄：

这个其实就是马斯克推崇的：第一性原理

在一次TED采访中，马斯克透露了自己非常推崇的思维模式，正是 “First principle thinking”，翻译成中文就是「第一性原理」思维。

「第一性原理」的思考方式，是用物理学的角度看待世界，也就是说一层层拨开事物表象，看到里面的本质，再从本质一层层往上走。这是他眼中的“第一性原理思维模型”：回溯事物本质，重新思考该怎么做。

对于我们计算机编程技术来说，计算机的底层原理就是基石，上层所有软件都在此基础上构成，人们热衷的各种“新技术”，只不过是换了各种马甲（抽象封装），本质还是没有变化，如果我们花时间深入理解了计算机的底层原理后，上层的各种技术，一眼就能看穿其本质，不会花太多时间就能快速掌握核心，此时的你已经进入快速发展阶段，引领属于自己的下一个时代！这个就是AI的教训，也是大部分人学习计算机的教训！

我的编程能力从这时候开始突飞猛进的

欢迎大家加入极客星球，这个应该全网最硬核学习圈子（可以对比三家，校招+社招+进阶，夯实基本功，看看下面深入理解系列）

还有专属硬核技术交流群（不限次数提问）:

还有免费GPT资料大全(入门指导，效率工具，辅助工作，原理分享等，我们肯定不会落后，必须在最前线)：

还有更多的精彩分享：

• 深入理解计算机系统

• 深入理解操作系统（调度，内存，网络，IO）

• 深入理解并发技术全景指南

• 深入理解编程语言

• 深入理解算法与数据结构

• 深入理解网络协议

• 深入理解网络编程

• 深入理解性能优化

• 深入理解分布式技术

• 深入理解数据库

• 深入理解代码设计

• 深入理解架构设计

...

往期分享：

深入理解计算机系统

Linux调度系统全景图

我对"Linux内存系统"的理解

如何才能掌握所有的编程语言

一文掌握网络编程精华

掌握性能优化神功心法，进阶高薪

深入理解Linux网络子系统

求点赞，在看，分享三连