来源：混沌巡洋舰

今年2月份，有一则颇具科幻色彩的新闻，美国最大的科幻杂志，由于收到太多由AI生成的稿件，导致编辑无法处理而暂停投稿通道。对此，必然的选项是由AI进行审稿。这一步一旦迈开，就意味着AI成为了”专家证人“，从而也就有可能出现专家失灵，即人们本以为信的是个专家，坏事情发生后却发现这是个砖家。

与数年前人们担心统计算法自带的种族性别歧视不同，当AI是通过语言和劝说，而不是在系统背后做出无声的判断时，普通人更容易感受到专家失灵的负面影响。下图来自《专家的窘境》（参考知识垄断地位与专家失灵的可能性）

之前统计算法在招聘上歧视有色种族，属于上图中的专家统治；而当AIGC的产出被看成专家时，则属于右上角即AIGC的产出相比人类专家在说服力上更具费效比（例如Justin 设想的AI产生的小视频，主题通过Netflix大数据生成的，剧本是ChatGPT写的，画面是GPT4生成的视频流，后期是stable diffusion合成的，配音是软件照着ChatGPT写的台词读的，宣发海报也是stable diffusion画的，通过SNS机器人自动投放，机器人水军写回复）

而更常见的则是左下角，人们依赖专家的判断，例如向AI寻求情感建议，或者是职业发展方面的规划建议，这种时候的专家失灵，其表现会更为隐秘。上图中的例子，是神权国家的宗教保守势力，阻碍了经济发展，这在当下的中东属于常态。

现代社会分工的复杂性导致了劳动分工，进而使得知识分工不可避免，简单说，每个人都有自己熟悉的“专业领域知识”，任何人想掌握系统性的全社会知识是不可能的。然而，AGI的目标，则是要打破这一劳动分工，创造出一个能够制造出比自身更聪明机器的机器。而当下关于奇点及AGI必然降临的声音，在某种意义上，成为了一个自我实现的预言，曾经的alphago，如今的GPT，都被视作是AGI的原型。而当人们越来越相信，或者焦虑于AGI出现的必然性，专家失灵的土壤就已然埋下。专家和普通人一样寻求效用最大化、认知有限且容易出错、且激励会影响专家所犯错误的分布，上述的描述不仅适合碳基专家，更适合硅基专家。

《专家的窘境》一书，其核心主旨是：”社会需要竞争性来完成对知识的储备，打造一种“共生态冗余系统”，即多种专家要素在系统工程内共同发力，执行相同的任务，即使部分专家的意见供应失灵，也不至于使得系统失去稳健性。”。若是我们相信存在一个机器，能够执行所有的任务，就可能为了效率牺牲同一生态位的专家要素，而这样对单一权威的依赖，注定带着巨大的隐患。例如庄家操纵股票，扰乱金融秩序，是对社会效率的局部损失，而若是允许AI交易人写稿制造泡沫，那就不止是局部的泡沫，AI可能创造出一个感染所有人的庞式骗局，从而造就大刘小说中描述的“终产者”，即一个人拥有全部的财富，这背后的原因，也在于专家失灵。

《专家的窘境》这本书，从哈耶克的自发秩序出发，指出知识来自实践，通常是分散、自行涌现和隐性的，而非等级分明、清晰明确的存在，知识的产生无法规划，知识的发展计划无法确定，更没有任何人或组织能够掌握任何知识。

粗看起来chatGP中的知识，符合自发秩序（引入了人类反馈，知识存在于海量参数，能力具有涌现性等）。然而与人类专家的知识不同的是，chatGPT没有将功能模块和信息存储模块区分开，即其知识是显性而非隐性的。在生物界里，蛋白质承担生物体的大部分功能，DNA则储存信息。这样的分隔，使得生物体在进化时，能够同时进行有向的无向的选择，在功能层面，那就是黑猫白猫论，而在信息层面，随机突变和重组保证了开放性和多样性。

当下AI的核心transform中的每一个参数，都在发挥功能，finetune则相当于打个补丁。类比生物界，这相当于一个只具有蛋白和RNA（也具有一定的催化功能，但由于复制时错误率高，无法作为进化过程中的信息载体）的生物。这样的生物在自然界中的对应是RNA病毒。病毒是无法独立存在的，而当前缺少世界模型及神经符号的AI同样也不应当被认为可独立发挥作用。当某一天AI能够经由神经符号，定位出其隐含的知识，并在发挥功能的部分和存储世界模型的部分之间建立起翻译机制时，AGI才有可能出现。（参考神经符号对话chatgpt）

信赖专家是社会生活日益复杂后，普通人减少作出选择压力的必然选择（参考研究速递：人们愿意相信看似深奥的鬼扯，只要这是来自科学家的）这赋予了专家以影响社会生活的巨大权力，尤其当存在竞争的时候。而AI天然具有赢家通吃的垄断属性，这就加剧了专家失灵的可能性。对此的应对之道，《专家的窘境》给出的建议是引入竞争，例如“持异议的专家”进行监管，在一定程度上可以改善垄断的市场结构，从而缓解专家失灵的概率。该书针对专家失灵给出的另一解药是“专家可以提建议，但不要替公众做决定”，这一建议在当下更应被铭记。只可能在竞争较为激烈的专家市场中才能获得有效意见，我们不能因为AI在某些专业领域更有效率，就觉得该领域的知识是无用的。怎样得到最稳健、最有效的、最正确的专家意见？答案应该是即不排斥技术进步带来的可能性，也不能无条件地吹嘘或迷信技术。

未来智能实验室的主要工作包括：建立AI智能系统智商评测体系，开展世界人工智能智商评测；开展互联网（城市）大脑研究计划，构建互联网（城市）大脑技术和企业图谱，为提升企业，行业与城市的智能水平服务。每日推荐范围未来科技发展趋势的学习型文章。目前线上平台已收藏上千篇精华前沿科技文章和报告。

  如果您对实验室的研究感兴趣，欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”