强化学习之父最新演讲：大模型是一时狂热，AI的真正时？代还没开始

更新时间：2026-02-20 01:05 来源：牛马见闻

对于所谓伊朗不硬气软弱的指责，键盘侠网民们是站着说话不腰疼,伊朗说中文吗

尼日尔突然对法国宣战！马克龙怎么办？,尼日尔这个国家怎么样

炸任何东西，油温都不能高，而且东西刚下锅，切记不能胡乱搅拌,炸东西需要热油吗

黄桃罐头，我们这一代独一份的回忆,黄桃罐头的各种吃法图片

今天儿子女朋友来家里，10个菜；东北人讲究，不能慢待了孩子,儿子女朋友来家能去饭店吃吗

�The Future of AI�尤其是他将 AI 安全运动类比为对人的集中控制� 2020 年代的 AI 处于人类数据时代�

近日，图]灵奖！得主理查德·萨顿（Richard Sutton）以远程连线的方式，在洛杉矶加州大学（UCLA）的纯粹与应用数学研究所（IPAM，Institute for Pure and Applied Mathematics），发表了这篇名为《AI 的未来》（The Future of AI）的最新演讲。 萨顿是强化学习（Reinforcement Learning，RL）领域的奠基人之一，与长期合作者 Andrew Barto 共同获得 2024 年 ACM 图灵奖（ACM A．M．Turing Award），获奖理由是“发展了强化学习的概念和算法基础”。两人合著的教科书《Reinforcement Learning：An Introduction》至今仍是该领域的标准参考书，被引用超过 75,000 次。 萨顿目前是加拿大阿尔伯塔大学计算科学教授、阿尔伯塔机器智能研究所（Alberta Machine Intelligence Institute，Amii）首席科学顾问，同时也是 John Carmack 创立的 Keen Technologies 的研究科学家，这家初创公司的目标是在 2030 年前实现通用人工智能的“生命迹象”。他还创办了 Openmind Research Institute，致力于为年轻研究者提供探索智能基础问题的空间。 在多次公开场合，萨顿对 AI 末日论者的态度都相当直白。2025 年初获奖后接受 BetaKit 采访时，他说：“末日论者越界了，那些担忧被过分夸大了。”他估计到 2030 年创造出类人智能的概率是四分之一，到 2040 年则是一半对一半。对大型语言模型的前景，他同样不太乐观，曾明确表示 LLM “并不在通往真正智能的道路上”。2025 年 6 月在新加坡国立大学的演讲中，他预测大语言模型终有一天会被视为“世界的一时痴迷”，相比之下，基于经验学习的 AI 系统才代表着真正的未来。 这场 IPAM 演讲的内容，与他在 2025 年 5 月 Amii 的 Upper Bound 大会、同年 6 月新加坡国立大学 NUS120 讲座系列等场合的演讲一脉相承，核心论点始终是同一套：人类数据时代正在触顶、经验时代即将开启、去中心化合作优于集中控制、AI 是宇宙进化的必然环节。这些观点在 AI 学术界和产业界引发了广泛讨论，尤其是他将 AI 安全运动类比为对人的集中控制，在安全研究社区中不乏争议。但无论你是否认同他的政治立场，他对 AI 科学现状的那句诊断——“理解太少、调参太多”——恐怕很难轻易反驳。 以下是该演讲的完整编译。 大家好，很高兴能跟你们在一起，虽然只是隔着屏幕。我今天上午看了一些早场的演讲，有些话本来没打算说，但听完之后觉得有必要先讲几句，算是临时加的开场白。 所有人现在都觉得 AI 在飞速进步，一切都令人兴奋。但当所有人都在想同一件事的时候，我们得停下来问一句：真的是这样吗？ 语言能力方面确实有真突破，这没问题。我们不久前还很难想象神经网络能把语言运用得这么好，但事实证明确实可以。我们也在用海量算力来生成逼真的图像和视频。可说实话，智能需要生成图像吗？不需要。我们需要处理图像、处理视频，但我们从来不需要生成它们。生成图像和视频不是心智的本职工作，它需要巨大的计算量，很难做，但它本质上并不属于我们通常所说的“智能”的范畴。 那些真正带来巨大经济价值的新应用，绝大多数是超大规模计算和超大规模模式识别的产物。它们是非常特定的能力，并不等同于智能的全部。很多东西只是计算，我们管它叫“智能”，不过是因为这样听起来更重要罢了。 所以我不得不问：作为一门科学，AI 真的在快速进步吗？ 我个人的看法是：进步不大。说个可能不是很谦逊的看法，当前 AI 的背后，理解很少，调参很多。我们还不知道心智的原理，不知道智能的原理。作为一门科学，它在很多方面是令人不满的。我倾向于这样看待现在的 AI 模型：它们之所以强大，是因为汲取了全人类的知识；但除此之外，它们是弱的。它们是弱心智，不可靠，容易跑题，会东拉西扯。除了拥有大量知识这一点，它们一点也不强大。 这或许是一个理解今天所谓“AI”的不同视角。 那么智能究竟是什么？这些年有过很多定义。我来列几个有分量的。 最古老的一个可能要追溯到心理学的鼻祖之一威廉·詹姆斯（William James）。1890 年，他没有直接谈“智能”，而是谈“心智”。他说心智的标志是“以变化的手段达成一致的目标”（attaining consistent ends by variable means）。手段可以变化，但结果保持一致，大概就是你想要的东西。 艾伦·图灵（Alan Turing）呢？他其实没有给出一个简洁的定义，但后来被解读为：智能基本上就是表现得像一个人。我们现在用“图灵测试”来形容模仿和冒充一个人。但图灵自己从来没管它叫“图灵测试”，我觉得他也没管它叫“测试”，他管它叫“模仿游戏”（imitation game）。那是一种方式，不是一项考试。不过现在大家已经把“表现得像人”当成了智能的一个重要含义。我对此有异议。人之所以强大，是因为人有智能，所以我们盯着“像人一样行为”看，但真正重要的是：人之所以是人的那个东西到底是什么？ 如果你去查字典，字典会告诉你：智能是获取并运用知识和技能的能力。我觉得这个定义其实相当不错。它的核心是知识，获取知识、拥有知识，再加上技能。 AI 领域的一位鼻祖约翰·麦卡锡（John McCarthy）给了另一个定义：智能是达成目标的能力中属于计算的那个部分。我特别喜欢这个定义。你注意看，它说的是“计算的那个部分”，你达成目标并不是因为你更强壮或者传感器更好，而是因为你做了某种心理上的计算。然后“达成目标”是核心中的核心。这跟 William James 说的一脉相承。 （来源：Youtube） 我自己也忍不住跳进来凑了一个定义：智能是通过调适行为来达成目标的能力。跟麦卡锡的差别可能就在“调适”（adapting）这个词。我想强调的是学习的重要性，知识和技能的获取过程本身尤其关键，而不仅仅是拥有它们。 如果你把这些定义叠放在一起看当下的 AI，会发现现代 AI 的主流路线核心是计算和模式识别，很大程度上是在模仿人的行为。但在我个人的视角里，我认为应该有一门新的学科，一门关于心智的统合科学（integrated science of mind），对人、对动物、对机器同样适用。所有这些心智都有本质的共性。人和动物的心智非常相似；机器心智至少在可预见的将来，我们有理由期望它也共享某些本质特征。 （来源：Youtube） 可惜目前没有哪个现成的学科能自然地承担这个角色。心理学本来有可能成为心智科学，但它越来越把自己定义为研究自然心智，即人和动物的心智，而不包括心智“可能是什么”这个更广泛的问题。人工智能关注的是机器，但它已经变得非常工程化，重点在于制造东西，而不是真正理解它，也不怎么关心自然心智。认知科学则漂移到了好几个方向上去了。 不过，我从事的强化学习（Reinforcement Learning，RL），或许是这门统合心智科学的一个开端。因为它确实跨越了很多领域。 什么是强化学习？简单说就是面向智能体的学习，从经验中学习，与环境交互来达成目标。在这些层面上，它比其他类型的机器学习更贴近现实、更有雄心、也更自主，因为智能体在外面行动，不一定有人帮忙。动物在成年以后也没有什么特别的外部帮助，对吧？所以强化学习的核心是带有延迟反馈的试错学习，你最终得到的只是一个奖励信号，告诉你有没有得到你想要的东西。 这是最接近自然学习的机器学习方式。它能自己判断自己是对是错。大语言模型没有任何办法判断自己说的话对不对。但如果你从经验中学习，如果你做了一个关于未来的预测，你可以观察实际发生了什么、验证对错。如果你采取行动并获得奖励，你就能判断自己的行为方式是好是坏。 这里我想引用一段图灵的话（What we want is machine that can learn from experience），他自己大概没意识到他其实是一个强化学习学者。这段话出自 1947 年，比强化学习、甚至比 AI 作为一个领域正式存在都要早得多。据我们所知，那是世界上第一次关于人工智能的公开演讲。 （来源：Youtube） 好了，感谢大家听完这段“前菜”。进入正题。 我今天想传达的第一个要点是：当前 AI 的科学趋势在哪里？主要信息是，我们正处在一个“从人类数据中训练”的时代。今天所有的 AI，核心训练方式要么是预测人类在互联网上写下的下一个词，要么是按照人类标注图片的方式去预测标签，然后再由人类专家进行微调。所有这些现代机器学习的目的，都是把人类已有的知识转移到机器里去。转移完成之后，机器就冻结了，不再学习。 这就是我们所处的时代。而我认为我们正在逼近这个时代的天花板。原因很简单：人类数据快用完了。高质量的来源，如整个互联网上的文字、图片和视频等，基本已经被消耗殆尽。这种方法的根本局限在于：它无法学到任何真正新的东西，无法产生真正的新知识。就像陶哲轩所说的，AI 在解决最困难的问题方面，那些需要真正原创性的问题，它依然没有实质性进展。因为它的底层逻辑就是去看互联网上人类已经说过的话，然后做总结归纳。 所以真正的前进方向，也是我认为我们正在进行的，是从经验中学习的新时代。因为我们最终需要一个数据源，它能够随着智能体变得更强而同步增长和改善。任何静态数据集都永远不可能胜任这个要求。而你可以从你的经验中获得这样一个不断变化的数据集。这正是人类和动物学习的方式。这也是 AlphaGo 学会那步创造性的第 37 手的方式（编注：2016 年，DeepMind 的 AlphaGo 在与李世石的对弈中下出了被专业棋手称为“百年一遇”的第 37 手，据 DeepMind 事后披露，AlphaGo 曾评估该走法的概率仅为万分之一，但最终通过自我博弈的强化学习选择了它。），也是很多在数学奥林匹克竞赛中获胜的 AI 系统的工作方式。 （来源：Youtube） 我之前播放过一段加速过的婴儿视频，展示一个婴儿在玩具堆里探索。他不会只摆弄一个玩具，他玩一个，觉得腻了，就换一个。每次接触一个玩具，他就学到他能学到的东西，也许只是发现一根绳子可以拉、可以放进嘴里。然后他就换到下一个。这就是我们的数据，生命的数据由我们的行为产生，它不是别人提供给我们的。正因为它由行为产生，它可以自动匹配我们当前的理解水平和能力水平。 还有另一段智能体在迷宫中学习的视频。这是一个非常非常简单的智能体，它要从起点 S 走到目标 G，它唯一知道的就是自己在哪个格子里，它能做的动作只有四种，上、下、左、右。但它能学出一条好的路径。画面中箭头显示的就是它认为的正确方向，绿色深浅代表它认为每个状态有多好。 （来源：Youtube） 不过世界不是静止的，世界会变化，我们总是需要学习新东西。在它学习的同时，我们也可以看看这张图，这就是智能体的工作方式。它有几个核心组件：右上角是一个世界的转移模型（transition model），它有一个策略（policy）告诉它该怎么做，箭头展示的就是策略，还有一个价值函数（value function）告诉它每个状态有多好，绿色展示的就是价值。 现在我把目标挪到了顶部。它还按老路走回原来的位置，得自己摸索着碰到新的目标位置。一旦碰到了，它就能学出到达新目标的路径，从变化中恢复过来。这大致就是生活的一个简化版本。 你遇到变化，你适应它们。比如我们把它困在角落里，它最终也能想明白怎么办。我们把目标拉到别处，它学出一条新路径。我们还可以进一步干预，往迷宫里放障碍物，它能绕路走通。你会产生一种很强烈的感觉：它确实有一个目标，而且在环境不断变化的情况下，它在尽最大努力继续实现那个目标。当然，目标有时候会变得无法达成。当那种情况发生时，我们甚至会忍不住为这个智能体感到一点难过，因为它实现不了自己的目标了。 我还想强调一下，当我说“经验”的时候，我不是在说什么玄乎的东西，不是什么“感觉如何”。我说的就是智能体与环境之间来回传递的数据：观测（observations）——智能体从世界获得的传感器数据；动作（actions）——发出去的运动指令或信号；以及奖励（reward）——从世界反馈回来的一个标量值。就是这三样东西。这就是我说的“经验”。 经验方法的核心原则是：智能体与世界交换信号，这些信号是一切智能的基础。真理的定义就在这些信号里，你做了预测，然后看实际发生了什么。目标的定义也在这些信号里，你想让奖励信号变高，你达到了或者没达到。 我们说一头大象是“有智能的”，指的是它能在多大程度上预测和控制自己的经验。注意，如果你没有经验，这一切就不成立。大语言模型在工作的时候，它完全不是在从经验中学习。你的经验是你出生之后、走进世界、做事情时发生的东西。一个大语言模型走进世界的时候，它不再学习了。它是冻结的、静态的。它没有真正意义上的经验，它的数据只能在一段特殊的训练期内获得。你到了现实世界中，碰到的是各种情况和事件，而不是“人类标注好的、告诉你应该怎么做的样本”。 没有经验，就没有智能存在的根基。没有办法说一件事比另一件事好，因为没有目标，因为没有奖励、没有目标。大语言模型没有目标。没有办法判断一个预测是对是错，因为智能体从来不把它的预测和实际发生的事做比较。没有真理感。但如果你有了经验，有了交互数据，那一切都清晰了：目标就是奖励，真理就是预测性真理，你做出预测，然后观察是否应验。 我们可以把近十年左右划分成三个时代。第一个是模拟时代，从模拟经验中学习，比如 AlphaGo 和 Atari 游戏。然后是人类数据时代，大语言模型占据了所有人的注意力。现在我们开始意识到它的局限，开始转向智能体系统（agentic systems）和计算机自主使用工具。这就是我所说的“经验时代”。我认为正是这个时代，会真正带来超越人类的能力，不是模仿人，不是受限于被模仿对象的局限，而是真正超越。 （来源：Youtube） 总结第一个要点：AI 终于开始转向从经验中学习了。艾伦·图灵在 1947 年就想做这件事，距今很久了，但我们终于在做了。这将比从人类输入中学习强大得多，因为它可以持续不断地学到新东西。 而且，尽管今天有那么多炒作甚至恐慌，我觉得当前的 AI 并没有那么强大。它相当弱，不太可靠。但它确实非常有用，点燃了一个产业，创造了大量经济价值，而且人人都能用。这很好，它让公众开始想象：总有一天，机器会和人一样强大。虽然让人害怕不是什么好事，但至少让人关注起来了。引起注意力总归是一件好事。 不过，尽管有各种炒作，我们还没有迎来主角。真正的主角，创造超级智能 AI、创造经过超级智能增强的人类，还没有登场。那会是一件大事，会带来深刻的变革。 接下来我想简单聊聊政治层面的思考。你放眼看看今天，到处都是要求控制 AI 的呼声：只允许 AI 拥有经过人类检查和授权的目标，呼吁暂停 AI 研究，立法限制可用于 AI 的算力，还有那么多的“安全研究所”。人们嘴上说“安全”，实际上意思是“控制”。他们告诉你要害怕 AI、AI 可能不安全，然后他们想成为那个控制 AI 的人。 这些呼声让我想到对人的集中控制，对言论的管控，你能说什么、能听什么；对贸易的管控，关税、你能在哪里工作；资本管制，对不同国家的经济制裁。 （来源：Youtube） 我想指出的核心是：对 AI 的集中控制呼声和对人的集中控制呼声极其相似。它们基于恐惧，害怕 AI，害怕某些国家。“你不能信任它们，它们根本不算什么，它们很坏，它们不爱自己的孩子，它们感觉不到痛苦。”对 AI 也一样，“它们是恶魔，它们不会感到痛苦。”这些论调惊人地相似，而我认为我们应该抵制。因为我相信，不管是人类的繁荣还是 AI 的繁荣，都来自于学习以去中心化的方式合作，而不是建立庞大的控制组织。 人类很擅长合作，但也很不擅长，我们会打仗，也就是不合作。合作并非总能实现，但世界上一切美好的东西，经济、交换、治理，归根结底都来自合作。我们必须去寻找它、支持它。如果你睁开眼睛看，很容易就能看清谁在呼吁不信任、不合作，而不合作的反面就是集中控制。我认为我们应该抵制这些呼声。 （来源：Youtube） 这也是思考人机关系的一个有用框架。 好了，我真正想花时间谈的是 AI 的哲学层面。AI 正在发生，未来只会更加深入。那么我们对此应该怎么看？这是一个难题。它是好事还是坏事？我们应该害怕它吗？它会夺走我们的工作、让我们变得无用吗？还是说，我们自己就会成为 AI，AI 就是被技术增强后的人类？AI 是入侵者，还是我们的孩子？我们会惋惜它，还是庆祝它？它是我们，还是不是我们？ 我觉得这是一个根本性的问题。我注意到，人们经常被要求不要去思考这个问题，只需要接受：你应该害怕它们，因为它们不是我们，它们是异类。但你知道吗，它们是我们造的。 没有什么比理解自己的心智更属于人的本质了。这不是什么外星科技，这是人类做了几千年的事，试图理解自己，理解人类智能，理解我们的心智如何运作、如何让心智运作得更好。这是人类的伟大追求。我很喜欢一句话：智能是宇宙中最强大的现象，而我们是它最好的范例。理解智能，就像是科学的圣杯，也是人文的圣杯。作为学者、作为思考者，我们应该享受它、庆祝它、推动它前进。 不过，让我们先把“希望它发生”或“不希望它发生”放到一边，试着预测一下实际会发生什么。我提出几条“现实主义 AI 预测准则”，类似于约翰·米尔斯海默（John Mearsheimer，美国芝加哥大学政治学教授）讲的现实主义地缘政治那种思路。我们就实事求是地看：什么是真正会发生的事？ <ul> 第一条：世界上不存在关于世界应该如何运转的共识。资本主义、共产主义、马克思主义、各种宗教，没有任何一种观点能主导所有其他观点之和。第二条：终有一天，人类会充分理解智能，足以用技术创造出智能。而我们会这么做。至少我们中的一些人会这么做。第三条：这个过程不会止步于人类的智能水平。很快，将会出现远远超越人类的超级智能体，无论它们是人还是不是人。第四条：随着时间推移，权力和资源将趋向于流向更具智能的存在。 </ul> 把这四条放在一起，你会得到一幅大致这样的图景：人类的进程正通向一场交接，从人到 AI 的延续。 我知道这听起来很自我中心。这完全是以人类为中心的叙事，也就是发生在我们身上的事。也许我们应该退后一步，问问宇宙怎么看。 所以现在我要来点宏大叙事了，我要谈谈宇宙的四个伟大时代。 （来源：YouTube） 第一个时代是粒子时代，大爆炸之后，连原子都几乎不存在。然后粒子坍缩形成恒星，我们进入了恒星时代。恒星形成、燃烧、爆炸、重组，产生了更重的元素。有了更重的元素和行星之后，生命得以出现。 第三个时代，我倾向于称之为“复制者时代”，而不是“生命时代”。真正特别的不是“活着”这件事本身，而是这些东西能制造更多自身的副本。它们不一定理解任何东西，但它们能复制自己。就像现在的我们，我们并不理解自己的器官是怎么运作的，不理解大脑是怎么运作的，不理解智能是怎么运作的，但我们可以制造更多智能的存在。我们能生孩子、把他们养大，尽管我们并不真正理解这件事。 这就引向第四个伟大时代，设计时代。与复制不同，在设计时代，事物先存在于某个复制者的心智里，然后才存在于世界中。你环顾你所在的礼堂，那栋建筑是被设计出来再建造的，它先存在于某个建筑师的脑海中。你坐的椅子、你穿的衣服，基本上所有东西都是人设计的，先存在于某个人的心智中。除了人本身，人是被复制出来的，出现在世界上之前，只不过是父母眼中的一点光芒。 我之所以倾向于用“复制时代”和“设计时代”而不是“生命时代”和“机器时代”这样的措辞，是因为后者已经过时且具有误导性了，我们的机器正在变得越来越像生命体，我们也越来越把生命理解为一种生物机器。真正的区别在于：生物体的创造不需要有心智理解其运作原理，它们被复制，就像复印机一样。而技术产物的创造，是先在设计者的想象中存在，然后才在世界中存在。而被设计出来的东西更容易变化和改进，这是关键。 很多非人类的复制者也能进行设计。动物会筑巢、挖洞；黑猩猩会剥树枝来“钓”白蚁；乌鸦会塑形树叶来“钓”幼虫；人类会制造石斧，那是最初最重要的工具，然后是犁、计算机、宇宙飞船、工厂、软件，其中很多本身就是制造其他工具的工具。 那么，我们现在或许可以来回答开头提出的那个问题了：人类是什么？我们在宇宙中的角色是什么？ 我们都感觉到人类是特殊的。我们不只是又一种复制者。我们是一种特殊的复制者，我们是把“设计”推到了远远超出任何其他复制者的高度的那种复制者。但我们把它推到极限了吗？把设计推到极限意味着什么？我认为意味着：设计出本身具有设计能力的东西。在我们的心智中设计出在它们的心智中也能进行设计的东西。它们拥有心智。 这就是我们正在通过 AI 做的事。我们正在完成宇宙这最后一个伟大时代的使命。人类至少是催化剂、助产士、或者先驱者，成就了设计时代，宇宙的第四大时代。这就是我们的角色。这是一个重要的角色，一个具有宇宙意义的角色。 我来总结一下今天的三个核心信息。 （来源：YouTube） 2020 年代的 AI 处于人类数据时代。它已经做得很好、很强大，但我们正在进入一个新的经验时代。经验时代将强大得多，因为它能持续不断地学到新东西。 在政治层面，AI 的政治与人类的政治如出一辙。在所有情形中，我们都应该追求去中心化的合作，而不是集中化的控制。 在哲学层面，AI 是宇宙发展的必然下一步。我们应该以勇气、自豪和冒险精神去拥抱它。 谢谢大家。 演讲结束后，有观众提了一个有意思的问题：宇宙有没有一个总体目的？ 萨顿是这样回答的： 这是个很好的问题。像很多伟大的问题一样，你得用辩证的方式来回答。所谓辩证，就是你先说答案是 X，然后你又说答案也不是 X，最后在两者之间找到一条路。 你可以说宇宙没有目的，因为宇宙的各个部分各有各的目的，而没有任何一个统一的宇宙性目的。但你也可以说宇宙确实有目的：它有一个趋势，趋向于产生越来越复杂的实体。你可以论证宇宙自然而然地通向生命，而生命自然而然地通向设计者和 AI，也许还会自然而然地通向之后的某种存在。所以用辩证法来讲，正题、反题、合题（编者注：正题 Thesis、反题 Antithesis、合题 Synthesis，是黑格尔辩证法的三个基本环节，指从对立命题中推导出更高层次的统一），我们需要从这两个对立的答案中综合出一些东西。 参考资料： 1. https://www.youtube.com/watch?v=lieqoaBV6ww 排版：胡巍巍

编辑：宝琳·布雷特