我们距离RSI还有多远?
我对递归自我改进(RSI)的判断是:AI加速研究已经有了具体路径,但让这种加速形成长期自主运转的循环,仍有几个没有解决的关键问题。
Dwarkesh Patel与John Schulman、Beren Millidge、Charlie O’Neill的这场对谈,最有价值的部分是把这些问题拆开了。能写代码、能运行实验、能选择研究方向、能持续从结果中学习,是不同层次的能力,不能用同一条增长曲线代替。
执行越来越便宜,判断成为瓶颈
Schulman描述了一个熟悉的循环:新模型发布时令人震撼,用过一段时间,短板又逐渐显露。研究和工程最终会卡在判断、自我检查以及薄弱环节上。代码生成量大幅增长,整体生产力未必同比增长。
我认为,这也是理解RSI的起点。递归自我改进要求AI能够提出目标、开展实验、判断结果,再选择下一个目标,而且这个循环长期运行不会偏离方向。
O’Neill区分了两类研究。目标明确的研究,可以围绕损失、成本或通过率不断优化;开放式科学则需要先发现值得追求的目标。沿着既定路线跑得更快,与发现下一条路线,难度并不相同。
Schulman因此把人类可能保留最久的工作归结为:决定我们真正想要什么。即使技术执行全部交给AI,助手应该如何行为、什么结果值得追求,仍需要有人作出判断。
AI研究可能比真实工作更容易自动化
这场对谈提出了一个值得重视的区别:有些任务可以不断积累成果,有些任务必须持续适应变化。
O’Neill认为,如果现有技术路线足够支持RSI,AI研究中的许多发现就可以沉淀进训练系统。已经找到的算法和工程改进,不必每次重新发现。
企业工作却充满变化。人员关系、隐含流程、客户需求都在调整。一个法律助理需要理解的,远不止法律知识,还包括这家公司此刻如何运转。
这解释了为什么模型可以在数学和代码上很强,却未必能稳定完成一个月的真实项目。训练环境容易提供明确反馈,现实工作往往需要与人互动,结果延迟出现,评价标准也不完整。
我的理解是,企业把信息、工具和反馈整理得越清楚,AI就越容易发挥作用。对谈中,O’Neill对拥有良好程序化接口的工作环境给出了更快的自动化预期。组织如何设计工作环境,本身就会影响能力落地的时间。
持续学习卡在学新知识与保留旧能力之间
模型从使用经验中进步,已经可以通过下一代训练实现。但一个部署中的模型随时吸收经验、更新自己,同时保留原有能力,仍是另一回事。
O’Neill指出,在针对单一任务进行数百次小规模更新后,监督微调和策略蒸馏可能出现灾难性遗忘:新东西学进去了,旧知识和通用能力却退化了。强化学习对权重的改动较小,更容易保留能力,但注入具体新知识又比较困难。
Millidge把它概括为可塑性与稳定性的矛盾。沿着同一个基础模型不断训练,可能逐渐饱和,因此仍需要把积累的数据交给新的基础模型重新学习。
他们讨论的一条渐进路径,是先让模型在具体部署中适应任务,再把经验整合进后续版本,逐步缩短更新周期。这是一种可能的解决方式,还不能视为持续学习已经解决。
这里还有商业约束。Schulman提醒,企业未必愿意让模型提供商吸收自己的全部部署经验,因为这些经验本身就是竞争优势。共享学习能走多远,也取决于利益如何分配。
强化学习的进步来自高质量起点和有效反馈
Millidge对强化学习有效性的解释很清楚:模型并非从零开始摸索。大量合成推理数据构成的中期训练,先把它带到较好的起点,强化学习再调整行为策略。
监督微调要求模型模仿推理过程中的每一个token,其中包含很多与答对问题无关的表达细节。强化学习可以把学习信号集中到结果上。信号数量少,行为变化仍可能很大。
O’Neill还强调了工作时长的泛化:模型未必从数学训练中直接获得所有编程能力,但可能学会在新任务上坚持更久、持续推进。与此同时,实验室覆盖了更多具体领域,许多局部任务的进步叠加起来,表现为整体能力提升。
我因此更愿意把进步理解为一套组合:更好的训练数据、更广的任务环境、更有效的反馈,以及更长时间的执行能力。单独归功于某一种算法,容易误判下一步的瓶颈。
下一阶段缺的是前沿信号,架构决定能否利用它
数据问题也在变化。预训练阶段,大量有用信息已经存在,关键是筛掉噪声。到了能力前沿,需要的答案可能根本不在现有语料里,过滤得再精细也找不到。
强化学习同样需要合适的难度阶梯。如果模型几乎不可能成功,就很难获得推动进步的反馈。环境要足够难,才能带来新能力;又要足够可解,才能形成学习信号。越往前,设计这种环境的成本可能越高。
架构的作用也不能只折算成几个百分点的效率提升。Millidge指出,有些架构变化会让原本成本过高的长上下文训练变得可行,从而打开新的能力范围。
所以,未来模型是否继续扩大,并没有简单答案。长任务的强化学习需要控制推理成本,高质量数据稀缺又可能增加数据效率的重要性。参数、数据、硬件和训练环境需要一起权衡。
O’Neill更深一层的担心是:如果下一次进步需要新的底层范式,现有模型能否发现它?这是他对快速自我改进保持保留的原因之一。
成功率提高,也要观察思路是否变窄
Schulman提出了一个容易被忽视的代价:强化学习后的模型可能反复使用相似主题、人物名字和写作风格。大量模型从同一来源蒸馏,还可能进一步放大这种趋同。
这并不意味着AI不能创造性地解决难题。解决复杂约束下的搜索问题,与保持丰富多样的表达和探索方向,是两个维度。
Millidge认为,趋同可能来自数据不够多样、评判机制过于单一,并非强化学习不可避免的结果。我关心的是,如果模型将参与开放式研究,我们就需要同时观察成功率和探索范围。评分越来越高,未必意味着它更容易发现新的方向。
时间表的分歧,比平均预测更有信息量
这篇网页开头把“两年内研究员提效十倍”概括为三人共识,但后面的具体问答并不支持这个说法。按对谈记录,预测应当分开看:
| 能力目标 | Schulman | Millidge | O’Neill |
|---|---|---|---|
| 可承担复杂项目的白领远程工作者 | 约一年出现可用但不均衡的版本 | 完全通用约三年 | 接口完善约一年,依赖浏览器则约几年 |
| AI研究员整体生产力提升十倍 | 约两年 | 大致认同两年 | 五至十年 |
| 全面超越顶尖人类专家的计算机认知工作能力 | 三至四年 | 重点领域约五年,长尾更久 | 五至十年 |
这些都是受访者相对于对谈时点的估计,也没有直接给出RSI何时形成的统一答案。
O’Neill对普通白领自动化相对乐观,对研究提效却更谨慎,因为他把吸收信息、选择下一个实验视为核心瓶颈。Millidge则认为,只要AI能够独立连续推进几轮实验,研究效率就可能大幅提升。
我会据此观察三个变化:AI能否自主完成多轮研究决策,能否从真实部署中持续学习而不损伤旧能力,以及能否提出超出既定评价体系的新目标。这些能力的实际进展,比某个年份预测更能说明我们距离RSI还有多远。