AI 会是人类最后的发明吗?
AI会不会成为人类最后的发明,我现在不愿下结论。我更关心一个已经开始发生的变化:AI正在参与制造下一代AI,研发能力本身开始成为被改进的对象。
老喻这篇长文的价值,在于既讨论了这条加速回路的力量,也回头检查了它的边界。我读下来,最值得留下的是三个问题:改进能否被下一代继承,系统如何知道自己真的变好了,以及加速以后由谁承担后果。
递归的关键,是改进能力能够跨代继承
让AI检查自己的答案,或者根据报错修改代码,都不足以证明递归自我改进已经实现。
严格意义上的递归,需要这一轮改进增强下一轮的改进能力。系统不仅交出更好的结果,还升级了产生结果、评估结果和继续学习的机制。
这里有一个容易忽略的区别:一个Agent连续尝试一万次,如果任务结束后经验全部清空,下一次仍然从头开始,那主要是搜索。只有有效经验进入权重、记忆、工具链或研究流程,后继系统不必重复支付学习成本,才形成了持续积累。
因此,我会把三个层次分开看:窄域内修改Agent和搜索策略的小闭环;AI深入参与下一代模型研发;自主决定方向、完成训练与验证的完整大闭环。原文认为前两者已经出现或正在发生,第三者尚未完成。不能把它们混成一个“已经实现”的判断。
先被改变的是研发周期,物理瓶颈仍然存在
递归最现实的影响,是缩短从假设到实验结果的时间。更强的模型帮助研究人员更快研发,新的研发成果又增强下一代模型,形成相互促进的回路。
但回路存在,不代表增长必然无限。实验方案可以快速生成,GPU、能源、芯片制造和现实实验未必跟得上。数字环节加速后,剩下的慢环节反而会成为决定整体速度的瓶颈。
这也意味着,技术加速可能表现为模型、代码、芯片、算力和研究人员共同推动的网络,而不是某台机器突然关起门来完成自我跃迁。
原文将2027年底前实现严格完整闭环的主观概率放在30%—40%,并把2028—2030年视为可能的分水岭。我把它当作一种情景判断。对经营决策更有用的,是跟踪研发周期是否持续缩短,以及这种缩短能否传递到下一代。
验证器决定进步真假,目标决定进步方向
系统要修改自己,首先必须知道:新版本究竟好在哪里?
代码测试和数学证明提供了相对明确的反馈,但通过测试,也不等于获得了所有重要能力。一个模型可能更会解题,同时在事实准确性或其他难以测量的维度上退步。智能不是一个只会上升的总分。
如果验证信号有错,递归会把错误一起积累。如果评分标准过窄,系统可能越来越擅长迎合评分,却离真实需求越来越远。
再往下还有一层:验证器回答的是有没有接近目标,目标本身是否值得追求,仍需另外判断。错误的目标配上高效的优化,可能更危险。
所以我认为,生成能力越便宜,独立验证、外部数据、真实实验和回滚能力就越重要。它们决定系统能否识别偏航,并及时停下来。
快速迭代也可能更快地走进死胡同
原文前半部分强调缩短反馈,后半部分补上了一个必要限制:反馈频率并非越高越好。
对最近几次结果反应过度,容易把噪音当规律;只用自己生成的数据、自己的评估器反复训练,又可能逐步丢失多样性。一个内部越来越自洽的系统,未必越来越接近现实。
还有局部最优的问题。现有标准下表现好的方向持续获得资源,系统会越来越擅长沿着旧路前进。那些暂时低效、难以量化的探索,反而容易被清理掉。
我赞成删除冗余流程,但不能把尚未显现价值的探索一并删掉。真正能够长期进化的系统,需要外部异议,也需要给不同路径留出空间。
当所有竞争者都加速时,这个问题更尖锐:大家必须跑得更快才能维持位置,留给验证和纠错的时间却越来越少。监测、暂停和熔断机制,也必须跟着升级。
企业竞争要看学习机制,而不只看当前能力
如果领先的模型能够帮助企业制造更强的下一代模型,今天的产品优势就可能转化为下一轮的研发优势。
这会改变我观察一家公司的方式。除了产品成绩,我还会问:从提出假设到获得可靠结果要多久?一次失败能否改善整个组织的方法?一线经验能否被其他团队直接复用?
研发加速也可能改变组织结构。少量人类指挥大量Agent的团队会获得更大杠杆,掌握算力和真实反馈的平台也可能强化优势。缺乏自身学习机制的组织,将承受更大压力。这是一种值得准备的推演,还不能当成所有企业的必然结局。
人类的工作也会随之上移。从亲自执行,到审阅,再到定义目标、设置约束、授权和否决。执行自动化以后,决策与验证会成为新的瓶颈。
组织的反馈失灵,往往从不愿面对错误开始
个人和组织学习,与严格的AI递归并非同一种机制,但这个类比能帮助我们检查自己的工作方式。
第一个障碍是反馈被过滤。客户不买、项目失败,本来是修正假设的机会;如果组织先忙着解释、归责和维护面子,传进决策层的信号就已经失真。
第二个障碍是反馈太迟。等一年才复盘,很难分清哪些动作导致了结果。能做小规模、可逆实验的事情,应当尽早接触真实反馈。
第三个障碍是只会加规则。每次出错都增加审批,组织最终可能越来越沉重。我更愿意追问:这项要求是否必要?哪个环节可以删除?这次复盘有没有让下一次发现问题更容易?
复盘的成果,应当进入工作机制。否则只是大家一起记住了一次教训,系统本身没有变化。
把任务经验留下,把慢变量保护好
对个人,我会同时记两本账:这次事情做成了什么,以及做事的方法留下了什么。
解决一类问题以后,把有效经验整理成清单、工具或可复用的工作流。下一次发现不足,既修改眼前产出,也修改产生它的方法。收藏多少技能包没有那么重要,重要的是它们有没有经过自己的实践检验。
但不是所有东西都适合高频重写。工具、流程和实验方案可以快调;第一性原理、风险底线和长期方向,需要更高的修改门槛。
信誉、信任、深度关系和判断力的积累,也有自己的时间尺度。不能因为技术允许并行,就假设这些资产能够同步加速。尤其在不可逆的事情上,一次失败的代价可能超过很多次成功的收益。
品味值得培养,责任必须有人承担
当执行成本下降,选择做什么就会更重要。方向感、研究判断和审美,是接下来值得投入的能力。
但我不会过早宣布,品味就是机器永远无法跨越的堡垒。在给定问题下选择实验,与自己发现值得研究的问题,也要分开评估。
同样,原文关于AGI理论上限的讨论,可以提醒我们保留不确定性,却不能直接当作AGI无法实现的证明。全能最优的系统是否存在,与AI能否在广泛任务上形成强大能力,是不同的问题。
无论能力走到哪一步,决策的授权与后果都不能悬空。机器可以提供方案、估算风险,人类和组织仍需明确:谁决定,谁有权叫停,出了问题谁负责。
我更愿意把注意力放在这里:让方法持续更新,让反馈保持诚实,让经验真正留下,同时守住不能轻易试错的边界。这些工作,现在就需要开始。