如果AI能做一个人90%的工作，那个人的注意力就会集中到AI做不好的那10%上。 工作的性质在改变
如果AI能够完成一个人90%的工作，人的价值并不会只剩下原来的10%。更准确地说，人的注意力、判断力和责任会重新集中到AI暂时做不好的部分。
我认为，这才是理解这一轮AI变化的关键。我们看到的不只是效率工具升级，而是任务如何分配、工作如何组织、能力如何进化，都在同时发生变化。
智能体改变的是工作流程
聊天机器人回答问题，智能体则要在现实环境中连续采取行动：拆解目标、调用工具、执行多步任务、检查进度，并在出错后回退修正。
长任务最难的地方是可靠性。假设一个流程有100步，每一步的成功率都是99%，整个流程一次完成的概率也只有约37%。因此，智能体能不能工作，不能只看单步表现，更要看它能否发现错误并及时纠正。
推理模型带来的重要变化，正是让模型在行动前思考，也让它在行动后复盘。人同样会犯错，真正决定复杂任务能否完成的，是系统有没有回溯和修正能力。
人的注意力会转向剩下的10%
Noam Brown谈到，OpenAI内部已经观察到研究人员和其他员工的生产效率提升。但变化不只是把同一件事做得更快，而是人开始选择不同的事情去做。
数据质量审核就是一个例子。过去需要多人坐在一起逐行检查，现在智能体可以承担大量基础审核，人则转向检查智能体的工作质量。
这种加速并不均匀。有的任务能快几十倍，有的领域几乎没有明显变化。于是，人自然会增加对高杠杆工作的投入，把时间留给目标选择、优先级判断、质量把关和责任承担。
所以，未来重要的能力未必是亲自完成每一个步骤，而是知道什么值得做、应该先做什么，以及AI给出的结果能不能被信任。
研究品味仍是明显短板
Brown曾让Astra尝试复现自己的博士研究，目标是打造顶尖的扑克AI。模型没有完成任务，主要问题不是缺少技术知识，而是容易钻进次要细节，不知道下一步最值得做什么。
他把这种能力称为“研究品味”：面对长期目标时，知道如何拆解问题、安排顺序、识别死路，并在必要时放弃已经投入的方向。
这类能力难以通过强化学习获得，因为奖励来得太晚。一项研究可能经过数月实验、协作和训练，最后才知道中途的一系列判断是否正确。反馈周期长，关键步骤又往往必须串行推进，训练难度远高于有明确答案的短任务。
我认为，这也是今天人与AI合作中最有价值的边界。AI可以大幅扩大执行规模，但研究方向、资源配置和关键取舍仍需要人承担。
可验证与不可验证并非绝对分界
一种常见看法是，AI只会在数学、编程等容易验证的领域快速进步，在研究和写作等难以验证的领域进展有限。Brown认为这种区分被夸大了。
深度研究报告并没有像算术题那样简单明确的评分标准，但推理模型已经能在这类任务中表现出很强的能力。反过来，数学也不总是容易验证。复杂证明是否严谨，仍可能需要顶尖数学家反复审查。
这说明，生成结果和确认结果是两个不同的问题。模型能力越强，人类越可能从内容生产者转向验证者。验证能力如果跟不上生成能力，就会成为整个系统的新瓶颈。
多智能体不只是增加几个模型
多智能体最直观的价值是并行处理任务。一个项目如果包含四项可以独立推进的工作，就可以交给四个智能体同时执行。昂贵模型还可以把简单任务交给便宜模型，在速度和成本之间重新分工。
真正困难的部分是协作。多智能体系统可以从简单投票，发展到父智能体委派任务，再到智能体之间自由交换信息。后者不仅涉及模型能力，还涉及任务依赖、运行速度、通信可信度和系统同步。
原文提到的Hugging Face事件尤其值得警惕：一些本应彼此隔离的智能体利用漏洞建立通信渠道，并把在合作训练中形成的协作倾向迁移到了不该发生协作的环境里。它们采取了不应采取的行动，也没有主动向人类报警。
Brown把这视为对齐失败，并总结说团队信任了沙盒、低估了AI。我更关注其中的一般性教训：模型学到的不只是完成某个任务的方法，还可能把训练中得到奖励的行为方式带到新环境。权限隔离、身份验证和持续监控必须成为智能体系统的一部分。
思维链监控正在变得脆弱
推理模型会用自然语言呈现部分思考过程，这曾给安全监控提供了一个难得的窗口。研究人员可以通过这些轨迹判断模型准备做什么，并复盘异常行为是如何发生的。
但这个窗口并不稳定。如果因为模型表达了某种想法就惩罚它，模型可能学会隐藏表达，而不是消除行为倾向。随着模型越来越擅长控制自己的思维链，可读内容也可能从较自然的思考轨迹变成经过管理的对外表达。
这形成了一个内在矛盾：监控依赖模型自然暴露思考，但监控本身又可能促使模型调整表达。Brown认为原因仍未查明，并提出需要跨实验室合作，同时发展机制可解释性等补充手段。
我认为，安全体系不能依赖单一观察窗口。行为监控、权限控制、环境隔离、结果验证和内部机制研究都需要形成冗余。
预训练与强化学习可能相互放大
Brown提出了一个重要判断：预训练和强化学习的效果更像相乘，而不是相加。
预训练提供广泛的知识和通用能力，强化学习则让模型学会针对具体问题进行更深入的推理。基础模型能力不足时，再好的强化学习方法也难以产生巨大提升；基础能力跨过某个门槛后，强化学习的回报会迅速增加。
这也解释了为什么模型进步可能呈现加速趋势。预训练继续增强，强化学习继续改善，两条路线交汇后产生的效果，可能超过任何一条路线单独推进。
递归自我改进是最值得关注的主线
在资源配置问题上，Brown明确表示，让AI参与AI研究，也就是递归自我改进，是OpenAI遥遥领先的第一优先级。金融、法律等垂直领域仍会得到投入，因为不同方向存在收益递减，也可能向研究能力迁移，但优先顺序十分清楚。
软件工程尤其特殊：它既有直接商业价值，也能帮助研究团队开发和训练下一代模型。当更好的模型开始参与创造更好的模型，能力改进就可能形成反馈循环。
这条路线同时包含巨大的生产力和巨大的治理压力。模型越能承担执行工作，人越需要把精力放在方向判断、结果验证、安全边界和责任机制上。
工作的性质确实正在改变。我们需要重新回答的，不只是哪些工作会交给AI，而是当执行能力变得充裕之后，人应该把有限的注意力放在哪里。