Jeff Dean：AI 竞争正在从「谁有更大的模型」，转向「谁能更好地组织智能」
Jeff Dean 对 AI 下一步的判断，重点已经不在模型规模，而在模型之外的系统。
模型正在接近初级工程师的能力。但真正重要的变化，不是一个 AI 能写多少代码，而是这样的“工程师”可以被大量复制，并行工作几天甚至几周。
这会改变生产的基本单位。未来衡量 AI 的，不应是一次回答有多漂亮，而应是它能否完成一个闭环：提出方案、调用工具、执行实验、测量结果，再根据反馈修正方向。
只要一个领域有可靠的评价标准，这种闭环就可能快速进化。
先算数量级，再谈技术路线
Jeff Dean 的许多工作，都从一道简单的算术题开始。
2001 年，Google 搜索大量依赖硬盘。他和 Sanjay Ghemawat 重新估算后发现，整份搜索索引已经可以装进服务器内存。原来的系统架构建立在旧的硬件约束上，而那个约束已经消失了。
他们据此重写系统，把搜索速度大幅提高。
TPU 的起点也是一次估算。2013 年，深度学习让语音识别错误率下降了一半。如果更好的体验让每名用户每天使用三分钟语音识别，按照当时 CPU 的效率，Google 可能需要把服务器规模扩大一倍。
模型效果越好，需求越容易被释放，成本压力反而越大。TPU 不是为了展示造芯片的能力，而是为了让一个成功产品在经济上能够成立。
我认为这是一种很重要的工程习惯：当技术条件发生变化，要把行业常识重新降级为待验证的假设。先看数量级，再找真正的瓶颈，而不是在旧架构上不断打补丁。
推理的瓶颈常常不是计算
今天 AI 系统的昂贵动作，往往不是“算”，而是“搬”。
按照 Jeff Dean 给出的量级，一次数学乘法大约消耗一个皮焦耳能量；把数据从高带宽内存搬到计算单元，能量成本可能高出约一千倍。
这解释了为什么批处理、低精度、量化和缓存如此重要。同一份权重搬进计算单元后，服务的请求越多，数据搬运成本就摊得越薄。但为了凑批次而等待，又会损害单个用户的响应速度。
吞吐、延迟和能耗不是后台工程指标，它们直接决定产品形态。模型等待十几秒，只适合偶尔咨询；接近即时响应，才可能进入机器人、实时视频、操作系统和连续决策。
如果一个 Agent 要连续调用模型上千次，单次延迟的差异会被整个流程放大。未来 Agent 要持续运行几天甚至几周，推理成本和能源效率就更不是附属问题。
模型只是零件，上下文才是工作现场
一个真正有用的 Agent，不只有模型，还要有检索、工具、记忆、执行环境、历史状态和反馈机制。
训练数据被压进参数以后，知识虽然存在，却未必能在正确的时间被准确调用。放进当前上下文的信息，对模型更直接。因此，小团队未必需要训练自己的基础模型，也可以通过组织领域知识、客户数据、工具流程和评价标准，让通用模型在具体场景中变得可靠。
Jeff Dean 和 Sanjay Ghemawat 曾把自己优化底层库的方法写成一项 Agent 技能：运行微基准、修改代码、比较性能和缓存占用，再根据结果继续迭代。
这件事把“上下文工程”说得很清楚。它不是堆材料，也不是寻找神奇提示词，而是把专家的工作方法转换成模型可以执行的形式：先做什么，可以调用什么工具，怎样判断结果，什么状态才算完成。
未来企业的重要资产，可能不只在模型权重中，也在这些被编码进技能、规范、测试和工作流的隐性经验中。
长程 Agent 更像分布式系统
Agent 的困难通常出现在第几十步以后。它可能忘记目标、误解状态、重复动作，或者沿着错误方向不断深入。
任务越长，系统就越不能依赖模型每一步都正确。可靠的长程 Agent 需要检查点、状态管理、回滚、分支探索、外部评估、权限控制和异常恢复。
多 Agent 的意义也不只是增加几个角色。不同 Agent 可以探索不同方案，再由评价器筛选方向。这本质上是在推理阶段做搜索，用分工和反馈降低单点失误。
MapReduce 当年解决的是如何让大量不可靠机器完成可靠计算。今天的 Agent 基础设施面对着相似的问题：单次模型调用和工具执行都不完美，但整体任务必须稳定完成。
所以，运行几周的 Agent 并不是一个更长的聊天窗口，而是一种新的计算基础设施。它要让任务可拆分、结果可验证、状态可恢复，局部失败不至于摧毁整个流程。
创业要寻找通用模型的结构性盲区
小团队与通用模型正面竞争，窗口会越来越窄。今天勉强独立的产品功能，半年或一年后就可能被基础模型吸收。
Jeff Dean 给出了一条很具体的筛选标准：寻找通用模型当前成功率接近 0% 或 1% 的任务，而不是已经能完成 20% 的任务。
已经达到 20%，说明能力正在出现，扩大模型、数据和推理资源就可能迅速把它推到可用。接近零，则可能意味着任务缺少通用模型难以获得的专有数据、特殊工具、专业评价器或窄领域能力。
机会不在于把模型包装进一个新界面，而在于补上它的结构性缺口。谁拥有独特数据，谁能定义“什么是对的”，谁能建立快速可靠的反馈闭环，谁才可能形成更耐久的优势。
代码便宜以后，规格和品味会更贵
如果每个人都能同时调度几十个 Agent，执行能力就不再稀缺。真正稀缺的，是决定让它们做什么。
一个完整的旧系统迁移任务，Agent 往往表现较好，因为原代码定义了行为，测试定义了边界。相反，一个看似简单却目标含糊的任务，更容易让 Agent 自行猜测并走偏。
这意味着规格、约束、指标、测试和样例会从开发末端前移到任务定义阶段。管理者不只是分配任务，也要把意图写成机器能够理解和验证的目标。
但比规格更上游的是问题选择。Agent 会让大量想法迅速变成产品，却不会自动让世界出现更多好产品。执行成本下降之后，选择什么值得做，反而决定了绝大部分价值。
Jeff Dean 建议用预测和复盘训练这种“品味”：写下未来十二个月可能变得重要的事情，届时逐项检查哪些成真、哪些被别人做出来、哪些毫无进展。判断力不是一句抽象赞美，它可以通过持续留下预测样本来校准。
把科学方法变成高速循环
Jeff Dean 最看重的方向之一，是让 AI 参与改进 AI，并把科学方法本身自动化。
传统科研依次经历提出假设、设计实验、运行实验、分析结果和产生新假设。AI 一方面可以自动提出并执行更多实验，另一方面可以把昂贵验证器转化为廉价近似模型。
在量子化学案例中，研究人员用大量模拟结果训练神经网络近似器，使其接近原模拟器的准确度，同时把速度提高约三十万倍。验证从一整夜缩短到极短时间后，科学研究就能从少量下注转向大规模搜索。
AlphaEvolve、AlphaChip 等系统遵循同一种结构：模型提出方案，工具负责执行，评价器筛选结果，较好的结果进入下一轮。研究效率因此不只取决于算力多少，更取决于每单位算力能产生多少有效发现。
这条逻辑也会作用于机器学习本身。人给出高层方向，系统探索模型结构、数据配方和训练策略，再把有效实验组合起来。AI 的进步将越来越来自一个被自动化和加速的反馈循环。
真正的起点仍是把问题看清楚
知识蒸馏的早期论文曾被 NeurIPS 拒绝，审稿人认为它不太可能产生重大影响。团队把论文放上 arXiv，后来蒸馏成为模型压缩和能力迁移的重要方法。
这件事不能简单归结为“坚持就会成功”。它更说明评价体系总有盲区，真正承受过系统瓶颈的人，往往更早看见一种方法的价值。外部否定既可能意味着方向错误，也可能意味着评价者不在同一个问题现场。区别只能靠具体证据和持续验证来判断。
Jeff Dean 判断一个问题是否值得长期投入，也有一个直接标准：如果最好的结果真的发生，世界会不会因此明显变好？如果大家只是觉得“挺酷”，这个问题可能不值得投入最宝贵的时间。
我从这些案例中看到的方法始终一致：算清数量级，找到真实瓶颈，重新检查默认前提，设计更简单的抽象，再用测量和反馈不断迭代。
模型会继续变强，但把模型变成生产力，需要更低的推理成本、更清楚的规格、更好的工具、更快的验证和能够容纳失败的系统。
当代码和执行越来越便宜，真正昂贵的将是问题本身。