Evals 是新的 PRD
传统软件的能力边界相对稳定，产品经理先定义需求，再组织设计、开发和交付。大模型不是这样。它的能力不断跳变，开发者甚至无法预先知道新模型已经学会了什么。
因此，AI 产品的核心问题不再只是“怎样把需求做出来”，而是先发现模型能做什么、用户真正卡在哪里，再把模糊反馈转化为可以持续验证的问题。
“Evals 是新的 PRD”，说的正是这套工作方式的变化。
从模糊反馈到可衡量的问题
用户说“模型不遵循指令”，研究人员无法据此改进模型。产品经理必须继续追问：发生在什么场景？用户给了什么提示？模型返回了什么？本来应该调用哪个工具？
Anthropic 早期拆解这类反馈时发现，大约八成所谓的“不遵循指令”，实际指向同一个具体问题：Claude 没有输出正确的 JSON。
这不是一个措辞上的小问题。JSON 格式不可靠，模型就无法稳定调用 API 和工具，也很难成为真正的代理。
团队随后整理了三四十个失败案例，每个案例都包含提示词、模型响应和预期结果。一个模糊的用户抱怨，由此变成了可以反复运行的评估集。每次发布新模型，都能直接检查这个问题有没有改善。
我认为，这才是 Evals 最重要的价值：它把用户需求变成模型和研究团队可以操作的语言，也让改进是否有效不再依赖主观感受。
PRD 没有消失，只是换了位置
“Evals 是新的 PRD”并不等于 PRD 已经无用。
问题明确、结果可衡量时，评估集往往比长篇需求文档更准确。但当一个模型发布涉及产品、工程、法律和安全等多个团队时，PRD 仍然承担目标对齐的作用。
面对尚未出现的产品机会，PRD 也仍有价值。比如计算机使用能力还不成熟时，团队需要先回答：它能不能为一小群用户创造价值？产品应该怎样承载这种不完整但有潜力的能力？这仍然需要愿景和场景设计。
所以，真正的变化不是用 Evals 替代 PRD，而是把产品工作的起点从“我要做一个什么功能”，转向“用户需要完成什么，模型究竟在哪一步失败”。
前沿模型必须有前沿产品承载
模型能力强，不等于用户能够感受到它的价值。
Anthropic 对 Opus 3 的编程能力进行针对性优化，让 Claude 在早期形成了差异化。但到 Opus 4.5，真正的转折来自模型与 Claude Code 的结合：更强的智能有了能够端到端完成任务的产品载体，产品也因为模型跨过能力门槛而迅速普及。
这说明模型和产品不是简单的上下游关系。前沿模型需要前沿产品把能力释放出来，前沿产品也必须等待模型达到临界点。任何一边单独领先，都不一定能形成用户价值。
大模型还有一个特殊之处：能力增长不是均匀发生的。一些能力会突然从不可靠变成稳定可用，而且在出现之前很难预测。
这也是评估集、安全测试和红队测试越来越重要的原因。没有持续测试，团队可能连模型已经获得了什么能力都不知道，更谈不上把它转化为产品，或者控制由此产生的风险。
好产品来自高密度实验
Anthropic 早期曾把模型中的“金门大桥”特征权重调高，让 Claude 无论回答什么都强行联想到金门大桥。这个实验只上线了约二十四小时，触达大约两千人，却帮助团队确认了一件事：研究成果可以用创业公司的速度转化为真实产品体验。
这类实验的意义，不一定是形成一个长期功能，而是帮助团队认识模型、形成自己的产品身份。
Labs 团队延续了这种方式。它不追逐核心路线图上的确定事项，而是探索 Claude Code、MCP、Skills 等可能产生非连续增长的方向。团队对方向保持坚定，对具体原型保持灵活；原型即使最终关闭，只要形成了有效认知，也不是失败。
模糊的大机会不适合一开始就投入大团队。一个工程师、一个小组，反而更容易像创始人一样快速试错。等到证据出现，再扩大投入。
我赞同这种做法。AI 时代最稀缺的不是想法，而是低成本识别哪些想法值得继续下注的能力。
亲手使用，是产品判断的前提
在模型快速变化的阶段，只看报告、听演示或者制定战略，很难形成可靠判断。最有创造力的产品人，必须花大量时间与新模型交互，亲手完成真实工作。
这种使用也不能停留在“玩一玩”。产品负责人需要亲自发货、观察失败、打磨上下文和每一个 token，才能感知模型能力变化的速度。
实验也不应只是个人运动。Anthropic 早期让全公司在公开频道里分享尝试，一个想法经过多人变形和验证，往往会逐渐显露出真正有价值的用例。
这给我的启发是，与其泛泛体验几十个 AI 工具，不如选择一两个真实问题深入下去。只有当 AI 完整改善了一项工作，而不是留下许多半成品，我们才真正理解了它的价值。
PM 不会消失，反而更需要深入用户
当构建成本快速下降，“能不能做”不再是最大的障碍。“应该做什么”“做得对不对”“是否值得投入”反而变得更重要。
这正是产品工作的核心。
AI 时代的 PM 不能靠套用过去消费互联网或 SaaS 的经验生存。第一性原理思维意味着重新回答：面对今天的模型、今天的用户和今天的能力边界，怎样才能创造真实价值？
产品经理需要深入用户细节，把模糊反馈拆成可衡量的问题，再连接产品、研究、工程和安全团队。技术越强，这项翻译工作越重要。
因此，PM 不是被强大的模型和工程师挤走了，而是必须变得更技术化、更亲力亲为，也更接近用户。
AI 应该增强判断，而不是接管判断
访谈中还有一个我很认同的区分：有些工作可以把写作委托给 AI，把人的精力留给思考和验证；有些问题则应该先形成自己的观点，再让 AI 反驳、推敲和补充。
关键不是“有没有使用 AI”，而是在哪个环节交出控制权。
一个只会附和的模型没有多少价值。真正有用的思考伙伴，应该知道什么时候执行，什么时候质疑，什么时候指出问题本身可能错了。主动性不只是按计划完成任务，也包括判断这个任务是否值得做。
随着模型能力增强，人仍然需要守住自己的判断、经验和声音。判断力来自长期经历中积累的细微差别，它决定我们选择什么问题、坚持什么方向，以及最终由谁为结果负责。
所以，比“谁写的”更重要的是“谁验证、谁签字、谁承担判断责任”。
组织能力比个人效率更重要
AI 让小团队可以完成过去需要更多人完成的工作，但也可能让工作变得更加孤独：人每天指挥一组代理，却减少了与真实同事共同思考的机会。
Anthropic 的经验提醒我，高强度创新不能依靠少数人长期透支。公开实验、彼此补位、允许休息时由团队接住工作，才是组织持续适应指数变化的基础。
面对一个不断出现新能力、也不断产生新风险的技术环境，个人英雄主义远远不够。真正可持续的优势，是团队能够共同发现、快速调整，又保留各自独立的判断。
未来并不缺更强的模型。更稀缺的是一群既敢于想象十倍、百倍变化，又愿意深入失败案例和用户细节的人。他们用评估集描述问题，用产品释放能力，用判断决定方向，也用真实的人际协作抵抗技术加速带来的失控感。