YC 专门办了一场 Paper Club,主题就叫《Why the Harness Matters More Than the Model》
同一个模型,同样的推理强度,只是换了外面那套运行框架,成绩从 62.7% 跳到 98.6%——分差 35.9 个百分点,成本还从约 2.61 万美元降到 1.73 万美元。这不是两个模型对比,是同一模型的两次考试。
大脑没换,只是换了干活的方式,Agent 几乎变成了另一个水平。
几天后 YC 专门办了一场 Paper Club,主题就叫《Why the Harness Matters More Than the Model》,由 YC 的 François Chaubard 主持,请来 Prime Intellect 的 Seth Karten、斯坦福的 Jon Saad-Falcon,以及 YC 自己的 Josh France 和 Regan Bell。三组视角不同,落点一致:胜负手正在从「谁的模型更强」转向「谁能把模型更好地组织起来」。
模型能力正在变成一种给定条件。在这个条件相同的前提下,Agent 之间还能差出三十多个百分点——这就是 Harness 的价值空间。
Harness 是模型外面那套工作方式
Harness 本义是马具:套在马身上,把马的力量传导到车上的那套装置。放到 AI 语境,它是模型完成真实任务时外面的一整套框架——系统提示词怎么写、上下文怎么组织、能调用哪些工具、记忆存在哪、子 Agent 怎么分工、会话怎么管理。
一句话区分:模型决定大脑多聪明,Harness 决定这个大脑干活时手里有什么。任务中能看到哪些资料、能用什么工具、前面做到哪一步还能不能接着干,都不由模型决定。
Chaubard 的经历很典型。今年 3 月他试用 Karpathy 的自动研究项目,起初只是想加个界面,好看清楚 Agent 到底在干什么、实验跑到哪一步。做着做着,资料检索、实验、评审、写作、进度管理陆续被接了进来——他后来才发现,自己无意中搭出了一套完整的 Harness。
现在他只需要给出研究方向和评价指标,后面由多个 Agent 持续推进。三四月份产出的论文还比较粗糙,到后来一次丢进去多个研究想法让系统自己跑,回来收结果,质量已经相当不错。模型没有更新换代,交付却越来越好。
值得注意的是,改提示词、接工具、套任务循环这类活,过去在机器学习圈子里一直不太上得了台面,甚至有人公开质疑它算不算真正的 AI 研究。而现在,这个被轻视的环节已经可以直接拉开成绩。
优化对象正从提示词一路推进到 Harness 本身
过去几年 Harness 的重心是增加能力,现在它自己成了被优化的对象。这条路径分三步走。
第一步是提示词。以前不好用只能靠人一次次试,现在 DSPy 这类系统自己尝试不同写法,再用测试结果挑出最好的版本——调提示词从手艺活变成了搜索问题。
第二步是 Harness 本身。Darwin Gödel Machine 走得更远,它不只调提示词,还能直接修改运行 Agent 的 Harness 代码:一套流程不好用就换种写法,再用测试结果判断新版是否更好。论文实验中,它把 SWE-bench 成绩从 20% 提到 50%。
第三步是让历史经验进入下一版。Continual Harness 让 Agent 回看过去的任务记录和结果,再决定要不要改提示词、加技能、更新记忆或调整子 Agent 配置。一次次跑任务留下的经验,开始沉淀进下一版 Harness。
更激进的方向是让模型本身在运行中继续学习——把 Agent 刚产生的数据重新用于训练,甚至在测试阶段直接更新权重。优化的方向正在从 Harness 往模型里面走,两者的边界被打通了。
模型越强,Harness 越不该把流程写死
一个反直觉的发现:模型越来越强以后,Harness 反而不需要替它写好每一步。
过去做 Agent 的常见思路是把流程拆得很细——第一步做什么、第二步调什么工具、第三步怎么判断。这带来稳定,但也埋了雷:任务一旦变长、环境一变,提前写好的流程很容易失效。
Prime Intellect 的 Seth 介绍的 Prime Agent 思路相反:少规定流程,多准备可调用的资源。核心设计是信息分层,Agent 需要的信息放在三个地方。
当前最重要、正在使用的信息直接进上下文;历史太长就先压缩,只留当前任务真正需要的部分。程序、计算结果和任务进度保存在一个持续运行的 REPL 里——可以理解成不会因一次调用结束就清空的编程环境,前面写过什么代码、算出什么结果,后面直接接着用。长期记忆、技能和提示词放外部存储,需要时再取。
子 Agent 同理,完成一次任务后不会被清空,积累的上下文保留下来,再次唤醒就能接着原来的活干。这实际上重新划分了 Harness 和模型的职责,价值在长周期任务里最明显。
Seth 团队让 Agent 连续玩了七天《异星工厂》。这款复杂的自动化经营游戏需要自己规划生产线、调配资源、解锁技术,一次错误操作就可能改变后续路线。七天里 Agent 调用 633 个子 Agent,产生超过 2300 万输出 Token,完成 196 项技术中的 24 项,并把下一项「高级电路」推进到 71%。
过程中出过一次严重失误,进度从完成 5 项技术倒退到只剩 1 项。但系统没有清空状态重新开始:此前的程序、资源情况和任务记录都在,模型可以按新局面重新判断下一步,然后继续推。这就是 Harness 在长周期任务里的核心价值——它把状态和结果存下来,让连续决策成为可能。
但更大的自主空间不等于 Harness 能替代模型。ARC-AGI-3 公开集上,Prime 搭配 Claude Opus 5 的 RHAE 得分 95.5%,换成 Terra 只有 25.7%。同一套 Harness,底层模型一换,结果差近 70 个百分点。
准确的说法是:Harness 放大模型已有的能力,而不是凭空创造能力。
本地小模型的差距,可以从模型外面补回来
另一个更实际的场景是个人 AI 的本地化。今天大量个人 Agent 依赖云端大模型,写作、研究、编程、日程都交给它,代价很直接——长期 API 费用可能达到数千美元,邮件和文件还要不断发到云端。
斯坦福的 Jon Saad-Falcon 介绍的 OpenJarvis 想解决的就是这件事。麻烦在于本地模型还不够强:他提到本地模型与最前沿模型之间大概还有 6—12 个月的能力差距。这也不是把 Claude 换成一个开源模型就能解决的。
他们做过一个很直接的实验:把 OpenClaw 和 Hermes Agent 原本用的 Claude Opus 4.6 直接换成 Qwen3.5-9B,其他全部不动,两项测试准确率分别掉了 24.8 和 38.8 个百分点。
OpenJarvis 的办法是把整个 AI 系统都纳入优化范围,拆成五层:模型选什么、模型怎么跑、Agent 怎么工作、能调用哪些工具和记忆、系统后面怎么继续学习。每层都能单独调整再重组。比如先让更强的云端模型分析失败案例、判断问题出在哪,再帮本地系统改配置,优化结束后每天真正运行的仍是本地模型。一句话,大模型负责判断,小模型负责执行。
效果是:Qwen3.5-9B 本身完全不变,整套系统优化后在上述两项测试里分别追回约 56% 和 77% 的性能损失。放到更完整的八项测试中,表现最好的一套本地方案平均准确率 80.3%,Claude Opus 4.6 是 83.5%,差距缩到 3.2 个百分点,其中四项本地方案已经追平或超过最好的云端结果。
更关键的是成本口径:本地方案的边际 API 成本大约只有云端的八百分之一,端到端延迟缩到约四分之一。
个人 AI 从云端走向本地,不一定要等小模型完全追平大模型——Harness 本身就可以先补回一部分能力差距。
Agent 进了公司,Harness 要管的是运维和权限
当 Agent 真正进入公司,问题就不只是能不能干活。几十个 Agent 同时跑,怎么部署、怎么维护、能访问什么、能改什么,开始变得同样重要。
YC 内部从 2025 年初就开始探索,最早只是系统提示词、工具和任务循环,后来接入 Slack、定时任务和虚拟机,让 Agent 改代码、跑测试,甚至拥有类似「自己电脑」的环境。但把能力扩到全公司,问题马上出现:团队一度在虚拟机里部署了 50 多个 Hermes Agent,每个人单独配置,某个 Agent 出故障,工程师还得逐个登录对应实例排查修复,维护成本立刻上来。
Josh France 和 Regan Bell 介绍的内部 Harness QM 就是冲这类规模化问题去的。核心改动是不再让 Agent「住」在某台机器里:对话、上下文和长期状态集中保存,虚拟机和隔离环境变成需要时再调用的资源,Agent 可以按任务选机器,甚至切换模型服务商。到这一步,Harness 的角色已经从给单个 Agent 接工具,变成负责一群 Agent 的状态、资源和运行方式。
规模化之后,真实办公环境暴露了三个难绕开的问题。
第一,Agent 会把局部问题当成全局问题。YC 试过让 Agent 根据运行记录自己找 Bug、改系统,效果好坏参半。团队把其中一种失败模式叫「主角综合征」——Agent 只看到自己遇到的那一小块,却可能提出影响整个系统的修改。这类修改目前仍需人工把关。
第二,Agent 太容易提前放弃。明明还有时间和工具,试几次就直接宣布失败。YC 的做法是做了个 Grind Tool:给任务设定最低运行时间或 Token 预算,没到门槛不允许结束。
第三,也是最麻烦的,是权限。Agent 进了 Slack 能看到大量上下文,却未必理解哪些信息能告诉谁。人类知道同事私下说的话不能随手转进另一个群,但 Agent 如果没有明确的权限边界,敏感信息就可能在会话之间流动。YC 目前大部分数据库权限保持只读,需要写入时先由 Agent 提方案、人确认。
但人工审核也不是万能答案。随着员工越来越信任 Agent,人可能逐渐习惯直接点通过——审核本身会退化成一道形式。
所以企业 Agent 下一阶段真正要补的,可能不是更多能力,而是一套既能把 Agent 规模化跑起来、又能把权限真正管住的 Harness。
过去两年行业的注意力几乎全押在模型上,这没有错,模型仍然是地基。但接下来,差距会越来越多地产生在地基之上。模型决定你能走多快,Harness 决定你能不能一直走下去、走多远。