Andrej Karpathy：人们对 LLM 能力的认知正分裂成四个层级
我读 Karpathy 这段判断，最在意的是：人们谈论的都是 AI，实际接触的系统、交给它的任务，以及判断结果的标准，可能完全不同。
有人看到一个不太可靠的聊天工具，有人已经让 agent 承担过去需要数周的项目。这两种体验可以同时成立。讨论 AI 的能力之前，先要知道彼此站在哪里。
四层漏斗，分开的是实际使用经验
Karpathy 用一组粗略估算描述这个漏斗：约 60 亿人几乎没接触过 LLM；约 10 亿至 20 亿人偶尔使用免费聊天产品，把它当搜索或写作助手；约 2000 万人在数学和代码领域专业使用前沿模型；最里面约 5000 人能接触内部前沿系统。
这些数字是他的量级估算，不能当作精确的人口统计。我认为真正值得关注的是，每向内一层，使用经验都发生了变化。
在他的描述中，第三层用户已经看到，过去需要数周甚至数月的复杂项目，如今可以交给 agent，通过提示启动完成。最内层接触的则是数千个 agent 持续协作数周，处理大型软件项目、网络攻防，以及科学和数学问题。
许多高管即使理解这些变化，也未必有直接经验。工作主要围绕人与人沟通展开时，AI 的进展容易停留在报告和演示里。知道一件事正在发生，与亲自借助它完成一件难事，对判断的影响很不一样。
任务越大，能力差距越容易显现
Karpathy 提出的第一个原因，是 AI 的影响会随任务规模、难度和时间跨度扩大。
一个只需要一段回答的问题，几乎没有充分调用系统能力。查一道菜谱，与搭建一个复杂应用，测试的是不同层面的能力。前者主要看回答，后者还涉及规划、执行、反馈和修正。
我的理解是，要判断 AI 对自己有多大价值，手里必须有一批真正关心、又足够困难的问题。长期只让它润色几句话，就很难形成对复杂任务能力的判断。
但任务越大，也越需要明确验收标准。演示完成得快，只说明值得继续测试；能否交付，还要看结果是否满足实际要求。
能力呈锯齿状，代码经验不能直接外推
第二个原因是能力分布不均匀。Karpathy 将代码、数学等领域的突出表现，归因于数字化、结果可验证，以及明确的经济价值。
他的解释是，基于可验证奖励的强化学习，更容易在这些环境中获得有效反馈，而训练环境的选择又受到商业回报的推动。哪些任务容易判断对错、值得投入，哪些能力就更容易被持续强化。
这也解释了为什么不同职业的人会得出不同结论。程序员可能已经经历工作方式的剧变，处理模糊目标、主观判断和复杂人际关系的人，感受到的提升仍然有限。
我不会因为 AI 在代码上表现突出，就认定它已经同样擅长战略或组织管理；也不会因为它在某次沟通建议上表现平庸，就否定它处理软件项目的能力。评价必须落到具体任务上。
访问权限不同，体验不能直接互相证明
第三个原因最直接：免费产品、付费产品和内部前沿系统，提供的能力并不相同。
用免费聊天产品的体验判断整个技术前沿，容易低估变化。反过来，把内部系统的表现当成所有企业今天都能获得的能力，也会高估现实条件。
我认为企业至少要分清两件事：前沿已经展示了什么，以及自己目前能够稳定使用什么。前者影响战略预判，后者决定当下的投入和流程设计。
因此，一次有意义的 AI 能力讨论，需要交代使用了什么系统、解决了什么问题、结果如何验收。缺少这些条件，“有用”或“没用”都很难帮助别人决策。
产出加速之后，人的审阅可能成为瓶颈
Karpathy 对最前沿系统的描述里，还有一个值得重视的变化：人的审阅和理解速度，开始跟不上机器产出。
如果这一趋势继续，组织面对的问题就会从“能不能做出来”，进一步转向“能不能检查清楚、理解充分，并承担使用结果的责任”。代码、论文和方案生成得越快，验收机制越不能缺位。
对我而言，这篇材料带来的行动启发是：选出足够重要、可以检验结果的真实任务，让团队直接使用能力合适的系统，并把审阅与验收一起设计进去。
认知差距最终要靠实践缩小。管理者需要亲自经历一次任务从提出、执行到验收的完整过程，才能判断哪些工作已经可以重做，哪些环节仍然离不开人。