TTFT 与 ITL：评估LLM 速度的两个核心指标
2026-09-15
评价大模型的速度，我会先拆开看两件事：用户等多久才能看到回答，以及回答开始后是否流畅。笼统说一个模型“快”，很容易把这两种体验混在一起。
TTFT 决定多久开始回答
从发出请求到收到第一个 token，这段时间叫 TTFT，也就是首 token 延迟。token 可以理解为模型处理和生成文本的基本单位。
这段等待与 Prefill 密切相关：模型需要先处理输入内容，为生成回答做准备。
我把 TTFT 看作用户对“反应快不快”的直接感受。它越短，用户越早看到回答开始出现。
ITL 决定回答是否流畅
开始回答后，模型通过 Decode 逐步生成后续 token。相邻两个 token 到达的时间间隔，叫 ITL，也就是 token 间延迟。
这里需要同时看间隔长短和稳定性。间隔越短，内容出现得越快；间隔越稳定，阅读时越不容易感到停顿。
所以，开始回答快，并不代表整个回答过程都流畅。这是两个需要分别观察的维度。
评估速度要覆盖两种等待
我的判断是，评价大模型的速度，至少要把 TTFT 和 ITL 放在一起看。前者衡量开始回答前的等待，后者衡量回答过程中的连续性。
对应到处理过程，Prefill 与首 token 的等待密切相关，Decode 与后续 token 的生成密切相关。分清这两个阶段，才能更具体地描述速度问题。
用户希望的是：尽快开始，持续流畅。速度评估也应该围绕这两个目标展开。