CodeScan 实战(09):TTFT、Prefill 和 Decode 到底测到了什么

系列目录 · 第 09 篇

补上时间戳后,用户进一步要求查看 TTFT、Prefill tok/s、Decode tok/s 和总耗时。这些字段能帮助发现排队和生成瓶颈,但名字相同,不代表测量口径相同。

本项目能直接观测的是客户端收到事件的时间。服务端 GPU 何时开始计算、队列等待多久,需要模型服务另行提供数据。

0x01 首个事件不一定是首个输出

流式连接可能先收到角色声明、空 delta、用量、心跳或签名。把这些事件算作首 token,会得到一个很好看、却没有回答用户等待时间的数值。

llmrec/performance.go 只把以下内容当作有效输出:

  • 非空正文片段。
  • 非空推理片段。
  • 非空工具调用名称。
  • 非空工具参数 JSON 片段。

因此这里的 TTFT 更准确地说,是“到首个有效输出事件的时间”。一个事件可能包含多个 token,并不等于客户端看见了引擎生成的第一个 token。

0x02 当前计算公式

设请求开始为 t0,首个有效输出到达为 t1,调用结束为 t2:

1
2
3
4
5
6
TTFT              = t1 - t0
Decode 区间 = t2 - t1
总耗时 = t2 - t0

Prefill tok/s 估算 = (输入 token - 缓存读取 token) / TTFT秒
Decode tok/s 估算 = (输出 token - 1) / Decode区间秒

输入 token 在 SDK 中已归一化为包含缓存读取子集,因此估算预填充时减去缓存读取;缓存写入仍需要处理输入,不能一起减掉。

Decode 分子减去首个输出 token,但分母仍包含网络、缓冲、消费者延迟和流结束尾部。这个比值用于客户端侧比较,不等同于引擎内部逐 token 解码速度。

0x03 为什么 Prefill 必须写“估算”

假设输入 10000 token,其中缓存读取 6000 token,TTFT 为 4 秒,那么按当前口径,Prefill 估算为:

1
(10000 - 6000) / 4 = 1000 tok/s

但这 4 秒可能含有排队、网络传输和服务端调度。没有队列时长与引擎时序,无法从中分离纯预填充计算耗时。

两个任务争用单并发模型服务时,后到请求即使预填充很快,客户端也可能看到很长 TTFT。这应作为排队线索,不能直接归因于 GPU 算得慢。

若要定位服务端瓶颈,应把请求关联到模型服务日志、队列指标和 GPU 指标,再分析具体阶段。

0x04 哪些情况下不计算速率

只有一块输出一次性交付时,客户端无法观察生成节奏,不给 Decode 速率。输出 token 不足、区间为零或用量不合法时,同样保留未知。

调用失败或被截断,返回的 usage 可能只是一部分。这时如果已经看到首个有效输出,可以保留 TTFT,但不把不完整用量换算为吞吐。

非流式调用只能确定调用开始与结束,不能伪造中间的首输出时间。历史记录未采集的字段也保持空值,页面用破折号提示,不填 0 tok/s。

这些规则会让表里出现空白。空白表示测不到,不是系统确认了“性能为零”。

0x05 页面怎么帮助排查

请求明细同时显示时间、模型、角色、输入输出、缓存、TTFT、分段速率与总耗时;移动端允许表格横向滚动,不把所有列压缩成难以辨认的数字。

实际查看时,先看失败和超长请求,再看 TTFT 与输出区间的占比。若多数时间都在 TTFT,优先核对排队、长输入和连接;若输出区间很长,结合输出量和预算分析。

不能拿几条调用就宣布 P95,也不能跨模型、上下文长度和缓存状态直接比较一个 tok/s 数字。

0x06 验收与维护复盘

本轮针对空事件、工具输出、缓存、单块输出、失败用量等情况进行了后端回归,并检查前端类型、静态导出和 Mock 页面;390 像素宽度下核验过表格布局。

历史部署时还有一个运维教训:当次恢复 Docker 环境曾影响同机原实例。后续不能把“端口不同”写成“共享运行时完全隔离”,也不能为了更新本项目顺手重启整个 Docker Desktop。

性能表提供排查依据,不替代模型服务压测与生产容量评估。

上一篇:任务类型与上下文 · 下一篇:完整审计模式

http://www.pa55w0rd.online/codescan-09/