系列目录 · 第 09 篇
补上时间戳后,用户进一步要求查看 TTFT、Prefill tok/s、Decode tok/s 和总耗时。这些字段能帮助发现排队和生成瓶颈,但名字相同,不代表测量口径相同。
本项目能直接观测的是客户端收到事件的时间。服务端 GPU 何时开始计算、队列等待多久,需要模型服务另行提供数据。
0x01 首个事件不一定是首个输出
流式连接可能先收到角色声明、空 delta、用量、心跳或签名。把这些事件算作首 token,会得到一个很好看、却没有回答用户等待时间的数值。
llmrec/performance.go 只把以下内容当作有效输出:
- 非空正文片段。
- 非空推理片段。
- 非空工具调用名称。
- 非空工具参数 JSON 片段。
因此这里的 TTFT 更准确地说,是“到首个有效输出事件的时间”。一个事件可能包含多个 token,并不等于客户端看见了引擎生成的第一个 token。
0x02 当前计算公式
设请求开始为 t0,首个有效输出到达为 t1,调用结束为 t2:
1 | TTFT = t1 - t0 |
输入 token 在 SDK 中已归一化为包含缓存读取子集,因此估算预填充时减去缓存读取;缓存写入仍需要处理输入,不能一起减掉。
Decode 分子减去首个输出 token,但分母仍包含网络、缓冲、消费者延迟和流结束尾部。这个比值用于客户端侧比较,不等同于引擎内部逐 token 解码速度。
0x03 为什么 Prefill 必须写“估算”
假设输入 10000 token,其中缓存读取 6000 token,TTFT 为 4 秒,那么按当前口径,Prefill 估算为:
1 | (10000 - 6000) / 4 = 1000 tok/s |
但这 4 秒可能含有排队、网络传输和服务端调度。没有队列时长与引擎时序,无法从中分离纯预填充计算耗时。
两个任务争用单并发模型服务时,后到请求即使预填充很快,客户端也可能看到很长 TTFT。这应作为排队线索,不能直接归因于 GPU 算得慢。
若要定位服务端瓶颈,应把请求关联到模型服务日志、队列指标和 GPU 指标,再分析具体阶段。
0x04 哪些情况下不计算速率
只有一块输出一次性交付时,客户端无法观察生成节奏,不给 Decode 速率。输出 token 不足、区间为零或用量不合法时,同样保留未知。
调用失败或被截断,返回的 usage 可能只是一部分。这时如果已经看到首个有效输出,可以保留 TTFT,但不把不完整用量换算为吞吐。
非流式调用只能确定调用开始与结束,不能伪造中间的首输出时间。历史记录未采集的字段也保持空值,页面用破折号提示,不填 0 tok/s。
这些规则会让表里出现空白。空白表示测不到,不是系统确认了“性能为零”。
0x05 页面怎么帮助排查
请求明细同时显示时间、模型、角色、输入输出、缓存、TTFT、分段速率与总耗时;移动端允许表格横向滚动,不把所有列压缩成难以辨认的数字。
实际查看时,先看失败和超长请求,再看 TTFT 与输出区间的占比。若多数时间都在 TTFT,优先核对排队、长输入和连接;若输出区间很长,结合输出量和预算分析。
不能拿几条调用就宣布 P95,也不能跨模型、上下文长度和缓存状态直接比较一个 tok/s 数字。
0x06 验收与维护复盘
本轮针对空事件、工具输出、缓存、单块输出、失败用量等情况进行了后端回归,并检查前端类型、静态导出和 Mock 页面;390 像素宽度下核验过表格布局。
历史部署时还有一个运维教训:当次恢复 Docker 环境曾影响同机原实例。后续不能把“端口不同”写成“共享运行时完全隔离”,也不能为了更新本项目顺手重启整个 Docker Desktop。
性能表提供排查依据,不替代模型服务压测与生产容量评估。
