系列目录 · 第 07 篇
总览里只有累计 token,很难解释一次任务为什么跑了半小时。输入多,是重复带了源码,还是命中了缓存?停顿长,是模型生成慢,还是某次调用失败?两个任务同时运行时,时间有没有重叠?
这一轮先建立逐次调用账本,把“任务总共消耗多少”拆成“每次调用发生了什么”。
0x01 计量和原文录制分开
完整模型请求、响应会包含大量源码和任务信息。为了查看时间,不应该要求操作者先开启重型原文录制。
因此轻量 llm_usage 持续记录计量信息;需要排查协议细节时,再选择开启原文录制。总览读取轻量账本,按任务权限分页返回,接口不附带提示词、响应正文或密钥。
两条记录共用同一次调用的计时边界,避免原文页面和总览各算一套时间。
0x02 一条记录至少应该包含什么
| 字段 | 含义 |
|---|---|
| 任务与调用身份 | 这次调用属于哪个任务、哪类角色和模型配置 |
started_at |
实际调用开始时间,保留时区 |
completed_at |
调用结束、失败或取消的时间 |
| 总耗时 | 从调用边界测量的经过时间 |
| 输入与输出 token | 按 Provider 返回的可用用量记录 |
| 缓存读取与写入 | 分开保存,避免把缓存命中误读为新增生成 |
| 结果状态 | 成功、失败、中断及可定位的错误信息 |
失败调用也需要记录。若只保存成功请求,页面会把漫长重试“压缩”成一段没有解释的空白。
0x03 两种时钟各做一件事
开始和结束时间用于回答“什么时候发生”,使用系统墙钟;耗时用于回答“经过多久”,尽量使用单调时钟。
如果操作系统在调用期间校时,结束时间减开始时间可能与记录耗时有少量差异。保留实际观测值更有价值,不必为了让两列对齐而重写时间戳。
调用结束后再写计量记录,数据库保存耗时不计入模型调用耗时。相应地,这份账本是调用完成后可见的记录,不是正在生成过程中的逐 token 实时仪表盘。
0x04 “每次请求”在这里指什么
这里的单位是平台对 Provider 的一次 Stream 或 Complete 调用。流式调用在迭代消费开始时计时,非流式调用在调用入口计时。
SDK 内部可能执行建连重试。如果这些重试没有重新进入平台 Provider 边界,它们会包含在同一条记录里。这份表不能直接当成每个物理 HTTP 请求的访问日志。
同样,任务页面里的“轮次”和“调用次数”也不必一一对应:规划、工作、压缩和收尾可能分别发生模型调用。应先确认统计单位,再分析平均耗时或失败率。
0x05 旧记录保持未知
旧版本只存一个时间字段时,不能拿结束时间减耗时,倒推出一个看似精确的开始时间。耗时可能采用不同边界,历史进程也可能有暂停或时间校正。
迁移后,缺失的 started_at、completed_at 保留为空。前端显示“未知”或破折号,不补成当前时间,也不写成零。
这看起来不如一张填满的表整齐,却能让后续排查知道哪些是实际采集,哪些数据从来没有。
0x06 这一轮如何验收
验证覆盖流式、非流式、失败和取消,检查时间字段迁移、分页、任务读权限以及原文录制与轻量账本的一致性;前端完成类型检查和生产静态导出。记录中还核对了历史部署中的实际计时调用。
验收只说明该版本把这些调用记录下来了,没有测出模型吞吐上限,也没有得到一组可推广的 P50 或 P95。TTFT 和分段速率需要额外观测事件,不能只用总耗时估算全部阶段。
第 09 篇继续说明新增性能指标到底测到了哪一段,以及为什么“Prefill tok/s”必须标成客户端估算。
