CodeScan 实战(07):给每次模型请求补上时间与计量账本

系列目录 · 第 07 篇

总览里只有累计 token,很难解释一次任务为什么跑了半小时。输入多,是重复带了源码,还是命中了缓存?停顿长,是模型生成慢,还是某次调用失败?两个任务同时运行时,时间有没有重叠?

这一轮先建立逐次调用账本,把“任务总共消耗多少”拆成“每次调用发生了什么”。

0x01 计量和原文录制分开

完整模型请求、响应会包含大量源码和任务信息。为了查看时间,不应该要求操作者先开启重型原文录制。

因此轻量 llm_usage 持续记录计量信息;需要排查协议细节时,再选择开启原文录制。总览读取轻量账本,按任务权限分页返回,接口不附带提示词、响应正文或密钥。

两条记录共用同一次调用的计时边界,避免原文页面和总览各算一套时间。

0x02 一条记录至少应该包含什么

字段 含义
任务与调用身份 这次调用属于哪个任务、哪类角色和模型配置
started_at 实际调用开始时间,保留时区
completed_at 调用结束、失败或取消的时间
总耗时 从调用边界测量的经过时间
输入与输出 token 按 Provider 返回的可用用量记录
缓存读取与写入 分开保存,避免把缓存命中误读为新增生成
结果状态 成功、失败、中断及可定位的错误信息

失败调用也需要记录。若只保存成功请求,页面会把漫长重试“压缩”成一段没有解释的空白。

0x03 两种时钟各做一件事

开始和结束时间用于回答“什么时候发生”,使用系统墙钟;耗时用于回答“经过多久”,尽量使用单调时钟。

如果操作系统在调用期间校时,结束时间减开始时间可能与记录耗时有少量差异。保留实际观测值更有价值,不必为了让两列对齐而重写时间戳。

调用结束后再写计量记录,数据库保存耗时不计入模型调用耗时。相应地,这份账本是调用完成后可见的记录,不是正在生成过程中的逐 token 实时仪表盘。

0x04 “每次请求”在这里指什么

这里的单位是平台对 Provider 的一次 Stream 或 Complete 调用。流式调用在迭代消费开始时计时,非流式调用在调用入口计时。

SDK 内部可能执行建连重试。如果这些重试没有重新进入平台 Provider 边界,它们会包含在同一条记录里。这份表不能直接当成每个物理 HTTP 请求的访问日志。

同样,任务页面里的“轮次”和“调用次数”也不必一一对应:规划、工作、压缩和收尾可能分别发生模型调用。应先确认统计单位,再分析平均耗时或失败率。

0x05 旧记录保持未知

旧版本只存一个时间字段时,不能拿结束时间减耗时,倒推出一个看似精确的开始时间。耗时可能采用不同边界,历史进程也可能有暂停或时间校正。

迁移后,缺失的 started_at、completed_at 保留为空。前端显示“未知”或破折号,不补成当前时间,也不写成零。

这看起来不如一张填满的表整齐,却能让后续排查知道哪些是实际采集,哪些数据从来没有。

0x06 这一轮如何验收

验证覆盖流式、非流式、失败和取消,检查时间字段迁移、分页、任务读权限以及原文录制与轻量账本的一致性;前端完成类型检查和生产静态导出。记录中还核对了历史部署中的实际计时调用。

验收只说明该版本把这些调用记录下来了,没有测出模型吞吐上限,也没有得到一组可推广的 P50 或 P95。TTFT 和分段速率需要额外观测事件,不能只用总耗时估算全部阶段。

第 09 篇继续说明新增性能指标到底测到了哪一段,以及为什么“Prefill tok/s”必须标成客户端估算。

上一篇:目标拆解恢复 · 下一篇:任务类型与长上下文

http://www.pa55w0rd.online/codescan-07/