系列目录 · 第 14 篇
单独修一个错误后,很难知道系统整体是否更可靠。这一轮把两个被审系统各自的两个任务放在一起复盘,分别核对轮次、工具轨迹、覆盖账本、漏洞材料和最终状态。本文将目标匿名为系统 A、系统 B。
最醒目的发现是:某一轮 Planner 持续约 20 小时,调用 Write 4164 次,对未开放的 Bash 产生 1143 次错误。问题已经超出“模型偶尔回答不好”的范围。
0x01 四个任务暴露的是不同故障
| 观察 | 问题 |
|---|---|
| 规划轮次长时间不退出 | Planner 自身缺少有效墙钟与默认轮数边界 |
| 不断尝试 Bash 或写生成脚本 | 把静态写文件与实际执行能力混淆 |
| 覆盖从大量已分类条目退回 pending | 局部更新采用整份替换,旧材料丢失 |
| 本地报告已写,平台仍提示过期 | 文件输出与证据版本绑定不是同一件事 |
| 每次调用重试失败,下一心跳继续 | 缺少任务级连续模型故障保护 |
这些现象可能同时出现。不能把所有失败都归咎模型,也不能因为已有漏洞条目,就把尚未覆盖的源码和未知条件标成完成。
0x02 给 Planner 自己设预算
此前 Worker 已有运行限制,但 Planner 的 max_turns=0 缺少默认边界,管理配置中的 run_seconds 也未真正约束其主探索。
这轮将 Planner 主探索上限设为 5 分钟,更小配置与任务剩余时限优先;未设轮数时默认 24 轮,默认收尾 2 轮,管理员显式正数轮数继续尊重。请求退出尾部与收尾仍可能让最终耗时略超主探索预算。
错误止损也区别于 Worker:Planner 同一工具的同类错误累计 3 次,或单轮工具错误合计达到 8 次时停止本轮。即使更换 Bash 参数,未知工具仍是同类问题,不能通过改几个字符绕过保护。
0x03 调用重试之外,还要有任务级保护
当时最小模型探针返回 503 backend_unavailable。这能确认所选后端没有接受该次请求,不能靠重试保存漏洞或读取源码解决。
连续 3 轮规划因模型或 API 故障结束后,任务以 planner_model_unavailable 停止,并明确可恢复。连续计数依据持久化结果,进程重启不重新赠送一轮无限重试;正常结果会打断连续失败。
用户暂停、工具契约错误不混算为供应商故障。任务停止时保留已有材料与可恢复工作,服务恢复后由操作员决定继续,避免修复部署顺手把所有旧任务重新启动。
0x04 局部更新不再要求重传整份账本
数千文件的覆盖账本,只改一条记录也要求模型重写全量,既昂贵又容易遗漏。旧接口对未提供文件补 pending,整份替换还会抹掉原语义单元和证据。
新增 ledger_patch 和文件方式的增量提交,按文件路径、证据 ID、语义维度合并,未修改内容保留。宿主掌握完整源码分母,遗漏文件仍如实保持待审,不要求模型手写数千个占位条目。
漏洞材料对应增加 case_patch:嵌套对象递归合并,未提供字段保留;数组只有显式提供才整组替换。操作员和模型都需要理解这一点,提交一个元素的数组,不等于自动追加。
CAS、归属、源码绑定、引用检查继续执行。整份替换如果撤销已有分类或移除材料,需要说明 replace_reason,不能静默把旧证据清掉。
0x05 写了报告文件,为什么门禁仍不通过
因为平台需要的是“这份报告对应当前哪一版证据”。本地写 final-report.md,或者推进审计记录 revision,并不会自动更新漏洞报告的 report_evidence_version。
证据新增、PoC 变化或独立复核更新后,报告需要重新生成并绑定当前证据版本。修复后的缺口提示应把实际证据版本和报告版本写清楚,让模型知道要更新哪份交付物。
同理,文件总数归零待审,也不代表语义覆盖已经闭合。接口、权限、边界和生命周期仍需自己的证据。
0x06 本轮验收没有替真实长程复测背书
针对性回归记录为 102 项通过、0 失败;Windows 未执行的两项符号链接检查在 Linux 补测。测试使用真实 SDK、隔离数据库与模拟 Provider,覆盖预算、错误保护、补丁合并和报告检查。
真实模型探针仍返回 503,因此没有进行修复后四个真实任务的完整长程对照。已有数据库备份也只做了格式和摘要检查,没有完成全量恢复演练。
