CodeScan 实战(14):四个真实任务复盘:预算、失败保护与增量保存

系列目录 · 第 14 篇

单独修一个错误后,很难知道系统整体是否更可靠。这一轮把两个被审系统各自的两个任务放在一起复盘,分别核对轮次、工具轨迹、覆盖账本、漏洞材料和最终状态。本文将目标匿名为系统 A、系统 B。

最醒目的发现是:某一轮 Planner 持续约 20 小时,调用 Write 4164 次,对未开放的 Bash 产生 1143 次错误。问题已经超出“模型偶尔回答不好”的范围。

0x01 四个任务暴露的是不同故障

观察 问题
规划轮次长时间不退出 Planner 自身缺少有效墙钟与默认轮数边界
不断尝试 Bash 或写生成脚本 把静态写文件与实际执行能力混淆
覆盖从大量已分类条目退回 pending 局部更新采用整份替换,旧材料丢失
本地报告已写,平台仍提示过期 文件输出与证据版本绑定不是同一件事
每次调用重试失败,下一心跳继续 缺少任务级连续模型故障保护

这些现象可能同时出现。不能把所有失败都归咎模型,也不能因为已有漏洞条目,就把尚未覆盖的源码和未知条件标成完成。

0x02 给 Planner 自己设预算

此前 Worker 已有运行限制,但 Planner 的 max_turns=0 缺少默认边界,管理配置中的 run_seconds 也未真正约束其主探索。

这轮将 Planner 主探索上限设为 5 分钟,更小配置与任务剩余时限优先;未设轮数时默认 24 轮,默认收尾 2 轮,管理员显式正数轮数继续尊重。请求退出尾部与收尾仍可能让最终耗时略超主探索预算。

错误止损也区别于 Worker:Planner 同一工具的同类错误累计 3 次,或单轮工具错误合计达到 8 次时停止本轮。即使更换 Bash 参数,未知工具仍是同类问题,不能通过改几个字符绕过保护。

0x03 调用重试之外,还要有任务级保护

当时最小模型探针返回 503 backend_unavailable。这能确认所选后端没有接受该次请求,不能靠重试保存漏洞或读取源码解决。

连续 3 轮规划因模型或 API 故障结束后,任务以 planner_model_unavailable 停止,并明确可恢复。连续计数依据持久化结果,进程重启不重新赠送一轮无限重试;正常结果会打断连续失败。

用户暂停、工具契约错误不混算为供应商故障。任务停止时保留已有材料与可恢复工作,服务恢复后由操作员决定继续,避免修复部署顺手把所有旧任务重新启动。

0x04 局部更新不再要求重传整份账本

数千文件的覆盖账本,只改一条记录也要求模型重写全量,既昂贵又容易遗漏。旧接口对未提供文件补 pending,整份替换还会抹掉原语义单元和证据。

新增 ledger_patch 和文件方式的增量提交,按文件路径、证据 ID、语义维度合并,未修改内容保留。宿主掌握完整源码分母,遗漏文件仍如实保持待审,不要求模型手写数千个占位条目。

漏洞材料对应增加 case_patch:嵌套对象递归合并,未提供字段保留;数组只有显式提供才整组替换。操作员和模型都需要理解这一点,提交一个元素的数组,不等于自动追加。

CAS、归属、源码绑定、引用检查继续执行。整份替换如果撤销已有分类或移除材料,需要说明 replace_reason,不能静默把旧证据清掉。

0x05 写了报告文件,为什么门禁仍不通过

因为平台需要的是“这份报告对应当前哪一版证据”。本地写 final-report.md,或者推进审计记录 revision,并不会自动更新漏洞报告的 report_evidence_version。

证据新增、PoC 变化或独立复核更新后,报告需要重新生成并绑定当前证据版本。修复后的缺口提示应把实际证据版本和报告版本写清楚,让模型知道要更新哪份交付物。

同理,文件总数归零待审,也不代表语义覆盖已经闭合。接口、权限、边界和生命周期仍需自己的证据。

0x06 本轮验收没有替真实长程复测背书

针对性回归记录为 102 项通过、0 失败;Windows 未执行的两项符号链接检查在 Linux 补测。测试使用真实 SDK、隔离数据库与模拟 Provider,覆盖预算、错误保护、补丁合并和报告检查。

真实模型探针仍返回 503,因此没有进行修复后四个真实任务的完整长程对照。已有数据库备份也只做了格式和摘要检查,没有完成全量恢复演练。

上一篇:Planner 无实际动作 · 下一篇:Mantis 借鉴

http://www.pa55w0rd.online/codescan-14/