系列目录 · 第 15 篇
Google Mantis 有参考价值,但直接搬进另一套智能体框架,并不能自动修复本项目的长程任务问题。这一轮选择借鉴机制:工作批次绑定、累计预算、源码导航和分层评测,继续使用现有 Go 架构。
研究基于固定提交 b51f9ced3590d0a640134374772f7eb8e06e976f。本文记录的是该轮候选状态,不代表 Mantis 当前最新版本,也不代表本轮改造已经部署。
0x01 一个批次到底审的是哪份代码
之前保存了断点,但如果源码、模型、意图或工具配置变化,直接复用旧会话可能把两个上下文混在一起。
新增宿主批次记录,将源码清单、威胁模型材料、意图和配置摘要绑定,并记录尝试次数、状态和写回计数。绑定一致才能续跑;绑定变化则隔离旧对话和断点,旧证据保留。
执行结束还要检查源码与配置是否改变,不能只在启动时检查一次。批次 finished 只说明这次执行结束,不自动代表对应接口、文件或语义已经审完。
这部分借鉴了 Mantis 的预算与批次设计,实现没有引入其 ADK 或 Python 工作流。
0x02 预算不能重启一次就重新计算
单轮限制可以防空转,但任务反复重启仍可能持续消耗。于是增加可选的任务级请求数和 token 总额度,规划、审计、对话与压缩共用持久化账本。
并发调用先在 PostgreSQL 中原子预占,再进入 Provider。旧任务默认保持原策略;需要启用时,在暂停且没有在途调用的状态下显式设置,并进行版本比较。
这里有几个需要说明的口径:
- 外层重新调用会增加请求数;SDK 内部重试仍包含在一次 Provider 调用中。
- token 预占依据请求字节量与最大输出预算估计,不是精确 tokenizer。
- 完整用量返回后,按输入与输出结算,不把输入中的缓存读取再重复相加。
- 用量缺失时保守保留预占,不把失败请求当作零成本退款。
因此它是任务准入和止损机制,不是账单系统,也不能承诺预估值永远等于实际 token。预算耗尽使用独立原因,不伪装成模型服务错误。
0x03 导航工具先承认自己的能力范围
navigate_source 每次最多 32 个文件、单文件 2 MiB、每页最多 100 项,只读,不执行目标、不安装依赖。
Go 使用原生 AST 定位函数声明、边界和语法调用位置;其他支持的语言先返回文本候选,明确提示注释、字符串、动态调用和未解析关系造成的误差。
这不是已经完成的跨语言语义调用图。借鉴结构索引的价值,在于让模型更快定位、让工具说明缺口,而不是给所有文本命中贴上“可达调用链”的标签。
0x04 先建立能失败的效果基线
新增六个缩小样例,组成三组正负对照:Python 文件路径、Go SQL、TypeScript 跨文件租户授权。答案放在上传源码之外,审计执行与评分分开。
独立复核者依据结果标为 vulnerable、safe 或 unknown。这里的 safe 仅表示指定不变式被保护,不代表整个样例或项目没有其他风险。
评分器统计精确率、召回率、负例误报率、未知比例,以及有效发现的 token 和耗时。未审正例不能当成正确发现;未知负例不能当成正确排除。没有阳性预测时精确率为未知,不写成 100%。
公开样例只是回归起点,不能用计分器自检代替真实模型效果评测,也不能排除答案泄漏和训练污染。Mantis 的分层评测说明提供了区分工程检查与端到端效果的参考。
0x05 哪些内容没有直接照搬
补丁技能中的独立复现、阴性对照和再攻击值得继续做,但写在技能里的要求,不自动成为宿主能验证的硬约束。
当时固定版本的 GitHub Action 文档也保留真实项目端到端验证限制,因此本项目没有据此新增自动合并阻断、自动修复或生产利用流程。
0x06 候选版验收与未完成项
该轮完成七个 Go 包编译、两项导航测试、七项 Python 计分器测试、前端类型检查、33 页静态导出和 Linux 候选构建。旧静态资源摘要和新页面引用也做了核对。
最终 PostgreSQL 并发预算、部分用量处理和归档恢复集成回归尚未补齐;没有进行真实模型效果评测、浏览器交互或漏洞复现。
