
Claude Code 团队如何验证:从测试选择到可信证据
从端到端、性质与差分测试三类证据出发,拆解 Claude Code 团队如何隔离验证门、评测审查器,并把真实事故转化为可维护规则。
在 Claude Code 团队里,大约 90% 的代码由 Claude 编写和审查。这个数字看起来是在说明生成质量,但它更重要的后果发生在组织层面:当智能体以这样的规模产出变更时,团队不可能继续逐行阅读每一个补丁,否则人就会成为系统瓶颈。团队真正需要建立的,是一套能够持续产出证据的机制。
这也是 Addy Osmani 对 Claude Code 团队验证方法的论述核心。测试不是智能体宣称完成之后才补上的复选框,而是让工作能够被委托出去的前提。没有反馈回路时,一名开发者也许只能监督一两个智能体,因为每个结果最终仍要手工检查;有了可信的验证回路,几十甚至上百个智能体可以并行工作,而失败会沿着一条明确路径回到智能体或人手中。
验证不只是质量活动。它是一套控制系统,决定一项工作可以在多大程度上安全离开人的即时注意力。
这篇文章有价值的地方,在于它没有把“人工智能测试”当成一种笼统活动。它区分了面向用户流程的端到端测试、性质测试和差分测试,解释了 Claude Code 团队采用的运行规则,也说明了团队如何评测自己的验证器。与此同时,它留下了一个无法回避的问题:如果智能体既生成实现又生成检查,怎样避免它们对同一个错误达成一致?
验证能力决定委托规模
这套方法的经济学基础来自一条古老的软件原则:生成结果只完成了一半工作,确认结果正确才是另一半。编程智能体让这两半都变便宜了,但便宜的程度并不相同。它们可以快速写代码,也可以快速写测试、规格、测试夹具和基准脚本。后一类产物一旦以软件形式存在,就能反复运行,不必在每次判断时重新调用模型。
Anthropic 报告了一个结构化文件生成任务的内部结果:与普通提示循环相比,用一个独立的评分器按照量规检查 Claude 的输出,可以把任务成功率最多提高 10 个百分点,而且困难任务上的收益最大。原文没有公布具体基准、样本量和分母,因此这个数字应被视为供应商给出的方向性结果,而不是已经独立复现的效果量。它仍然揭示了一条清晰的设计原则:把生产者与拥有明确标准的评分器分开,比直接问同一个智能体“你觉得做完了吗”更可靠。
回路的另一半,是把失败重新送入系统。如果一个智能体反复没有通过“日志中不得出现个人数据”的检查,团队就可以增加钩子,或者在 CLAUDE.md 中写入更严格的规则。下一次运行时,这个教训已经存在于上下文中。一次性的修正由此变成组织级控制。
测试并不等价
在选择测试类型之前,文章先指出两种会悄悄腐蚀智能体工作流的失败模式。第一种是不稳定测试:它们教会智能体在失败后重跑,而不是修复代码。这种行为表面上像坚持,实质上是在训练智能体忽略证据。第二种是过慢测试:它们促使智能体减少检查批次,使因果诊断更困难,也增加把验证拖到最后的诱惑。
对于重型检查,更有效的模式是在提交和推送之前运行,因为此时修改变更仍然便宜。下面三类测试提供的证据各不相同。
| 测试类型 | 能够证明什么 | 最适合的时机 | 主要限制 |
|---|---|---|---|
| 端到端测试 | 完整用户流程在运行中的系统里可以走通 | 合并任何面向用户的变更之前 | 比单元测试更慢,也更依赖运行环境 |
| 性质测试 | 一条通用不变量能在成千上万个生成输入下成立 | 解析器、序列化器、状态转换与重写 | 前提是性质本身真实、正确且有业务意义 |
| 差分测试 | 除已批准变化外,新系统与旧系统保持一致 | 行为必须稳定的迁移与重写 | 依赖一个本身值得信任的旧系统作为标准答案 |
端到端测试:让智能体真正使用产品
如果团队只能在一类测试上认真投入,文章建议优先选择端到端测试。它们描述真实用户旅程,例如注册、把商品加入购物车、结账,最后到达确认页面。它们的价值不只在于覆盖更多代码,更在于很难被糊弄:整个流程要么走得通,要么走不通。
单元测试仍然更快、更稳定,也更容易隔离问题。但即使所有单元测试都通过,组装后的功能仍可能损坏,因为实现与单元测试可能共享同一个不完整任务模型。端到端测试让智能体更接近在真实产品上动手和观察。验证技能可以启动应用,再通过浏览器自动化、Chrome DevTools Protocol、移动模拟器、计算机操作接口或 API 测试夹具驱动它。
功能地图能让这一过程更可靠。如果每一个用户可见能力都写明入口、路由、键盘快捷键、选择器、预期状态和完成条件,那么同一张地图既可以是导航指南,也可以是评分量规。智能体不必在事后自行发明“成功”的含义,而是拿变更加对照产品应该完成什么的描述。
性质测试:主动攻击假设
大多数示例测试只覆盖作者碰巧想到的情况。性质测试从一个更强的陈述出发,先声明某件事在任何情况下都应当成立,再使用 fast-check、Hypothesis 或 proptest 一类工具生成成千上万个尝试来打破它。这对编程智能体尤其有价值,因为生成出来的用例不是按照实现者那套假设构造的。
常见的性质包括:
- 往返:先编码再解码一个值,应恢复原值。
- 不变量:在每一个合法状态下条件都成立,例如账户余额永远不会变成负数。
- 幂等性:迁移、规范化或重试执行两次,与执行一次得到相同结果。
- 等价性:优化后的实现与简单参考实现产生相同结果。
性质测试在重写期间尤其有用。原始文字规格可能早已偏离生产行为,而新实现却仍按过时解释接受评审。一条选择得当的性质可以保留真正重要的行为,又不会把旧实现的每一个偶然细节都冻结下来。
差分测试:把旧系统当作标准答案
差分测试天然适合那些行为必须保持不变的大型迁移。同一份输入同时送入旧系统和新系统,任何差异都会成为候选缺陷,或者成为一项明确批准的行为变化。输入可以来自生产流量,也可以来自专门探索输入空间的生成器。
困难之处不是同时运行两个系统,而是让比较真正有意义。团队需要归一化无关差异,例如空白、时间戳、不具语义的排序以及环境相关字段。团队还需要一份经过审查的预期变化清单。缺少这些控制,测试要么制造海量噪声,要么把真实回归标记成“预期变化”,从而把问题藏起来。
Claude Code 团队如何运行验证层
文章后半部分讨论流程。团队最重要的原则很简单:验证意味着运行变更,而不是描述应该发生什么。iOS 变更要在模拟器中试用;后端变更要在本地启动并实际调用;网页变更要在浏览器中操作。智能体应尽可能像质量工程师一样工作,而不是只做静态审查。
团队把这种行为写成仓库级的 verify 技能,放在 .claude/skills/ 下。技能说明如何启动系统、关键流程在哪里、应该使用哪些工具,以及什么证据才算成功。它必须快速、可靠,并像其他关键测试夹具一样持续维护。智能体在提交之前会学习调用它。
由失败而非每个补丁决定人在哪里介入
任何组织都不可能读完每一个生成的变更。Claude Code 团队把失败当作路由信号。Claude 运行检查,并尝试修复失败项;如果检查连续三轮仍然失败,智能体就停下来请求人工关注。相比扫描每一个通过的补丁,这能更好地利用人的时间,因为注意力被送到产物与证据之间的具体冲突上。
代码某一部分的负责人,也负责相应的检查。他们会持续改进检查,直到它标出负责人自己也会标出的问题。当检查把人类审查者拉进来时,必须解释为什么需要这次审查。审查者不应只靠查看补丁,独自重建警报背后的来龙去脉。
可靠性检查由补丁触发
团队维护一份包含 39 个项目的可靠性检查清单。每一项都有可从补丁中检测到的触发条件、对应的检查,以及促使它加入清单的事故或拉取请求链接。一个例子与恢复会话有关:当会话存储或消息类型变化时,审查者会询问新字段能否安全加载,因为旧对话记录里不会有这个字段。
Claude 阅读补丁,只运行触发条件匹配的检查,通常在三到十项之间。系统不必要求审查者记住每一次历史故障,而是保存运维教训,并在相关时把它取出来。这比静态清单更强,因为知识可以增长,而每一次审查不必付出同样的成本。
改进一个审查器,而不是无限叠加
审查质量差时,人的直觉往往是再加一个审查器。Claude Code 团队认为,调整主审查器通常比在它之上叠加一个更昂贵、更复杂的第二审查器更有效。仓库中的 REVIEW.md 告诉审查器这个代码库关心什么:约定、高风险区域、已知故障形态、可跳过路径,以及需要怎样的证据。
多轮审查应当彼此延续。后续轮次接收前面发现和过去失败的上下文,而不是从零开始。这既减少重复分析,也帮助审查器把注意力收敛到尚未解决的问题,而不是反复重新发现同一个表面现象。
被审查的变更不能修改审查自己的规则
这是全文最强的控制之一。如果一个变更可以编辑决定它是否通过的测试、策略或审查指令,那么这道门禁就不具备独立权威。代码审查从基础分支或默认分支读取 REVIEW.md,绝不会从拉取请求内部读取。约束变更的规则必须存放在变更本身无法修改的地方。
团队还会把审查结果绑定到具体提交。如果审查运行期间又来了新提交,旧提交的结果就不再是当前代码的证据。便宜检查应先运行。如果智能体在运行本地测试之前就推送,它等于把本可自行发现的缺陷送进了共享 CI 和审查资源。钩子可以要求智能体结束时必须运行测试,目标也可以规定只有通过完整测试套件,工作才算完成。
新门禁先观察,再强制执行
Claude Code 团队会给提交打上验证状态标记,其中包含一个有意保留的 none 值,使未经验证的提交仍然可以被查询。他们还建立了提交门禁,在会话没有验证时阻止推送或提交。门禁有三种模式:关闭、观察和执行。
- 观察:记录原本会被阻止的操作,在影响开发者之前检查误报。
- 执行:阻止操作,除非提交解释了为什么无法验证。
- 逃生通道:同一会话中两次被阻止后,允许下一次尝试通过,避免不完美的智能体永久卡死。
分阶段上线很重要。验证门禁本身也是软件,它的误报也会产生成本。观察模式先为策略调整积累证据,然后再让策略开始打断实际工作。
不只要评测代码,还要评测验证器
验证一旦成为系统,就需要自己的质量指标。Claude Code 团队跟踪已合并变更有多少被回滚、有多少在合并前被维护者拒绝,并建立规模匹配的干净变更对照组。这样可以避免团队一边庆祝评论更少、审查更快,一边忽略底层缺陷率正在上升。
Anthropic 的代码审查团队还根据历史事故和回滚建立了一套正式评测。对每个案例,他们会把仓库重建到最初发生审查时的状态,再用一句话的标准答案指出缺陷。只有正确描述该缺陷的发现才能得分。稳定合并的变更作为对照组,使团队能够识别一个靠“什么都报警”来提高召回率的审查器。
评测把过程拆成三个阶段:
- 原始搜索是否产生了相关发现。
- 验证阶段是否保留了真实发现。
- 最终审查是否把它呈现给用户。
只报告一个端到端总分,会掩盖损失发生在哪一阶段。一个审查器可能发现了缺陷,却在验证时把它丢掉,最终看起来和从未发现缺陷的审查器一样差。分阶段召回率让失败变得可诊断。
有效性不是唯一维度。技术上正确的观察也可能无关紧要。团队把发现标记为“重要”“吹毛求疵”或“原有问题”。最后一种标记很重要,因为它防止把旧缺陷说成当前作者引入的问题。团队只会把召回率优化到某个点:再往上提高,可能只是过拟合评测集,而不是在生产中抓到更多有用缺陷。
把漏报变成可维护的规则
当验证器漏掉一个真实缺陷时,团队会尝试把这次漏报转化为持久规则。一种方法从人类审查评论和拉取请求回滚中提取模式。候选规则必须至少出现在两个拉取请求中,并且能从补丁检测。随后由三个智能体尝试证伪它,再由人通过拉取请求审查并批准。
第二种方法把一个与已知事故相关的拉取请求交给三个找缺陷的智能体重放。如果至少两个智能体找到缺陷,就认为该问题可被检测。如果三个智能体都漏掉一个小补丁中的缺陷,这个缺口就可能成为 REVIEW.md 的新规则。
不稳定测试也受到同样严格的处理。Claude 不得跳过它们、加入等待时间,或者反复重试直到偶然通过。如果智能体找不到根因,就必须删除该测试并记录原因。这能防止一个误导性的红色信号永久变成背景噪声。
规则还必须定期清理。测试套件、验证步骤和 Markdown 指令文件会自然膨胀,除非有人负责缩小它们。团队会周期性删除不再值得付出运行成本的检查和规则。
一套可落地的采用顺序
文章没有规定唯一迁移方案,但它的运行模型给出了一条合理顺序,适合准备采用智能体编程的团队。
- 先让智能体能够运行产品。写一个简短的验证技能,负责启动系统、走通主要流程并返回具体证据。从一个高价值用户旅程开始。
- 再让质量状态可见。记录通过或失败、执行过的命令、相关日志、界面工作的截图,以及哪些部分仍未验证的明确说明。
- 然后在有稳定不变量的领域加入性质测试与差分检查。为解析器、序列化器、状态机、迁移和重写生成输入。
- 隔离门禁。把验证规则、测试定义和审查指令放在受保护分支上。把批准绑定到提交,并让过期的批准自动失效。
- 以观察模式上线。先衡量误拦截,再进入强制执行。为合法例外保留有记录的逃生路径。
- 用真实事故评测验证器。使用已知缺陷、回滚记录和干净对照组,分别衡量原始召回、验证后召回和最终召回。
- 持续维护系统。把重复漏报转成规则,在可能时把规则实现为代码或钩子,并删除不再值得运行时间的检查。
顺序很重要。在团队尚不能稳定产出可信证据之前加入严格门禁,主要只会制造摩擦;增加更多测试却不衡量它们能否发现真正重要的事故,主要只会制造昂贵的安全幻觉。
论证仍需更多证据
对于一篇第一方工程文章而言,原文已经相当具体,但其中若干说法仍属于供应商自报。约 90% 代码由 Claude 编写、评分器带来 10 个百分点提升、39 项可靠性清单,以及提交门禁的内部表现,都没有附带公开数据集或独立复现。这并不意味着它们为假,而是提醒团队迁移原则时,不应默认获得同样的效果量。
每一类测试也都有技术边界。端到端测试可能缓慢且不稳定,尤其是在不同浏览器、模拟器、网络条件和异步界面状态下。性质测试的上限由性质本身决定;一条薄弱或错误声明的不变量,可以生成大量无用证据。差分测试会继承旧系统的盲点,当预期行为变化没有被认真审查时,比较也会变得困难。
最重要的是,由同一模型家族构建的验证器,可能共享生产者的假设。团队通过新上下文、独立智能体、由人拥有的检查、受保护的测试文件、事故重放、抽样和明确控制来降低风险。任何单个机制都不足够,正是它们的组合让证据比智能体的自我评价更可信。
更广泛的启示是:智能体编程把工程努力从敲代码转向设计反馈。稀缺资源不再是第一版草稿,而是快速、诚实地判断草稿是否有效的能力。建立这一层的团队可以委托更多工作、审查更小范围的不确定性,并把人的注意力留给证据无法解决的决定。
结论
Claude Code 团队的方法可以压缩成四条规则:运行真实变更;让失败有路径回到智能体,并在必要时回到人;让判断系统处在变更控制范围之外;用真正重要的事故评测验证器。
这些规则解释了为什么验证不只是测试。它是把并行智能体产出转化为可审查、可回滚、可持续改进工作的基础设施。没有它,更多智能体只会产生更多需要人检查的主张;有了它,更多智能体才能产生更多可被核验的证据。
原文来源:How the Claude Code team thinks about verification,Addy Osmani,claude.dev,2026 年 11 月 16 日。
原文来源:Anthropic (claude.dev Blog)https://claude.dev/blog/how-the-claude-code-team-thinks-about-verification/
