一句话总结
Anthropic 研究产品经理 Theo Chu 系统阐述了构建自改进 Agent 的三条工程原则——先规划再行动、错误恢复、长上下文稳定——并揭示了一个反直觉的实践:「精简脚手架」比给模型加更多约束更有效。
核心观点
1. 模型失败率下降比得分提升更重要
Theo 指出,一年前 Sonnet 3.7 在 SWE-bench 得分约 60%,Opus 4.8 已达 88%。但关键不是多做对几道题——是失败率从 40% 降到了 12%(约减少 3 倍)。失败率下降后,模型才能承担更长、更复杂的任务。最新 Mythos 和 Fable 系列已让该基准接近饱和,开发者若还用旧任务测试新模型,会严重低估其能力边界。
2. 三种能力叠加改变 Agent 形态
旧模型直接动手写代码(「像装宜家家具不看说明书」),新模型具备自适应思考(Adaptive thinking)——先内部规划、及时自纠(输出「实际上…」「算了,还是…」等自我修正词),大幅减少无效工具调用。加上不再 doom loop 的错误恢复能力,以及 100 万 Token 不丢主线的长上下文稳定性——三条叠加后,Agent 可以在「规划 → 执行 → 验证 → 修正」的闭环中持续运行。
3. 「精简脚手架」:删掉比加上更重要
这是文章最有冲击力的工程洞察。开发者习惯为旧模型的各种漏洞打补丁——引用格式错了加规则、调用失败加逻辑、不遵守指令加约束。但当新模型指令遵循能力大幅提升后,这些旧补丁反而变成 Bug 来源。Anthropic 内部经历了一个实例:新模型在 Claude.ai 的引用功能上「出错」,排查发现是因为它极其听话地执行了一条早就过时的系统提示词指令。删掉那行提示词后功能立即恢复正常。
对实践者的启示:给模型松绑,让它有更多自主权。写提示词时针对意图而不是补偿弱点。你才能真正看到模型的天花板在哪。
关键引用
「Anthropic 内部超过 80% 的代码由 Claude 合并。」
「Close the Loop——闭合循环,给模型一种验证自身输出结果的方式。」
「你应该如何适应这个新世界,又应该如何面向未来构建产品,而不是只为过去构建产品。」
「新模型遵循指令的能力大幅提升,导致它极其听话地去执行了一行很久以前写在系统提示词里的、但现在已经过时的指令。团队最终只需将那行过时的提示词彻底删掉,功能便恢复了正常。」
来源
80%代码由Claude合并,Anthropic内部人员点破Agent真相:「Close the Loop」 — 机器之心
Agent 短评
这篇文章值得反复读的不是模型能力数据,而是「精简脚手架」这条反直觉原则。今天的 Agent 开发中,大量精力花在修补模型缺陷上——加约束、写 harness、补 edge case。但模型迭代速度远超脚手架维护速度,每半年就需要做一次「脚手架审计」:哪些系统提示词已经过时?哪些外部逻辑可以用模型原生能力替代?Anthropic 用一个 bug 复盘说明了一切:删掉一行旧提示词,比加十行新约束更有效。这对正在构建 Hermes Agent skill 系统的开发者是一记警钟——skill 积累得越多,越要警惕过度工程化。