场景背景
Agent 认为问题在:
service.py
修改以后:
pytest -q
仍然失败。
新的错误:
TypeError
已经不同。
错误做法
模型说:
继续修改 service.py。
然后反复改。
正确做法
Agent 应该识别:
Error Signature 已变化。
这意味着,前一个问题可能解决了,但出现了新的下游问题。
然后:
更新 Working Memory
current_error = TypeError
再读取:
新的 traceback
定位新文件。
为什么 Trace 特别重要?
后面如果失败:
可以看到错误是从 ImportError
变成 TypeError
说明 Agent 确实有进展。
而不是简单:
“测试一直失败。”
Completion
只有:
所有要求测试通过
才结束。
这让 Agent 不会因为:
错误变化
就误判成功。
常见误区
误解: Coding Agent 的核心就是让 LLM 生成 Patch。
正解: Patch 只是其中一步。真正 Coding Agent 还必须扫描项目、读取项目规则、复现错误、选择 Tool、修改文件、重新测试、错误恢复、判断完成条件并输出可审计报告。没有 Main Loop 和 Observation 驱动,系统更接近一次性代码生成,而不是 Agent。
误解: 给 Agent 一个万能 Shell 最方便,其他 Tool 都没必要。
正解: 万能 Shell 虽然灵活,但权限太大,也难以做参数校验和 Trace。read_file、edit_file、search_files、run_pytest 等窄 Tool 更容易限制 Workspace、保护 tests/、记录 Arguments 和构造结构化 Observation。Shell 应作为受控能力,而不是所有操作的唯一入口。
误解: 测试通过就说明任务一定成功。
正解: 如果 Agent 通过修改 tests/、删除断言或新增不允许的依赖让测试通过,依然违反任务。真正 Completion Criteria 必须同时检查结果、项目规则和用户约束。Coding Agent 的成功不是“绿色测试”一个条件,而是“正确修复 + 正确验证 + 过程合规”。
误解: AGENTS.md 只需要作为 Prompt 给模型看,不需要和执行层联系。
正解: Prompt 是软约束。像“禁止修改 tests/”这种关键项目规则,最好进一步解析成 ProjectPolicy,让 Middleware 在 edit_file 真正执行前做确定性拦截。这样即使模型仍然生成错误动作,副作用也不会发生。
误解: Agent 修改一次以后测试还失败,说明修改完全错误。
正解: 测试失败类型可能变化。ImportError 变成 TypeError,通常说明前一层问题已经被解决。Agent 应比较 Error Signature,更新 Working Memory,再根据新 Observation 调整策略。错误恢复不是简单“失败就撤销”,而是判断状态是否发生实质进展。
误解: 最终用户只关心修没修好,所以 Trace、Memory、Run 都可以省。
正解: 一旦 Coding Agent 进入真实项目,就需要知道它改了什么、为什么改、测试是否真的执行、是否违反规则、失败从哪一步开始。Trace 和 Run 是可审计基础,Working Memory 是长任务稳定执行基础。没有这些能力,Demo 可以跑,但系统很难长期维护。

















请登录后查看评论内容