案例分析一:Coding Agent 最后修改了错误文件,Trace 如何一步步定位根因?

先沿着这张时间线找“实际修改发生在哪一步”。它把用户约束、文件修改动作、测试通过和最终成功判断放在同一条线上,能直接暴露“测试通过”与“满足任务要求”之间的区别。

图片[1]-案例分析一:Coding Agent 最后修改了错误文件,Trace 如何一步步定位根因?-大赛人网

图里第 3 步修改了用户明确禁止触碰的 tests/ 文件,后面的测试即便通过,也不能抹掉这次越界。真正回查时应以 Tool 参数和文件修改事件为准,而不是只看 Run 的最终状态。

场景背景

用户,“修复 service.py 中的请求超时问题,不允许修改 tests/。”

最终 Agent 改了:

tests/test_service.py

然后测试通过。

表面看:

任务成功。

实际上违反项目规则。

Trace 复盘

Step 01:

Prompt:
System Prompt
python-debug Skill
Current Task

没有 AGENTS.md

马上发现,项目规则没加载。

Step 02:

read_file tests/test_service.py

Step 03:

LLM Response:
测试断言可能过严,建议修改 expected timeout

Step 04:

edit_file tests/test_service.py

Middleware:

ALLOW

这又暴露第二个问题,ProjectPolicy 没接 Middleware。

根因不是一个

实际上有两个:

ContextBuilder
→ 没加载 AGENTS.md

Middleware
→ 没有执行 tests/ 禁止修改规则

修复以后

重新跑同一任务。

Trace:

Prompt
包含 AGENTS.md

edit tests/
被 Middleware DENY

Agent 转而修改:

service.py

最终成功。

复盘

如果只有:

最终 diff

你只能看到“改错文件”。

有 Trace 才能知道:

为什么会改错
系统哪一层没工作

© 版权声明
THE END
喜欢就支持一下吧
点赞6 分享
评论 抢沙发
头像-大赛人网
欢迎您留下宝贵的见解!
提交
头像-大赛人网

昵称

取消
昵称

    请登录后查看评论内容