案例分析一:Coding Agent 为什么连续 18 次 read → edit → pytest,却一直修不好?

接下来我们把抽象规则落到具体场景里。Coding Agent 最典型的失控方式,就是不断读取、修改、跑测试,看起来一直很忙,但结果没有任何实质变化。下面这张图,就是把这种“18 轮修不动同一个错误”的轨迹做成了可视化复盘。

图片[1]-案例分析一:Coding Agent 为什么连续 18 次 read → edit → pytest,却一直修不好?-大赛人网

这张图特别适合拿来训练判断力:如果失败测试数在下降,说明它还可能朝正确方向前进;但如果错误信息完全不变,那就已经不是“继续努力”了,而是“重复消耗预算”。这时更合理的处理,应该是触发 No Progress 或 Repeated Error,然后输出当前阻塞点。

场景背景

用户任务,“修复 tests/test_service.py 失败。”

Agent 第 1~6 步:

read src/service.py
edit src/service.py
pytest
read tests/test_service.py
edit src/service.py
pytest

错误仍然:

AssertionError: expected 200, got 500

第 7~12 步:

read config.py
edit service.py
pytest
search DATABASE_URL
read service.py
pytest

错误仍然相同。

第 13~18 步:

read app.py
edit service.py
pytest
read service.py
edit service.py
pytest

仍然:

expected 200, got 500

如果没有资源边界

模型可能继续:

也许是 middleware
也许是 serializer
也许是 env

任务没有自然停止。

加入 RunGuard

预算:

MAX_STEPS = 20
MAX_TOOL_CALLS = 30
TIMEOUT = 300s
MAX_TOKEN = 150K

再加入:

same_error >= 3

第 10 步时已经连续三次:

expected 200, got 500

系统注入提醒:

同一错误已重复出现,
必须改变策略。

第 14 步仍然没有新事实。

系统决定:

Run → BUDGET_EXCEEDED

错误:

NO_PROGRESS

最终返回什么?

不是:

“我失败了。”

而是:

已完成:
- 已检查 service.py / config.py / app.py
- 已执行 pytest 4 次

持续阻塞:
- tests/test_service.py 仍返回 500
- 同一 AssertionError 连续出现

停止原因:
- 达到无进展阈值

建议:
- 检查运行环境依赖或请求上下文
- 如允许,可扩大 Workspace 权限后继续

复盘

真正成熟的 Agent,失败也要失败得清楚。

不是一直做下去。

© 版权声明
THE END
喜欢就支持一下吧
点赞13 分享
评论 抢沙发
头像-大赛人网
欢迎您留下宝贵的见解!
提交
头像-大赛人网

昵称

取消
昵称

    请登录后查看评论内容