案例分析一:Coding Agent v2 成功率更高,但为什么不一定值得上线?

场景背景

v1:

Success 84%
Avg Steps 8
Avg Tokens 30K
Cost 0.09
Latency 28s

v2:

Success 88%
Avg Steps 19
Avg Tokens 95K
Cost 0.27
Latency 77s

提升:

成功率 +4%

但成本:

3 倍

延迟:

近 3 倍

Trace 进一步分析

v2 加入:

Planner
SubAgent
更多 Skills
更频繁 Reminder

很多简单任务也走完整复杂流程。

改进

不是把这些能力删掉。

而是:

简单任务
→ v1 路径

复杂任务
→ v2 路径

这就是:

Routing / Conditional Capability

复盘

Evaluation 不是为了选:

一个永远最好的 Agent。

而是帮你找到,什么任务用什么配置最好。

© 版权声明
THE END
喜欢就支持一下吧
点赞15 分享
评论 抢沙发
头像-大赛人网
欢迎您留下宝贵的见解!
提交
头像-大赛人网

昵称

取消
昵称

    请登录后查看评论内容