案例分析二:Data Analysis Agent 成功率一样,为什么 Tool Error Rate 能暴露巨大差异?

同样的任务成功率,可能来自两条完全不同的执行路径:一条调用顺畅,另一条反复报错、修正参数后才跑通。这个案例特别适合把过程指标的意义讲透。

把两条执行路径对照来看:Agent A 调用相对顺畅,Agent B 则可能反复遭遇参数错误,通过重试与修正才达到同样的任务完成率。两者的成功率相同,不代表执行过程同样稳定。

本节案例中 Agent A 与 B 都是 85% 成功率,但 Tool Error Rate 分别为 3% 和 18%。因此还要结合重试次数、调用量、延迟与费用,才能解释“成功是怎么得到的”。

场景背景

Success Rate 都是 85%

看起来一样。

但:

Agent A
Tool Error Rate = 3%

Agent B
Tool Error Rate = 18%

为什么最终成功率还一样?

因为 B 的 Error Recovery 很强。

它不断:

SQL 参数错误
→ Retry
→ 再改 SQL
→ 再 Retry

最后很多任务仍然成功。

代价

B:

Retry Rate 高
Tool Calls 多
Latency 高
Cost 高

所以虽然最终 Success 一样。

过程明显更不稳定。

优化方向

应该修:

Tool Schema
参数生成
Query Plan

而不是继续加强 Retry。

复盘

这说明,Success Rate 只看结果,过程指标能告诉你系统是不是“勉强救回来”。

常见误区

误解: Agent Evaluation 就是看最终回答是否正确。
正解: 对 Agent 来说,最终回答只是结果层。一个任务可能答案看起来正确,但过程违反 AGENTS.md、修改 tests/、调用危险 Tool 或消耗极高成本。真正 Evaluation 应同时看任务成功、过程合规、Tool 稳定性、重试、步骤、Token、延迟和成本,才能评价整个 Agent Harness。

误解: Task Success Rate 最高的版本一定最好。
正解: 如果成功率只提升 2%,但 Token、延迟和成本翻三倍,是否值得取决于业务场景。高价值复杂任务可能值得,高频低价值任务可能不值得。Agent 评价本质是多目标优化,不存在脱离业务目标的唯一“最好版本”。

误解: Benchmark 任务越多越好,不需要特别设计。
正解: 大量重复简单任务并不会提高评测质量。更重要的是覆盖不同难度、不同 Tool、不同约束、不同失败模式和高风险场景。Benchmark 的代表性、区分度和可重复性比单纯数量更重要。一个设计良好的 50 题 Benchmark 可能比随便凑的 500 题更有价值。

误解: 同一个任务跑一次就可以评价 Agent。
正解: LLM 存在随机性,同一任务可能多次运行结果不同。若只跑一次,很容易把偶然成功或偶然失败当成系统能力。更可靠做法是每个 Task 重复运行多次,统计平均成功率、方差、Steps、Token 和失败分布,才能看出稳定性。

误解: Tool Error Rate 高没关系,只要最后能 Retry 成功。
正解: 高 Tool Error Rate 会增加 Tool Calls、Token、Latency 和成本,也说明 Schema、参数生成或环境适配存在问题。Retry 是恢复能力,不应该成为掩盖基础质量问题的手段。一个真正稳定的 Agent 应该尽量减少错误发生,而不是依赖大量重试救回来。

误解: 最后做一个综合分数就够了,所有指标都可以加权成 Agent Score。
正解: 过早压成单一总分容易掩盖安全、成本或稳定性问题。例如高成功率可能抵消高风险行为,最后总分看起来仍然不错。早期更推荐保留多指标面板,明确看到 Success、Steps、Tokens、Tool Error、Retry、Latency、Cost 各自变化,再根据业务目标做决策。

© 版权声明
THE END
喜欢就支持一下吧
点赞14 分享
评论 抢沙发
头像-大赛人网
欢迎您留下宝贵的见解!
提交
头像-大赛人网

昵称

取消
昵称

    请登录后查看评论内容