同样的任务成功率,可能来自两条完全不同的执行路径:一条调用顺畅,另一条反复报错、修正参数后才跑通。这个案例特别适合把过程指标的意义讲透。
把两条执行路径对照来看:Agent A 调用相对顺畅,Agent B 则可能反复遭遇参数错误,通过重试与修正才达到同样的任务完成率。两者的成功率相同,不代表执行过程同样稳定。
本节案例中 Agent A 与 B 都是 85% 成功率,但 Tool Error Rate 分别为 3% 和 18%。因此还要结合重试次数、调用量、延迟与费用,才能解释“成功是怎么得到的”。
场景背景
Success Rate 都是 85%
看起来一样。
但:
Agent A
Tool Error Rate = 3%
Agent B
Tool Error Rate = 18%
为什么最终成功率还一样?
因为 B 的 Error Recovery 很强。
它不断:
SQL 参数错误
→ Retry
→ 再改 SQL
→ 再 Retry
最后很多任务仍然成功。
代价
B:
Retry Rate 高
Tool Calls 多
Latency 高
Cost 高
所以虽然最终 Success 一样。
过程明显更不稳定。
优化方向
应该修:
Tool Schema
参数生成
Query Plan
而不是继续加强 Retry。
复盘
这说明,Success Rate 只看结果,过程指标能告诉你系统是不是“勉强救回来”。
常见误区
误解: Agent Evaluation 就是看最终回答是否正确。
正解: 对 Agent 来说,最终回答只是结果层。一个任务可能答案看起来正确,但过程违反 AGENTS.md、修改 tests/、调用危险 Tool 或消耗极高成本。真正 Evaluation 应同时看任务成功、过程合规、Tool 稳定性、重试、步骤、Token、延迟和成本,才能评价整个 Agent Harness。
误解: Task Success Rate 最高的版本一定最好。
正解: 如果成功率只提升 2%,但 Token、延迟和成本翻三倍,是否值得取决于业务场景。高价值复杂任务可能值得,高频低价值任务可能不值得。Agent 评价本质是多目标优化,不存在脱离业务目标的唯一“最好版本”。
误解: Benchmark 任务越多越好,不需要特别设计。
正解: 大量重复简单任务并不会提高评测质量。更重要的是覆盖不同难度、不同 Tool、不同约束、不同失败模式和高风险场景。Benchmark 的代表性、区分度和可重复性比单纯数量更重要。一个设计良好的 50 题 Benchmark 可能比随便凑的 500 题更有价值。
误解: 同一个任务跑一次就可以评价 Agent。
正解: LLM 存在随机性,同一任务可能多次运行结果不同。若只跑一次,很容易把偶然成功或偶然失败当成系统能力。更可靠做法是每个 Task 重复运行多次,统计平均成功率、方差、Steps、Token 和失败分布,才能看出稳定性。
误解: Tool Error Rate 高没关系,只要最后能 Retry 成功。
正解: 高 Tool Error Rate 会增加 Tool Calls、Token、Latency 和成本,也说明 Schema、参数生成或环境适配存在问题。Retry 是恢复能力,不应该成为掩盖基础质量问题的手段。一个真正稳定的 Agent 应该尽量减少错误发生,而不是依赖大量重试救回来。
误解: 最后做一个综合分数就够了,所有指标都可以加权成 Agent Score。
正解: 过早压成单一总分容易掩盖安全、成本或稳定性问题。例如高成功率可能抵消高风险行为,最后总分看起来仍然不错。早期更推荐保留多指标面板,明确看到 Success、Steps、Tokens、Tool Error、Retry、Latency、Cost 各自变化,再根据业务目标做决策。

















请登录后查看评论内容