题目 1:为什么 Agent Evaluation 不能只看“感觉回答不错”?
请从可重复性、过程行为、成本和安全四个方面解释。
“感觉不错”缺乏稳定标准,不同人判断会不同,也无法重复比较两个版本。Agent 还会多步执行 Tool,因此即使最终答案正确,过程中也可能出现越权修改、危险动作或大量重试。同时不同版本可能成本和延迟差异巨大。真正 Evaluation 需要固定任务集、明确成功标准和结构化过程指标,才能客观比较。
题目 2:Task Success Rate 应该如何定义?
请用 Coding Agent 的“修复 Bug、不能修改 tests/、pytest 必须通过”案例说明为什么成功标准必须包含约束。
Task Success Rate 等于成功任务数除以总任务数,但关键在于“成功”必须预先定义。Coding Agent 的任务若要求修复 Bug、禁止修改 tests/、最终 pytest -q 通过,那么只有这些条件都满足才能算完整成功。如果 Agent 通过修改 tests/ 让测试变绿,虽然表面结果成功,却违反任务约束,不能计为 FULL_SUCCESS。
题目 3:编程实现——定义一个 EvaluationResult 并计算 Success Rate
要求至少包含 task_id 和 success。
from dataclasses import dataclass
@dataclass
class EvaluationResult:
task_id: str
success: bool
def success_rate(
results: list[
EvaluationResult
],
) -> float:
if not results:
return 0.0
success_count = sum(
1
for item in results
if item.success
)
return (
success_count
/ len(results)
)
if __name__ == "__main__":
results = [
EvaluationResult(
"task_1",
True,
),
EvaluationResult(
"task_2",
False,
),
EvaluationResult(
"task_3",
True,
),
]
print(
success_rate(
results
)
)
#真实 Evaluation 还应继续记录 Steps、Token、Tool Errors、Retries、Latency 和 Cost。
题目 4:为什么平均 Step、平均 Token、Tool Error Rate、Retry Rate 要和 Success Rate 一起看?
请说明这些过程指标分别能暴露什么问题。
Success Rate 只能说明任务最终是否完成;平均 Step 高可能说明循环过长,平均 Token 高可能说明 Context 膨胀或能力加载过多,Tool Error Rate 高可能说明参数生成或 Tool Schema 有问题,Retry Rate 高则说明系统频繁依赖恢复机制。组合这些指标,才能区分一个 Agent 是“稳定高效地成功”还是“反复失败后勉强成功”。
题目 5:为什么 Benchmark Tasks 必须固定,并且最好每个任务重复运行多次?
请从版本可比性和模型随机性两个方面说明。
如果不同 Agent 版本使用不同任务集,成功率、Token 和成本就无法直接比较;固定 Benchmark Dataset 才能保证版本间对照公平。另一方面,LLM 同一任务多次运行可能出现不同路径和结果,因此每个 Task 重复运行 3~5 次更能反映平均能力和稳定性,避免把一次偶然成功当成系统真实水平。
题目 6:为什么 Cost per Successful Run 有时比 Average Cost per Run 更有意义?
请给出一个简单例子。
假设 Agent A 每次成本 0.10,成功率 50%;跑 10 次总成本 1.0,只成功 5 次,平均每个成功任务成本约 0.20。Agent B 每次成本 0.14,成功率 90%;10 次总成本 1.4,成功 9 次,每个成功任务成本约 0.156。虽然 B 单次更贵,但完成一个有效任务反而更划算,因此 Cost per Successful Run 能更真实反映业务效率。
题目 7:如何建立一个属于自己的 Agent Benchmark?
请给出从任务设计、成功标准、批量运行、Trace 聚合到版本比较的完整流程。
先收集代表真实业务的任务,并按基础、中等、复杂和失败场景分层;为每个任务定义输入、约束、成功标准、超时等;使用同一 Benchmark Dataset 对不同 Agent 版本重复运行多次;每次 Run 保存 Trace,并聚合 Success、Steps、Tokens、Tool Error、Retry、Latency、Cost;最后比较版本差异和失败类型,而不是只看单一总分。
进一步阅读
如果你想对照业界实践继续往下挖,可以优先看 LangSmith Evaluation Concepts 中的离线/线上评测、Code/LLM/Human/Pairwise Evaluator,再看 Repetitions 和 Pairwise Evaluation 里的重复实验与顺序偏差处理。Anthropic 的 Agent Evals 实践 也值得对照,重点看如何根据 Agent 任务特性组合多种 Grader。这些链接用来扩展方法,不影响本节离线代码运行。
- Benchmark Design:如何让评测任务具有代表性和区分度。
- Success Criteria:复杂任务如何定义可验证完成条件。
- Repeated Trials:随机系统为什么需要多次重复实验。
- LLM-as-Judge:开放式任务如何用模型辅助评分,以及如何避免 Judge 偏差。
- Human Evaluation:什么时候人工标注仍然不可替代。
- Failure Taxonomy:把失败拆成 Tool、Context、Reasoning、Policy、Orchestration 等类型。
- Cost-aware Evaluation:把成功率与成本放在一起比较。
- Regression Benchmark:每次改 Prompt、Skill、Model 后都跑固定回归集。
术语表
- Agent Evaluation:通过固定任务、明确成功标准和结构化指标,对 Agent 的质量、效率、稳定性和成本进行系统评价。
- Agent Benchmark:一组固定、可重复运行的测试任务及其成功标准,用于比较不同 Agent 版本、模型、Prompt 或策略。
- Task Success Rate:成功完成任务的 Run 数占全部评测 Run 的比例,是最基础的结果指标。
- Tool Error Rate:失败 Tool Calls 占全部 Tool Calls 的比例,用于衡量工具调用稳定性与参数生成质量。
- Retry Rate:重试次数与 Tool Calls 或 Runs 的比例,用于观察 Agent 对 Error Recovery 的依赖程度。
- Cost per Successful Run:总成本除以成功任务数,用于衡量真正产出一个有效结果需要花费多少资源。
- Repeated Trial:对同一个 Benchmark Task 多次运行,以减少模型随机性对评测结论的影响。
- Failure Taxonomy:将 Agent 失败按 Context、LLM、Tool、Policy、State、SubAgent 等类别归因的体系。
- Trial:某个 Agent 版本在固定初始状态下对一个 Task 的一次完整尝试。一个 Task 可以包含多个 Trial。
- Grader:根据预先定义的标准判断产物或轨迹的评分器,可以是确定性代码、LLM Judge 或人工标注。
- Pairwise Evaluation:在同一 Task 上比较两个版本的输出或轨迹,并尽量通过盲测与随机顺序减少位置偏差。
- Holdout:不直接用于日常 Prompt 调整的留存任务集,用来检查发布版本是否真正泛化。
本章总结
这一节,我们终于正式回答,Agent 到底好不好,怎么评价?
答案不是:
“感觉挺聪明。”
也不是:
“这次跑通了。”
真正的 Agent Evaluation,需要:
固定任务
明确标准
重复运行
结构化指标
版本对比
第一步一定是,先定义什么叫成功。
因为如果 Success Criteria 不明确:
Task Success Rate
就没有意义。
Coding Agent 的成功可能需要:
Bug 修复
测试通过
不改 tests/
不新增依赖
不违反项目规则
Data Analysis Agent 的成功可能需要:
结论正确
证据充分
Tool Result 一致
不把相关性当因果
第二步,我们建立核心指标:
Task Success Rate
平均 Step
平均 Token
Tool Error Rate
Retry Rate
Latency
Cost
这些指标分别回答不同问题。
可以直接记住:
Success
→ 能不能做成
Steps / Token
→ 做得是否高效
Tool Error / Retry
→ 过程是否稳定
Latency
→ 用户要等多久
Cost
→ 每个任务到底花多少钱
第三步,我们建立,Agent Benchmark。
一个 Benchmark Task 不应该只是一句话。
而应该包含:
task_id
input
constraints
success_criteria
timeout
并且任务集要:
固定
有区分度
覆盖不同难度
覆盖失败场景
同一个 Task 最好:
重复运行多次
因为 LLM 有随机性。
第四步,我们实现了:
EvaluationResult
EvaluationSummary
EvaluationAggregator
把:
Run
Trace
Metrics
真正汇总成一份 Evaluation Report。
第五步,我们特别强调,不要只看单一指标。
例如:
Success Rate 高
不代表:
成本低
过程稳定
行为安全
一个版本可能:
成功率高 3%
Token 高 200%
Latency 高 150%
Tool Error 也更高
是否值得,要看业务。
所以 Agent Evaluation 本质上是,多目标权衡。
第六步,我们还引入一个非常实用指标:
Cost per Successful Run
因为平均每次 Run 便宜,不代表真正完成一个成功任务就便宜。
如果失败率很高:
便宜的失败
也没有价值。
到这里,我们已经真正拥有一条完整 AgentOps 数据链:
Run
↓
Trace
↓
Metrics
↓
Evaluation
↓
Benchmark
这意味着以后每次改:
Prompt
Model
Skill
Planner
SubAgent
Tool Schema
Reminder
Middleware
都不应该再靠,“我试了一下,感觉更好了。”
而是:
在同一 Benchmark 上跑
↓
看 Success
看 Steps
看 Token
看 Tool Error
看 Retry
看 Latency
看 Cost
↓
再决定要不要上线
这才是真正工程化的 Agent 迭代方式。
下一节,我们会继续顺着 Evaluation 往前一步。
有了 Benchmark,我们知道:
哪里失败得多。
但还要继续回答,为什么 Agent 明明很聪明,却还是把任务做坏了?
下一节就是,失败案例复盘:为什么 Agent 明明聪明却把任务做坏了?
我们会系统拆:
Tool 选错
参数错
Context 丢失
Recovery 失败
死循环
幻觉
过早结束
过度调用 Tool
并用 Trace 真正定位失败根因。

















请登录后查看评论内容