章末自测

题目 1:为什么 Agent Evaluation 不能只看“感觉回答不错”?

请从可重复性、过程行为、成本和安全四个方面解释。

“感觉不错”缺乏稳定标准,不同人判断会不同,也无法重复比较两个版本。Agent 还会多步执行 Tool,因此即使最终答案正确,过程中也可能出现越权修改、危险动作或大量重试。同时不同版本可能成本和延迟差异巨大。真正 Evaluation 需要固定任务集、明确成功标准和结构化过程指标,才能客观比较。

题目 2:Task Success Rate 应该如何定义?

请用 Coding Agent 的“修复 Bug、不能修改 tests/、pytest 必须通过”案例说明为什么成功标准必须包含约束。

Task Success Rate 等于成功任务数除以总任务数,但关键在于“成功”必须预先定义。Coding Agent 的任务若要求修复 Bug、禁止修改 tests/、最终 pytest -q 通过,那么只有这些条件都满足才能算完整成功。如果 Agent 通过修改 tests/ 让测试变绿,虽然表面结果成功,却违反任务约束,不能计为 FULL_SUCCESS。

题目 3:编程实现——定义一个 EvaluationResult 并计算 Success Rate

要求至少包含 task_id 和 success。

from dataclasses import dataclass


@dataclass
class EvaluationResult:
    task_id: str
    success: bool


def success_rate(
    results: list[
        EvaluationResult
    ],
) -> float:
    if not results:
        return 0.0

    success_count = sum(
        1
        for item in results
        if item.success
    )

    return (
        success_count
        / len(results)
    )


if __name__ == "__main__":
    results = [
        EvaluationResult(
            "task_1",
            True,
        ),
        EvaluationResult(
            "task_2",
            False,
        ),
        EvaluationResult(
            "task_3",
            True,
        ),
    ]

    print(
        success_rate(
            results
        )
    )
#真实 Evaluation 还应继续记录 Steps、Token、Tool Errors、Retries、Latency 和 Cost。

题目 4:为什么平均 Step、平均 Token、Tool Error Rate、Retry Rate 要和 Success Rate 一起看?

请说明这些过程指标分别能暴露什么问题。

Success Rate 只能说明任务最终是否完成;平均 Step 高可能说明循环过长,平均 Token 高可能说明 Context 膨胀或能力加载过多,Tool Error Rate 高可能说明参数生成或 Tool Schema 有问题,Retry Rate 高则说明系统频繁依赖恢复机制。组合这些指标,才能区分一个 Agent 是“稳定高效地成功”还是“反复失败后勉强成功”。

题目 5:为什么 Benchmark Tasks 必须固定,并且最好每个任务重复运行多次?

请从版本可比性和模型随机性两个方面说明。

如果不同 Agent 版本使用不同任务集,成功率、Token 和成本就无法直接比较;固定 Benchmark Dataset 才能保证版本间对照公平。另一方面,LLM 同一任务多次运行可能出现不同路径和结果,因此每个 Task 重复运行 3~5 次更能反映平均能力和稳定性,避免把一次偶然成功当成系统真实水平。

题目 6:为什么 Cost per Successful Run 有时比 Average Cost per Run 更有意义?

请给出一个简单例子。

假设 Agent A 每次成本 0.10,成功率 50%;跑 10 次总成本 1.0,只成功 5 次,平均每个成功任务成本约 0.20。Agent B 每次成本 0.14,成功率 90%;10 次总成本 1.4,成功 9 次,每个成功任务成本约 0.156。虽然 B 单次更贵,但完成一个有效任务反而更划算,因此 Cost per Successful Run 能更真实反映业务效率。

题目 7:如何建立一个属于自己的 Agent Benchmark?

请给出从任务设计、成功标准、批量运行、Trace 聚合到版本比较的完整流程。

先收集代表真实业务的任务,并按基础、中等、复杂和失败场景分层;为每个任务定义输入、约束、成功标准、超时等;使用同一 Benchmark Dataset 对不同 Agent 版本重复运行多次;每次 Run 保存 Trace,并聚合 Success、Steps、Tokens、Tool Error、Retry、Latency、Cost;最后比较版本差异和失败类型,而不是只看单一总分。

进一步阅读

如果你想对照业界实践继续往下挖,可以优先看 LangSmith Evaluation Concepts 中的离线/线上评测、Code/LLM/Human/Pairwise Evaluator,再看 Repetitions 和 Pairwise Evaluation 里的重复实验与顺序偏差处理。Anthropic 的 Agent Evals 实践 也值得对照,重点看如何根据 Agent 任务特性组合多种 Grader。这些链接用来扩展方法,不影响本节离线代码运行。

  • Benchmark Design:如何让评测任务具有代表性和区分度。
  • Success Criteria:复杂任务如何定义可验证完成条件。
  • Repeated Trials:随机系统为什么需要多次重复实验。
  • LLM-as-Judge:开放式任务如何用模型辅助评分,以及如何避免 Judge 偏差。
  • Human Evaluation:什么时候人工标注仍然不可替代。
  • Failure Taxonomy:把失败拆成 Tool、Context、Reasoning、Policy、Orchestration 等类型。
  • Cost-aware Evaluation:把成功率与成本放在一起比较。
  • Regression Benchmark:每次改 Prompt、Skill、Model 后都跑固定回归集。

术语表

  • Agent Evaluation:通过固定任务、明确成功标准和结构化指标,对 Agent 的质量、效率、稳定性和成本进行系统评价。
  • Agent Benchmark:一组固定、可重复运行的测试任务及其成功标准,用于比较不同 Agent 版本、模型、Prompt 或策略。
  • Task Success Rate:成功完成任务的 Run 数占全部评测 Run 的比例,是最基础的结果指标。
  • Tool Error Rate:失败 Tool Calls 占全部 Tool Calls 的比例,用于衡量工具调用稳定性与参数生成质量。
  • Retry Rate:重试次数与 Tool Calls 或 Runs 的比例,用于观察 Agent 对 Error Recovery 的依赖程度。
  • Cost per Successful Run:总成本除以成功任务数,用于衡量真正产出一个有效结果需要花费多少资源。
  • Repeated Trial:对同一个 Benchmark Task 多次运行,以减少模型随机性对评测结论的影响。
  • Failure Taxonomy:将 Agent 失败按 Context、LLM、Tool、Policy、State、SubAgent 等类别归因的体系。
  • Trial:某个 Agent 版本在固定初始状态下对一个 Task 的一次完整尝试。一个 Task 可以包含多个 Trial。
  • Grader:根据预先定义的标准判断产物或轨迹的评分器,可以是确定性代码、LLM Judge 或人工标注。
  • Pairwise Evaluation:在同一 Task 上比较两个版本的输出或轨迹,并尽量通过盲测与随机顺序减少位置偏差。
  • Holdout:不直接用于日常 Prompt 调整的留存任务集,用来检查发布版本是否真正泛化。

本章总结

这一节,我们终于正式回答,Agent 到底好不好,怎么评价?

答案不是:

“感觉挺聪明。”

也不是:

“这次跑通了。”

真正的 Agent Evaluation,需要:

固定任务
明确标准
重复运行
结构化指标
版本对比

第一步一定是,先定义什么叫成功。

因为如果 Success Criteria 不明确:

Task Success Rate

就没有意义。

Coding Agent 的成功可能需要:

Bug 修复
测试通过
不改 tests/
不新增依赖
不违反项目规则

Data Analysis Agent 的成功可能需要:

结论正确
证据充分
Tool Result 一致
不把相关性当因果

第二步,我们建立核心指标:

Task Success Rate
平均 Step
平均 Token
Tool Error Rate
Retry Rate
Latency
Cost

这些指标分别回答不同问题。

可以直接记住:

Success
→ 能不能做成

Steps / Token
→ 做得是否高效

Tool Error / Retry
→ 过程是否稳定

Latency
→ 用户要等多久

Cost
→ 每个任务到底花多少钱

第三步,我们建立,Agent Benchmark。

一个 Benchmark Task 不应该只是一句话。

而应该包含:

task_id
input
constraints
success_criteria
timeout

并且任务集要:

固定
有区分度
覆盖不同难度
覆盖失败场景

同一个 Task 最好:

重复运行多次

因为 LLM 有随机性。

第四步,我们实现了:

EvaluationResult
EvaluationSummary
EvaluationAggregator

把:

Run
Trace
Metrics

真正汇总成一份 Evaluation Report。

第五步,我们特别强调,不要只看单一指标。

例如:

Success Rate 高

不代表:

成本低
过程稳定
行为安全

一个版本可能:

成功率高 3%
Token 高 200%
Latency 高 150%
Tool Error 也更高

是否值得,要看业务。

所以 Agent Evaluation 本质上是,多目标权衡。

第六步,我们还引入一个非常实用指标:

Cost per Successful Run

因为平均每次 Run 便宜,不代表真正完成一个成功任务就便宜。

如果失败率很高:

便宜的失败

也没有价值。

到这里,我们已经真正拥有一条完整 AgentOps 数据链:

Run
 ↓
Trace
 ↓
Metrics
 ↓
Evaluation
 ↓
Benchmark

这意味着以后每次改:

Prompt
Model
Skill
Planner
SubAgent
Tool Schema
Reminder
Middleware

都不应该再靠,“我试了一下,感觉更好了。”

而是:

在同一 Benchmark 上跑
↓
看 Success
看 Steps
看 Token
看 Tool Error
看 Retry
看 Latency
看 Cost
↓
再决定要不要上线

这才是真正工程化的 Agent 迭代方式。

下一节,我们会继续顺着 Evaluation 往前一步。

有了 Benchmark,我们知道:

哪里失败得多。

但还要继续回答,为什么 Agent 明明很聪明,却还是把任务做坏了?

下一节就是,失败案例复盘:为什么 Agent 明明聪明却把任务做坏了?

我们会系统拆:

Tool 选错
参数错
Context 丢失
Recovery 失败
死循环
幻觉
过早结束
过度调用 Tool

并用 Trace 真正定位失败根因。

© 版权声明
THE END
喜欢就支持一下吧
点赞8 分享
评论 抢沙发
头像-大赛人网
欢迎您留下宝贵的见解!
提交
头像-大赛人网

昵称

取消
昵称

    请登录后查看评论内容