小节一:工具选错与参数错误——看起来都像“Tool 没干成”,但根因完全不同
很多同学一看到 Tool 没执行成功,就习惯把问题都归成一类。但实际上,“工具选错”和“参数错误”虽然表面都像没干成,排查方向却完全不一样。前者应该先看 Tool Description、能力边界和权限...
失败案例复盘:为什么 Agent 明明聪明却把任务做坏了?
前面三节,我们已经把 AgentOps 最关键的基础设施搭起来了。 Tracing 让我们看到: Run ├─ Step 01 ├─ Step 02 ├─ Step 03 └─ Step 04 Token、成本与耗时监控让我们知道: 用了多少 Tok...
章末自测
题目 1:为什么 Agent Evaluation 不能只看“感觉回答不错”? 请从可重复性、过程行为、成本和安全四个方面解释。 “感觉不错”缺乏稳定标准,不同人判断会不同,也无法重复比较两个版本。Agen...
案例分析二:Data Analysis Agent 成功率一样,为什么 Tool Error Rate 能暴露巨大差异?
同样的任务成功率,可能来自两条完全不同的执行路径:一条调用顺畅,另一条反复报错、修正参数后才跑通。这个案例特别适合把过程指标的意义讲透。 把两条执行路径对照来看:Agent A 调用相对顺...
案例分析一:Coding Agent v2 成功率更高,但为什么不一定值得上线?
场景背景 v1: Success 84% Avg Steps 8 Avg Tokens 30K Cost 0.09 Latency 28s v2: Success 88% Avg Steps 19 Avg Tokens 95K Cost 0.27 Latency 77s 提升: 成功率 +4% 但成本: 3 倍 延迟:...
小节六:如何比较两个 Agent 版本——不要问“谁更聪明”,要问“谁更适合这个场景”
比较 v1 和 v2 时,把成功率、步骤、Token、成本与等待时间一起摆出来,会比只说“提升了几个百分点”更清楚。这里的数字是本节设定的演示案例,不是实际线上测量。 图中 v2 的成功率更高,同时...
小节五:Agent Evaluation 最容易踩的坑——“成功率高”可能是假象
如果一份评测报告漂亮得过于轻松,可以先沿着下面六个方向排查:题目是否太简单、重复次数是否足够、任务是否泄漏、环境是否隔离,以及统计口径和 Judge 是否可靠。 这些问题不只是让分数稍微偏...
小节四:实现一个最小 EvaluationRunner——批量跑任务,再聚合指标
代码读到这里,可以先用下面的执行链核对各个对象的职责。Runner 不是只循环调用模型,它还要保存 Trace、交给 Grader 判定、聚合指标并形成能够复查的报告。 图中回到任务集的箭头代表下一次独...
小节三:如何设计自己的 Agent Benchmark——任务集比指标公式更重要
真正决定评测是否可信的,是题目有没有把起点、约束和验收方式说明白。只给一句任务描述,后面即使写出再完整的聚合公式,也没法消除判分歧义。 这张结构图把初始环境、任务字段和重复 Trial 放...
小节二:核心指标到底怎么看——Task Success Rate 只是第一层
这一组指标容易记混,不妨先把它们按用途放在一起。成功率看任务有没有完成;步骤、Token、延迟与成本看完成任务的资源投入;Tool Error 和 Retry 则更接近执行过程的稳定性。 如图所示,没有一...











