案例分析二:Data Analysis Agent 查了 50 次 SQL,为什么真正问题不是“分析得太认真”?

用户问,“为什么昨天收入下降?”

Step 9 已经得到:

收入 -24%
请求 -2%
eCPM -29%
媒体 A 贡献 78% 异常

这时合理结论已经基本明确。

但是后面 Trace:

Step 10:
查询设备

Step 14:
查询地域

Step 19:
查询小时

Step 26:
查询 App Version

Step 33:
查询网络

Step 41:
查询广告位

SQL 全部成功。

参数也都正确。

所以这不是:

Tool Failure
Argument Failure

而是:

Termination Failure
+
Over-tooling

继续检查 Context,发现 data-analysis Skill 只有:

先整体
再下钻

却没有:

什么时候结束。

System Reminder 也只在:

Step 30

才触发。

所以修复:

Skill 增加 Evidence-based Stop Criteria
Reminder 增加“当前证据是否已经足够?”
Max Query Calls = 20
Planner 每个 Task 增加 completion condition

回归 Benchmark 则不只判断最终结论对不对。

还增加:

query_sql <= 15

因为对 Agent 来说,高效地得出正确结论,也是质量的一部分。

常见误区

误解: Agent 做错了,第一步就应该换更强模型。
正解: 更强模型可能改善部分 Decision Failure,但对 Context 漏加载、Tool Runtime、Middleware 规则缺失、Stop Condition 不清等系统问题并不能从根本解决。正确流程是先读 Trace,找到 First Bad Step 和 Failure Type,再决定应该换模型还是修 Harness。

误解: Tool 报错就属于 Tool Failure。
正解: Tool 报错可能是模型传错参数,例如路径不存在、字段名错误,也可能是 Tool 本身环境异常。应该依次检查 Tool Selection、Arguments、Runtime。只有 Tool 和参数都正确、执行环境仍然异常时,才更接近真正的 Tool Failure。

误解: Retry 次数多说明 Error Recovery 很强。
正解: 真正 Recovery 必须根据 Observation 改变策略。相同 Tool、相同 Arguments、相同 Error 连续重复只是循环。高 Retry Rate 有时恰恰意味着 Tool Schema、Context 或 Recovery Policy 有问题。恢复能力的目标是脱离失败状态,而不是延长失败过程。

误解: Agent 提前结束,只要在 Prompt 里再加一句“请认真完成所有步骤”就行。
正解: 提前结束常常是 Completion Criteria 没被结构化保存,或者 Plan / Working Memory 丢了剩余任务。更可靠的修复是明确 Stop Condition、Final Verification、Remaining Tasks,并在进入 COMPLETED 前做 Completion Gate。

误解: 过度 Tool Calling 最多只是多花一点钱,不影响最终质量。
正解: 无边界探索会带来更多 Context、噪声和次要异常,可能让 Agent 把原本清楚的主因重新搞乱。成熟 Agent 应该在证据满足 Success Criteria 后停止。效率、稳定性和结论清晰度本身就是质量的一部分。

误解: 失败复盘写完报告就结束了。
正解: 真正有价值的复盘必须落到两件事:系统修复和 Regression Benchmark。否则后面换模型、改 Prompt、重构 Tool 后,同类问题随时可能回来。最有价值的失败样本应该沉淀成长期自动回归任务。

© 版权声明
THE END
喜欢就支持一下吧
点赞14 分享
评论 抢沙发
头像-大赛人网
欢迎您留下宝贵的见解!
提交
头像-大赛人网

昵称

取消
昵称

    请登录后查看评论内容