小节二:核心指标到底怎么看——Task Success Rate 只是第一层

这一组指标容易记混,不妨先把它们按用途放在一起。成功率看任务有没有完成;步骤、Token、延迟与成本看完成任务的资源投入;Tool Error 和 Retry 则更接近执行过程的稳定性。

图片[1]-小节二:核心指标到底怎么看——Task Success Rate 只是第一层-大赛人网

如图所示,没有一个数字能单独涵盖全部质量。出现成功率不变但重试率上升的情况,往往要顺着 Trace 继续排查,而不是直接认定系统没有变化。

现在正式看用户给出的核心指标:

Task Success Rate
平均 Step
平均 Token
Tool Error Rate
Retry Rate
Latency
Cost
图片[2]-小节二:核心指标到底怎么看——Task Success Rate 只是第一层-大赛人网

例如:

100 个任务
84 个成功

Success Rate = 84%

这是最直观指标。

但它只回答,能不能完成。

不回答:

花多少成本
是否稳定
过程是否绕
图片[3]-小节二:核心指标到底怎么看——Task Success Rate 只是第一层-大赛人网

例如:

v1 = 9.2
v2 = 17.8

如果成功率一样:

v1 通常更高效。

但不能只看平均。

最好以后还看:

P50
P95
Max

因为少数极长 Run 可能很危险。

3. 平均 Token

可以拆:

Average Input Tokens
Average Output Tokens
Average Total Tokens

特别是 Input Token。

如果某版本:

Input Token 翻倍
Output 几乎不变

很可能是:

Context 膨胀。
图片[4]-小节二:核心指标到底怎么看——Task Success Rate 只是第一层-大赛人网

可能:

参数错
文件不存在
外部 API 失败
环境错误
权限拒绝

所以后面可以按类型再拆。

图片[5]-小节二:核心指标到底怎么看——Task Success Rate 只是第一层-大赛人网

或者:

有 Retry 的 Run 占比

关键是定义固定。

Retry 太高通常说明:

Error Recovery 在反复救火

或者:

Tool Schema / 参数生成有问题。

6. Latency

至少:

Average Run Latency
Average Step Latency
LLM Latency
Tool Latency

如果是用户实时产品:

Latency

非常重要。

7. Cost

至少:

Average Cost per Run
Cost per Successful Run

第二个尤其有意思。

比如:

v1:
$0.10 / run
80% 成功

v2:
$0.14 / run
95% 成功

看单次 Run:

v2 更贵。
图片[6]-小节二:核心指标到底怎么看——Task Success Rate 只是第一层-大赛人网

不能只看一个指标

最常见错误:

只看 Success Rate。

也有人:

只看 Token。

都不够。

真正要结合:

Quality
Efficiency
Reliability
Latency
Cost
Safety

一起看。

© 版权声明
THE END
喜欢就支持一下吧
点赞13 分享
评论 抢沙发
头像-大赛人网
欢迎您留下宝贵的见解!
提交
头像-大赛人网

昵称

取消
昵称

    请登录后查看评论内容