这一组指标容易记混,不妨先把它们按用途放在一起。成功率看任务有没有完成;步骤、Token、延迟与成本看完成任务的资源投入;Tool Error 和 Retry 则更接近执行过程的稳定性。
![图片[1]-小节二:核心指标到底怎么看——Task Success Rate 只是第一层-大赛人网](https://www.dsrw.com/wp-content/uploads/2026/11/image-1769.png)
如图所示,没有一个数字能单独涵盖全部质量。出现成功率不变但重试率上升的情况,往往要顺着 Trace 继续排查,而不是直接认定系统没有变化。
现在正式看用户给出的核心指标:
Task Success Rate
平均 Step
平均 Token
Tool Error Rate
Retry Rate
Latency
Cost
![图片[2]-小节二:核心指标到底怎么看——Task Success Rate 只是第一层-大赛人网](https://www.dsrw.com/wp-content/uploads/2026/11/image-1770.png)
例如:
100 个任务
84 个成功
Success Rate = 84%
这是最直观指标。
但它只回答,能不能完成。
不回答:
花多少成本
是否稳定
过程是否绕
![图片[3]-小节二:核心指标到底怎么看——Task Success Rate 只是第一层-大赛人网](https://www.dsrw.com/wp-content/uploads/2026/11/image-1771.png)
例如:
v1 = 9.2
v2 = 17.8
如果成功率一样:
v1 通常更高效。
但不能只看平均。
最好以后还看:
P50
P95
Max
因为少数极长 Run 可能很危险。
3. 平均 Token
可以拆:
Average Input Tokens
Average Output Tokens
Average Total Tokens
特别是 Input Token。
如果某版本:
Input Token 翻倍
Output 几乎不变
很可能是:
Context 膨胀。
![图片[4]-小节二:核心指标到底怎么看——Task Success Rate 只是第一层-大赛人网](https://www.dsrw.com/wp-content/uploads/2026/11/image-1772.png)
可能:
参数错
文件不存在
外部 API 失败
环境错误
权限拒绝
所以后面可以按类型再拆。
![图片[5]-小节二:核心指标到底怎么看——Task Success Rate 只是第一层-大赛人网](https://www.dsrw.com/wp-content/uploads/2026/11/image-1773.png)
或者:
有 Retry 的 Run 占比
关键是定义固定。
Retry 太高通常说明:
Error Recovery 在反复救火
或者:
Tool Schema / 参数生成有问题。
6. Latency
至少:
Average Run Latency
Average Step Latency
LLM Latency
Tool Latency
如果是用户实时产品:
Latency
非常重要。
7. Cost
至少:
Average Cost per Run
Cost per Successful Run
第二个尤其有意思。
比如:
v1:
$0.10 / run
80% 成功
v2:
$0.14 / run
95% 成功
看单次 Run:
v2 更贵。
![图片[6]-小节二:核心指标到底怎么看——Task Success Rate 只是第一层-大赛人网](https://www.dsrw.com/wp-content/uploads/2026/11/image-1774.png)
不能只看一个指标
最常见错误:
只看 Success Rate。
也有人:
只看 Token。
都不够。
真正要结合:
Quality
Efficiency
Reliability
Latency
Cost
Safety
一起看。
© 版权声明
文章版权归作者所有,未经允许请勿转载。
THE END
















请登录后查看评论内容