lanzeou-大赛人网-第9页
lanzeou的头像-大赛人网
lanzeou管理员超级版主
这家伙很懒,什么都没有写...
小节一:先定义“什么叫成功”——没有 Success Criteria,所有 Evaluation 都是空的-大赛人网

小节一:先定义“什么叫成功”——没有 Success Criteria,所有 Evaluation 都是空的

理解成功标准时,先别急着找一个通用的布尔值。修代码和分析数据的验收方式明显不同,但两者都得同时检查结果、限制条件和验证证据。 左侧强调测试与修改约束必须一起满足;右侧强调数据结论需...
Agent Evaluation:Agent 到底好不好怎么评价?-大赛人网

Agent Evaluation:Agent 到底好不好怎么评价?

前面两节,我们已经做了两件非常关键的事。 第一件: Tracing 让我们可以完整看到: Run ├─ Step 01 ├─ Step 02 ├─ Step 03 └─ Step 04 并记录: Prompt LLM Response Tool Arguments T...
Token、成本与耗时监控-大赛人网

Token、成本与耗时监控

上一节,我们已经用 Trace 把一次 Run 里的 Prompt、模型响应、Tool Call、Observation 和状态变化记录下来。但“能够复盘”还不等于“能够比较”:如果不把这些事件进一步聚合成 Token、Latenc...
章末自测-大赛人网

章末自测

题目 1:Run、Step、Trace、普通日志分别解决什么问题? 请从任务生命周期、过程索引、详细证据和服务运维四个角度解释。 Run 表示一次完整 Agent 任务的生命周期,例如 READY、RUNNING、COMPLE...
案例分析二:Data Analysis Agent 结论错了,Trace 如何证明 SQL 没错而模型解释错了?-大赛人网

案例分析二:Data Analysis Agent 结论错了,Trace 如何证明 SQL 没错而模型解释错了?

数据分析里,一条看起来合理的结论可能在“读到结果 → 解释结果”的环节就走偏。下面的图把 SQL、真实返回、模型解释和最终文字结论分别画出来,方便观察这些环节如何对照。 注意:图中的表格...
案例分析一:Coding Agent 最后修改了错误文件,Trace 如何一步步定位根因?-大赛人网

案例分析一:Coding Agent 最后修改了错误文件,Trace 如何一步步定位根因?

先沿着这张时间线找“实际修改发生在哪一步”。它把用户约束、文件修改动作、测试通过和最终成功判断放在同一条线上,能直接暴露“测试通过”与“满足任务要求”之间的区别。 图里第 3 步修改了...
小节六:Tracing 到底怎么帮助定位问题——先判断“错在哪一层”-大赛人网

小节六:Tracing 到底怎么帮助定位问题——先判断“错在哪一层”

有 Trace 以后,排查可以先收窄到具体层:是 Plan 走偏、State 没更新、Context 携带了错误信息,还是模型、Tool、Middleware、数据或 SubAgent 出了问题?图里把这些可能性拆开,便于按证据排...
小节五:把 Trace 持久化到 SQLite,保留重启后排查所需的证据-大赛人网

小节五:把 Trace 持久化到 SQLite,保留重启后排查所需的证据

内存里的 Trace 一旦随着进程退出而消失,就没法复盘过去的 Run。下面这张图把 Recorder、存储层和 SQLite 的关系拆开了:先由存储层处理序列化和写入,再分别保留运行、步骤与事件。 持久化之...
小节四:实现 TraceRecorder——真正把 AgentEngine、Provider、ToolExecutor 串起来-大赛人网

小节四:实现 TraceRecorder——真正把 AgentEngine、Provider、ToolExecutor 串起来

到代码实现时,最关键的问题是“在哪个组件记录什么”。把 Recorder 的接入点放进一次完整调用链,比单独记住几个 record_*() 方法更容易理解。 Engine 负责步骤与状态,Provider 负责模型请...
小节三:设计 Trace 数据结构——Run、Step、LLM Event、Tool Event 应该怎么组织-大赛人网

小节三:设计 Trace 数据结构——Run、Step、LLM Event、Tool Event 应该怎么组织

图里可以看到 Run、Step 与其内部 Event 的层级:一次任务下面会有多个步骤,一个步骤里又可能产生 Prompt、LLM Response、Tool Call、Tool Result 和 Metrics 等事件。 这样拆开以后,排查时可...