案例分析二:Data Analysis Agent 连续查询多个指标,Streaming 如何让业务用户理解分析路径?

场景背景

用户问,“为什么昨天收入下降?”

Agent 需要:

查整体收入
查请求量
查曝光
查 eCPM
按媒体拆
按广告位拆

整个过程 40 秒。

没有 Streaming

用户只看到:

正在分析...

最后突然出现:

media_B 的 position_17 eCPM 异常。

用户会觉得,“这个结论怎么来的?”

有 Streaming

前端可以逐步显示:

正在确认整体收入变化...
确认收入下降约 20%

正在检查请求量...
请求量基本稳定

正在检查 eCPM...
发现 eCPM 明显下降

正在按媒体下钻...
异常主要集中在 media_B

正在按广告位继续定位...
发现 position_17 异常

这不仅让等待体验更好。

还让用户感受到,Agent 是沿着一条合理分析路径得出结论。

但要注意

不要把:

完整 SQL
完整查询结果

全部流给普通用户。

那属于 Trace 或详情页。

Streaming 只保留:

关键分析阶段
关键发现

常见误区

误解: 只要已经有 GET /runs/{run_id} 查询状态,就完全不需要 Streaming。
正解: GET Run 适合查询粗粒度状态,例如 running、completed、failed,也适合页面刷新后的恢复;Streaming 更适合实时展示“正在读文件、正在跑测试、发现错误”等细粒度进度。两者并不冲突,实际系统常同时保留:SSE 提供实时体验,GET Run 提供可靠查询和恢复。

误解: SSE 就是 WebSocket 的简化版,两者可以完全等价替换。
正解: SSE 基于普通 HTTP,天然适合服务端向客户端持续单向推送;WebSocket 则适合持续双向通信。当前 Agent 主要需求是“服务端推执行进度”,因此 SSE 更简单。如果未来需要客户端持续向运行中的 Agent 发送实时控制指令,再考虑 WebSocket 会更合理。

误解: Streaming 就应该把模型所有中间推理实时展示给用户,这样最透明。
正解: 用户真正需要的是可理解的进度事件,而不是完整内部推理。完整 Prompt、中间模型细节、原始 Tool Result 和 traceback 既可能很长,也可能包含不适合直接展示的信息。更合理是把 RunStep 转成产品级 Progress Event,完整技术证据留在 Trace。

误解: Flask 里只要 yield 就一定会实时显示。
正解: 实际链路上还可能有客户端缓冲、代理缓冲、反向代理设置等问题。因此常见 SSE Response 会设置 Cache-Control: no-cache,某些代理环境还需要关闭 buffering。开发环境中 curl -N 也很重要,否则客户端本身可能把输出缓冲后才显示。

误解: SSE 连接只要一直开着就行,不需要 heartbeat。
正解: 长时间没有事件时,中间网络设备或代理可能认为连接闲置并关闭。发送轻量 heartbeat 可以保持连接,也让客户端知道服务仍然活着。heartbeat 不应该算 Agent Step,它更像传输层保活事件。

误解: 只要有 Streaming,就可以不用保存 RunStep 和 Run 状态。
正解: Streaming 是实时传输,不是可靠持久化。用户刷新页面后,之前已经流过的事件可能无法自动恢复;Run 与 RunStep 才是后端状态来源。Streaming 应该建立在 Run 生命周期之上,而不是代替 Run。后续 SQLite 持久化会进一步解决重启后的恢复问题。

© 版权声明
THE END
喜欢就支持一下吧
点赞6 分享
评论 抢沙发
头像-大赛人网
欢迎您留下宝贵的见解!
提交
头像-大赛人网

昵称

取消
昵称

    请登录后查看评论内容