Streaming:实时看到 Agent 在干什么

上一节,我们把每一次 Agent 任务正式建模成了一个 Run。

现在一个 Run 已经有:

run_id
session_id
status
start_time
end_time
steps
error

客户端也可以:

POST /api/v1/runs

创建任务,再通过:

GET /api/v1/runs/{run_id}

查询状态。

这已经比上一节简单的:

POST /chat
→ 等待
→ 返回答案

更像一个真正的 Backend Service。

但只要 Agent 执行时间稍微长一点,新的问题就马上出现。

比如一个 Coding Agent 需要:

读取项目结构
搜索入口文件
读取代码
运行 pytest
分析错误
检查依赖
修改代码
再次测试

整个过程可能 30 秒、60 秒,甚至几分钟。

如果前端只显示:

Loading...

用户根本不知道:

Agent 是还活着,
还是卡住了,
还是正在跑测试,
还是已经报错了。

所以真实 Agent 产品必须解决,长任务执行期间,前端怎么实时看到 Agent 正在干什么?

这一节我们正式实现:

Server-Sent Events

让前端能够实时看到:

正在读取项目...
发现 app.py...
正在运行测试...
发现 ImportError...
正在检查依赖...

从这一节开始,Agent 不再是一个黑盒任务。

用户终于可以“看到它工作”。

如果把这条体验链路完整画出来,会更容易理解 Streaming 为什么是 Agent Backend 的必需能力:Run 在后台持续推进,服务端把关键步骤转换成事件,再通过同一个 SSE 连接不断送到前端。

图片[1]-Streaming:实时看到 Agent 在干什么-大赛人网

这张图里真正要看的不是“前端更炫”,而是等待期间的信息空白被一条持续事件流填上了。用户可以判断任务还活着、现在做到哪一步,以及什么时候真正结束。

开场引入

想象一个真实用户体验。

用户点击,“修复这个 Python 项目启动失败。”

前端立刻显示:

Loading...

10 秒过去。

还是:

Loading...

60 秒过去。

用户开始怀疑,“是不是挂了?”

然后他刷新页面。

刚好这时候 Agent 在后台已经完成到第 12 步。

结果整个交互被破坏。

这不是模型能力问题。

而是,后台任务没有把过程反馈给前端。

一个真正可用的 Agent,更好的体验应该像这样:

[12:01:03] 已创建任务 run_abc123
[12:01:04] 正在扫描项目结构...
[12:01:05] 发现入口文件 app.py
[12:01:06] 正在读取 app.py...
[12:01:09] 正在运行测试...
[12:01:14] 发现 ImportError: requests
[12:01:15] 正在检查依赖文件...
[12:01:18] 发现 requirements.txt 缺少 requests
[12:01:22] 正在验证修复...
[12:01:29] 测试通过
[12:01:30] 任务完成

用户这时候会非常清楚,Agent 没有卡,它正在工作。

而且这种过程反馈不仅提升体验,还能提升信任。

因为 Agent 不再只是:

输入一句话
等几十秒
突然蹦出结果

而是把关键执行阶段展示出来。

这里我们要引入,SSE,Server-Sent Events。

它特别适合这种场景:

客户端发起一次 HTTP 连接
服务端保持连接
服务端不断往客户端推消息
客户端持续接收

这正好匹配:

Agent Run
→ 持续产生 Step
→ 前端实时接收

当然,Streaming 不等于把所有内部细节全部暴露。

我们不应该把完整 Prompt、完整 Tool Result、完整 traceback、模型内部中间推理都直接发给前端。

真正应该发的是,适合用户理解的进度事件。

例如:

正在读取项目
正在运行测试
发现依赖错误
正在重试

而内部 Trace 仍然保存在后端。

这个边界非常重要。

知识地图

图片[2]-Streaming:实时看到 Agent 在干什么-大赛人网

Run、Streaming、Trace 的关系:

图片[3]-Streaming:实时看到 Agent 在干什么-大赛人网

把 Runtime 和网络层再展开一层,会发现整个系统其实是两条链同时存在:一条负责执行任务,一条负责把执行过程持续传给浏览器。

图片[4]-Streaming:实时看到 Agent 在干什么-大赛人网

这样看就比较清楚:AgentEngine 不需要关心浏览器怎么显示,浏览器也不需要知道内部 Main Loop 的全部细节。两边通过稳定的事件合同衔接起来即可。

© 版权声明
THE END
喜欢就支持一下吧
点赞6 分享
评论 抢沙发
头像-大赛人网
欢迎您留下宝贵的见解!
提交
头像-大赛人网

昵称

取消
昵称

    请登录后查看评论内容