小节一:为什么 Agent 比普通 API 更需要 Streaming——长执行、多步骤、状态变化决定了它不能只返回最终结果

普通 CRUD API 通常很快。

例如:

GET /users/123

几十毫秒到几百毫秒。

用户不太需要知道:

数据库查到第几步
序列化做到哪里

但 Agent 完全不同。

Agent 的执行本身就是一个过程

一个任务可能包含:

Reason
Tool Call
Observation
Reason
Tool Call
Observation
...

这意味着,“过程”本身就是任务的一部分。

尤其是 Coding Agent。

它可能:

Step 1 读取目录
Step 2 搜索关键词
Step 3 读取文件
Step 4 运行测试
Step 5 分析错误
Step 6 修改
Step 7 验证

如果最终只返回:

done

用户失去了整个过程感知。

Streaming 解决的不是结果,而是“等待期间的信息空白”

用户真正焦虑的是:

它还在跑吗?
现在做到哪了?
刚刚发现了什么?
是不是遇到错误?
有没有重试?

SSE 可以持续回答这些问题。

Run 状态和 Streaming 不是一回事

上一节我们已经有:

status = running

这只能告诉客户端,任务还没结束。

但不能告诉,当前正在做什么。

所以:

Run Status

是粗粒度状态。

而:

Streaming Events

是细粒度进度。

例如:

Run.status = running

期间可以推:

正在读取 app.py
正在运行 pytest
发现 ImportError
正在检查 requirements.txt

两者互补。

Polling 可以替代 Streaming 吗?

可以做一部分。

客户端每 2 秒:

GET /runs/{run_id}

查看最新 Steps。

这叫 Polling。

优点:

实现简单
容错直观

缺点:

有延迟
请求多
实时感较差

Streaming 则:

服务端有事件就立刻推

更适合连续进度。

真实系统甚至可以两者并存:

SSE 实时体验
GET /runs/{run_id} 用于恢复和查询最终状态

这是很实用的组合。

为什么本节选择 SSE,而不是 WebSocket?

因为我们当前主要需求是,服务端持续向客户端推 Agent 进度。

这是单向流。

SSE 天然适合:

Server → Client

而 WebSocket 更适合:

Client ↔ Server

持续双向通信。

我们现在还不需要这么复杂。

所以 SSE 是很好的第一选择。

© 版权声明
THE END
喜欢就支持一下吧
点赞13 分享
评论 抢沙发
头像-大赛人网
欢迎您留下宝贵的见解!
提交
头像-大赛人网

昵称

取消
昵称

    请登录后查看评论内容