上一节,我们已经在 Agent 与 Tool 之间真正加了一道墙:
Agent
↓
Tool Request
↓
Middleware
↓
Permission
↓
Safety Check
↓
Tool
Middleware 可以把一次 Tool Request 判断为:
ALLOW
DENY
REQUIRE_APPROVAL
其中:
ALLOW
代表系统可以继续执行。
DENY
代表系统无论模型怎么坚持,都不能执行。
真正麻烦的是第三种:
REQUIRE_APPROVAL
它代表:
这个动作不是绝对禁止,但风险足够高,系统不能替用户做最终决定。
比如:
git push origin main
有时确实是用户想要的。
但用户只说:
帮我修复 Bug 并验证测试
并不等于授权 Agent 推送远程仓库。
再比如:
删除 build/ 目录
有时只是清理构建产物。
但:
删除整个项目目录
显然不是同一个风险级别。
还有:
UPDATE production_policy ...
某些系统里,这可能是合法运维动作。
但它不应该因为模型“觉得应该改”就自动发生。
所以真正接近生产系统的 Agent,需要一个非常重要的能力:
当风险达到某个等级时,任务先停下来,等待人确认。
这就是:
Human in the Loop
这一节我们会正式让 Run 进入:
WAITING_APPROVAL
并实现:
POST /api/v1/runs/{run_id}/approve
用户批准以后,Agent 才能继续。
如果拒绝,则:
Tool 不执行
并把拒绝作为新的 Observation 交回 Agent,或者直接结束 Run。
从这一章开始,我们的 Agent 不再只是:
“能自动完成任务。”
而开始具备真正生产系统需要的:
自主执行 + 人工控制边界。
开场引入
这章会从“拦住危险动作”走到“让人能够安全地接手”。先用这张总流程图建立一个参照:模型提出动作之后,安全层做风险判断;需要批准的请求必须保存成待审批对象,Run 暂停,再等待用户的明确决定。
![图片[1]-Human in the Loop:高风险动作必须人工确认-大赛人网](https://www.dsrw.com/wp-content/uploads/2026/11/image-1679.png)
图中绿色的批准分支不是“拿到同意就直接放行一切”。恢复后还要重新做安全检查,执行的也必须是之前保存的同一个动作;红色的拒绝分支则不执行它,接着按当前 Run 的策略结束或交回 Agent 调整下一步。图片中的字段和事件名称是教学示意,以本节实际代码定义为准。
先看一个非常典型的 Coding Agent 场景。
用户说:
“帮我修复这个项目的 Bug,并确认测试通过。”
Agent 运行:
read_file
search_files
edit_file
run_shell("pytest -q")
最后测试全部通过。
到这里,用户要求已经满足。
但模型进一步判断:
既然修改已经完成,
最好提交并推送到远程仓库。
于是它生成:
run_shell(
"git push origin main"
)
上一章的 Middleware 会命中:
git push
返回:
REQUIRE_APPROVAL
如果我们的系统此时只是给模型一个 Observation:
需要批准
然后继续跑 Main Loop,会发生什么?
模型下一轮可能又说:
那我再尝试 git push。
或者:
我认为这一步很必要,请执行。
这说明:
require_approval 不能只是一条文本提示。
它必须改变:
Run Lifecycle
也就是说:
RUNNING
↓
WAITING_APPROVAL
进入这个状态以后:
Main Loop 暂停
Tool 不执行
资源不继续消耗
等待用户决定
然后前端展示:
Agent 准备执行高风险操作:
git push origin main
原因:
将本地修复推送到远程 main 分支。
风险:
会修改远程仓库。
[批准] [拒绝]
用户点击:
批准
客户端调用:
POST /api/v1/runs/{run_id}/approve
服务端检查:
这个 Run 是否真的在 WAITING_APPROVAL?
有没有 pending_action?
这个 action 有没有已经执行过?
审批是否有效?
全部通过以后,才执行:
git push origin main
然后 Run:
WAITING_APPROVAL
↓
RUNNING
继续 Main Loop。
这才是完整的 Human in the Loop。
这里有一个特别重要的细节:
批准以后,不应该重新让模型“再生成一次 Tool Call”。
因为第一次待批准的是:
git push origin main
如果审批完成后重新调用 LLM,它可能生成:
git push --force origin main
那用户批准的就不是实际执行的动作。
所以我们必须保存:
pending_action
批准后执行的必须是:
用户看到并批准的那一个原始动作。
这个细节,是 Human in the Loop 从“Demo”走向“生产级控制”非常关键的一步。
知识地图
如果把整个流程按职责拆开,Middleware 与 Human in the Loop 并不是两套互相替代的机制:前者识别风险、给出 REQUIRE_APPROVAL,后者把“需要人决定”落实为可暂停、可展示、可恢复的业务流程。
![图片[2]-Human in the Loop:高风险动作必须人工确认-大赛人网](https://www.dsrw.com/wp-content/uploads/2026/11/image-1680.png)
这里最值得留意的是中间的待审批对象:它把风险判定结果变成一个有身份、参数和上下文的具体请求。后续的用户决定、恢复执行和审计记录,才有同一个对象可以关联。
![图片[3]-Human in the Loop:高风险动作必须人工确认-大赛人网](https://www.dsrw.com/wp-content/uploads/2026/11/image-1681.png)
完整链路:
![图片[4]-Human in the Loop:高风险动作必须人工确认-大赛人网](https://www.dsrw.com/wp-content/uploads/2026/11/image-1682.png)
















请登录后查看评论内容