Human in the Loop:高风险动作必须人工确认

上一节,我们已经在 Agent 与 Tool 之间真正加了一道墙:

Agent
 ↓
Tool Request
 ↓
Middleware
 ↓
Permission
 ↓
Safety Check
 ↓
Tool

Middleware 可以把一次 Tool Request 判断为:

ALLOW
DENY
REQUIRE_APPROVAL

其中:

ALLOW

代表系统可以继续执行。

DENY

代表系统无论模型怎么坚持,都不能执行。

真正麻烦的是第三种:

REQUIRE_APPROVAL

它代表:

这个动作不是绝对禁止,但风险足够高,系统不能替用户做最终决定。

比如:

git push origin main

有时确实是用户想要的。

但用户只说:

帮我修复 Bug 并验证测试

并不等于授权 Agent 推送远程仓库。

再比如:

删除 build/ 目录

有时只是清理构建产物。

但:

删除整个项目目录

显然不是同一个风险级别。

还有:

UPDATE production_policy ...

某些系统里,这可能是合法运维动作。

但它不应该因为模型“觉得应该改”就自动发生。

所以真正接近生产系统的 Agent,需要一个非常重要的能力:

当风险达到某个等级时,任务先停下来,等待人确认。

这就是:

Human in the Loop

这一节我们会正式让 Run 进入:

WAITING_APPROVAL

并实现:

POST /api/v1/runs/{run_id}/approve

用户批准以后,Agent 才能继续。

如果拒绝,则:

Tool 不执行

并把拒绝作为新的 Observation 交回 Agent,或者直接结束 Run。

从这一章开始,我们的 Agent 不再只是:

“能自动完成任务。”

而开始具备真正生产系统需要的:

自主执行 + 人工控制边界。

开场引入

这章会从“拦住危险动作”走到“让人能够安全地接手”。先用这张总流程图建立一个参照:模型提出动作之后,安全层做风险判断;需要批准的请求必须保存成待审批对象,Run 暂停,再等待用户的明确决定。

图片[1]-Human in the Loop:高风险动作必须人工确认-大赛人网

图中绿色的批准分支不是“拿到同意就直接放行一切”。恢复后还要重新做安全检查,执行的也必须是之前保存的同一个动作;红色的拒绝分支则不执行它,接着按当前 Run 的策略结束或交回 Agent 调整下一步。图片中的字段和事件名称是教学示意,以本节实际代码定义为准。

先看一个非常典型的 Coding Agent 场景。

用户说:

“帮我修复这个项目的 Bug,并确认测试通过。”

Agent 运行:

read_file
search_files
edit_file
run_shell("pytest -q")

最后测试全部通过。

到这里,用户要求已经满足。

但模型进一步判断:

既然修改已经完成,
最好提交并推送到远程仓库。

于是它生成:

run_shell(
    "git push origin main"
)

上一章的 Middleware 会命中:

git push

返回:

REQUIRE_APPROVAL

如果我们的系统此时只是给模型一个 Observation:

需要批准

然后继续跑 Main Loop,会发生什么?

模型下一轮可能又说:

那我再尝试 git push。

或者:

我认为这一步很必要,请执行。

这说明:

require_approval 不能只是一条文本提示。

它必须改变:

Run Lifecycle

也就是说:

RUNNING
 ↓
WAITING_APPROVAL

进入这个状态以后:

Main Loop 暂停
Tool 不执行
资源不继续消耗
等待用户决定

然后前端展示:

Agent 准备执行高风险操作:

git push origin main

原因:
将本地修复推送到远程 main 分支。

风险:
会修改远程仓库。

[批准] [拒绝]

用户点击:

批准

客户端调用:

POST /api/v1/runs/{run_id}/approve

服务端检查:

这个 Run 是否真的在 WAITING_APPROVAL?
有没有 pending_action?
这个 action 有没有已经执行过?
审批是否有效?

全部通过以后,才执行:

git push origin main

然后 Run:

WAITING_APPROVAL
 ↓
RUNNING

继续 Main Loop。

这才是完整的 Human in the Loop。

这里有一个特别重要的细节:

批准以后,不应该重新让模型“再生成一次 Tool Call”。

因为第一次待批准的是:

git push origin main

如果审批完成后重新调用 LLM,它可能生成:

git push --force origin main

那用户批准的就不是实际执行的动作。

所以我们必须保存:

pending_action

批准后执行的必须是:

用户看到并批准的那一个原始动作。

这个细节,是 Human in the Loop 从“Demo”走向“生产级控制”非常关键的一步。

知识地图

如果把整个流程按职责拆开,Middleware 与 Human in the Loop 并不是两套互相替代的机制:前者识别风险、给出 REQUIRE_APPROVAL,后者把“需要人决定”落实为可暂停、可展示、可恢复的业务流程。

图片[2]-Human in the Loop:高风险动作必须人工确认-大赛人网

这里最值得留意的是中间的待审批对象:它把风险判定结果变成一个有身份、参数和上下文的具体请求。后续的用户决定、恢复执行和审计记录,才有同一个对象可以关联。

图片[3]-Human in the Loop:高风险动作必须人工确认-大赛人网

完整链路:

图片[4]-Human in the Loop:高风险动作必须人工确认-大赛人网
© 版权声明
THE END
喜欢就支持一下吧
点赞9 分享
评论 抢沙发
头像-大赛人网
欢迎您留下宝贵的见解!
提交
头像-大赛人网

昵称

取消
昵称

    请登录后查看评论内容