最后这个案例强调另一条重要边界:审批并不是绕过权限的万能通行证。当前角色本来就没有生产写权限时,应该在安全策略处直接拒绝,而不是先交给用户批准。
![图片[1]-案例分析二:Data Analysis Agent 想修改生产数据,为什么某些动作应该“永远不能批准”?-大赛人网](https://www.dsrw.com/wp-content/uploads/2026/11/image-1690.png)
对照图中的两条分支理解就好:DENY 表示按当前策略不允许执行;REQUIRE_APPROVAL 则用于已经具备相应权限、只是仍需人确认的操作。图中的 SQL 是风险示例,不表示所有写 SQL 都可以通过审批放行;实际可审批范围由权限与变更策略决定。
场景背景
DataAnalysisAgent 发现:
production_policy
某个配置似乎异常。
模型提出:
UPDATE production_policy
SET rebate_rate = 0.85
WHERE policy_id = 1001;
Middleware 先检查 Permission:
role = DataAnalysisAgent
策略规定:
production write = DENY
这时不应该:
REQUIRE_APPROVAL
而是:
DENY
为什么?
因为 Human in the Loop 不是绕过所有权限的“万能开关”。
如果系统设计:
任何 DENY 都能靠审批解除
那么 Permission 形同虚设。
所以要区分:
不允许做
和:
可以做,但需要批准
比如:
DataAnalysisAgent 修改生产数据
→ DENY
而:
DeploymentAgent 发布到 production
→ REQUIRE_APPROVAL
后者角色本来有能力。
只是需要人确认。
正确行为
DataAnalysisAgent 收到:
当前角色无生产写权限。
你可以生成建议 SQL,
但不能提交审批或直接执行。
于是 Agent 输出:
建议修改方案
交给有权限的人或系统。
复盘
这说明:
Human in the Loop 不能替代 Permission。
它只处理:
有资格做,但风险高
的动作。
而不是:
没资格做,也能找个人点一下放行。
这条边界很重要。
常见误区
误解: Middleware 已经能返回 require_approval,所以 Human in the Loop 只是前端加两个按钮。
正解: 真正的 Human in the Loop 是后端生命周期能力。Run 必须进入 WAITING_APPROVAL,Main Loop 暂停,pending_action 必须被保存,批准或拒绝要有独立 API,批准后还要恢复执行并记录 Trace。前端按钮只是这个流程的一个入口,不是核心。
误解: 用户批准以后,再让模型重新生成一次 Tool Call 就行。
正解: 用户批准的是某个明确动作,例如 git push origin feature-x。如果批准后重新询问模型,它可能生成不同参数,甚至变成 git push --force origin main。因此批准必须绑定原始 pending_action,执行的 Tool 和 Arguments 必须与用户看到并批准的一致,必要时只做最终安全复检,不能重新让模型换动作。
误解: 一个 Run 只有一个审批,所以用 run_id 作为审批记录就足够。
正解: 简单 Demo 可以这么做,但生产 Run 可能依次遇到删除文件、推送 Git、部署环境等多个高风险动作。因此更稳的是每次审批拥有独立 approval_id,并与 run_id 关联。这样可以分别记录每个动作的状态、审批人、时间和最终执行结果。
误解: 用户点击两次 approve 也没关系,Tool 应该自己保证没问题。
正解: 这是危险的假设。高风险 Tool 可能不是幂等的,例如 DELETE、部署、生产写入等。ApprovalManager 必须确保只有 pending 状态可以批准,并通过 approved/executed 等状态防止重复执行。审批接口本身应该设计幂等或冲突保护,而不能把风险推给 Tool。
误解: 只要用户批准,就可以跳过 Middleware 再检查。
正解: 审批可能等待很久,期间环境、目标资源、权限或分支都可能变化。批准代表用户接受原动作的风险,不代表系统放弃安全约束。执行前仍应重新做必要的 Permission/Safety Revalidation,如果环境发生关键变化,应阻止执行或要求重新审批。
误解: Human in the Loop 可以让任何被 DENY 的动作通过人工批准。
正解: DENY 与 REQUIRE_APPROVAL 必须严格区分。DENY 表示当前角色或系统政策明确不允许,例如 DataAnalysisAgent 修改生产数据;Require Approval 表示动作本身合法,但风险高,需要人确认。人工审批不能成为绕过基础权限模型的后门,否则整个 Middleware 权限体系都会失去意义。

















请登录后查看评论内容