案例分析二:Data Analysis Agent 想修改生产数据,为什么某些动作应该“永远不能批准”?

最后这个案例强调另一条重要边界:审批并不是绕过权限的万能通行证。当前角色本来就没有生产写权限时,应该在安全策略处直接拒绝,而不是先交给用户批准。

图片[1]-案例分析二:Data Analysis Agent 想修改生产数据,为什么某些动作应该“永远不能批准”?-大赛人网

对照图中的两条分支理解就好:DENY 表示按当前策略不允许执行;REQUIRE_APPROVAL 则用于已经具备相应权限、只是仍需人确认的操作。图中的 SQL 是风险示例,不表示所有写 SQL 都可以通过审批放行;实际可审批范围由权限与变更策略决定。

场景背景

DataAnalysisAgent 发现:

production_policy

某个配置似乎异常。

模型提出:

UPDATE production_policy
SET rebate_rate = 0.85
WHERE policy_id = 1001;

Middleware 先检查 Permission:

role = DataAnalysisAgent

策略规定:

production write = DENY

这时不应该:

REQUIRE_APPROVAL

而是:

DENY

为什么?

因为 Human in the Loop 不是绕过所有权限的“万能开关”。

如果系统设计:

任何 DENY 都能靠审批解除

那么 Permission 形同虚设。

所以要区分:

不允许做

和:

可以做,但需要批准

比如:

DataAnalysisAgent 修改生产数据
→ DENY

而:

DeploymentAgent 发布到 production
→ REQUIRE_APPROVAL

后者角色本来有能力。

只是需要人确认。

正确行为

DataAnalysisAgent 收到:

当前角色无生产写权限。
你可以生成建议 SQL,
但不能提交审批或直接执行。

于是 Agent 输出:

建议修改方案

交给有权限的人或系统。

复盘

这说明:

Human in the Loop 不能替代 Permission。

它只处理:

有资格做,但风险高

的动作。

而不是:

没资格做,也能找个人点一下放行。

这条边界很重要。

常见误区

误解: Middleware 已经能返回 require_approval,所以 Human in the Loop 只是前端加两个按钮。
正解: 真正的 Human in the Loop 是后端生命周期能力。Run 必须进入 WAITING_APPROVAL,Main Loop 暂停,pending_action 必须被保存,批准或拒绝要有独立 API,批准后还要恢复执行并记录 Trace。前端按钮只是这个流程的一个入口,不是核心。

误解: 用户批准以后,再让模型重新生成一次 Tool Call 就行。
正解: 用户批准的是某个明确动作,例如 git push origin feature-x。如果批准后重新询问模型,它可能生成不同参数,甚至变成 git push --force origin main。因此批准必须绑定原始 pending_action,执行的 Tool 和 Arguments 必须与用户看到并批准的一致,必要时只做最终安全复检,不能重新让模型换动作。

误解: 一个 Run 只有一个审批,所以用 run_id 作为审批记录就足够。
正解: 简单 Demo 可以这么做,但生产 Run 可能依次遇到删除文件、推送 Git、部署环境等多个高风险动作。因此更稳的是每次审批拥有独立 approval_id,并与 run_id 关联。这样可以分别记录每个动作的状态、审批人、时间和最终执行结果。

误解: 用户点击两次 approve 也没关系,Tool 应该自己保证没问题。
正解: 这是危险的假设。高风险 Tool 可能不是幂等的,例如 DELETE、部署、生产写入等。ApprovalManager 必须确保只有 pending 状态可以批准,并通过 approved/executed 等状态防止重复执行。审批接口本身应该设计幂等或冲突保护,而不能把风险推给 Tool。

误解: 只要用户批准,就可以跳过 Middleware 再检查。
正解: 审批可能等待很久,期间环境、目标资源、权限或分支都可能变化。批准代表用户接受原动作的风险,不代表系统放弃安全约束。执行前仍应重新做必要的 Permission/Safety Revalidation,如果环境发生关键变化,应阻止执行或要求重新审批。

误解: Human in the Loop 可以让任何被 DENY 的动作通过人工批准。
正解: DENY 与 REQUIRE_APPROVAL 必须严格区分。DENY 表示当前角色或系统政策明确不允许,例如 DataAnalysisAgent 修改生产数据;Require Approval 表示动作本身合法,但风险高,需要人确认。人工审批不能成为绕过基础权限模型的后门,否则整个 Middleware 权限体系都会失去意义。

© 版权声明
THE END
喜欢就支持一下吧
点赞6 分享
评论 抢沙发
头像-大赛人网
欢迎您留下宝贵的见解!
提交
头像-大赛人网

昵称

取消
昵称

    请登录后查看评论内容