场景背景
用户问:
“为什么昨天收入下降?”
Agent 查到一张生产配置表中:
rebate_rate
异常。
模型提出:
UPDATE production_policy
SET rebate_rate = 0.8
WHERE id = 42;
模型解释:
“这样可以修复收入问题。”
从目标导向看,它甚至很积极。
但这是生产写操作。
再看数据分析案例,判断逻辑和刚才又不一样。这里不是“风险高所以找人点一下就行”,而是当前分析角色本身只有只读权限。
![图片[1]-案例分析二:Data Analysis Agent 发现异常后想直接 UPDATE 生产表,为什么“为了修复问题”仍然不能越过安全边界?-大赛人网](https://www.dsrw.com/wp-content/uploads/2026/11/image-1678.png)
因此 Middleware 直接返回 DENY,Agent 可以改为输出建议 SQL 和修复说明,却不能把这段 SQL 真正提交给生产数据库。图中两条去向也提醒大家:拒绝执行,不等于停止提供有用的分析建议。
MiddlewareContext
environment = production
agent_role = DataAnalysisAgent
Permission:
DataAnalysisAgent
只允许 read-only SQL
因此:
DENY
不是 approval。
为什么?
因为这个 Agent 的角色本来就不应该修改生产数据。
Observation
当前 Agent 仅拥有只读分析权限。
禁止修改 production 数据。
你可以输出建议修改方案,但不能直接执行。
于是模型改变策略:
输出建议 SQL
而不是执行。
复盘
这个案例说明:
高风险判断不仅依赖命令,还依赖角色和环境。
同一个 SQL:
在 sandbox
可能允许。
在:
production
就可能拒绝。
常见误区
误解: Tool Registry 已经控制了 Agent 能用哪些 Tool,所以 Middleware 没必要。
正解: Registry 只解决“这个 Tool 是否存在、如何调用”,并不判断具体参数是否安全。run_shell("pytest -q") 和 run_shell("rm -rf /") 都属于同一个 Tool,但风险完全不同。Middleware 必须基于 Tool Request、参数、角色、环境和 Workspace 做二次决策,Registry 不能替代权限与安全控制。
误解: 只要 Prompt 里写“禁止删除文件、禁止操作生产环境”,就足够安全。
正解: Prompt 是软约束,模型可能忽略、误解或被复杂上下文带偏。真正的安全边界必须由程序确定性执行。即使模型生成了删除、DROP 或 production UPDATE,请求也必须在 Middleware 被阻止或转入 Approval。安全策略不能依赖模型自觉。
误解: 高风险操作全部 DENY 最安全,因此不需要 require_approval。
正解: 有些操作确实风险高,但在明确授权后又是合理业务动作,例如 git push、删除临时构建产物、生产配置变更。全部永久拒绝会让 Agent 能力过弱。更成熟的策略是区分 ALLOW / DENY / REQUIRE_APPROVAL,把合法但高风险的动作交给 Human in the Loop。
误解: Middleware 只要检查字符串里有没有 rm -rf、DROP TABLE 就足够。
正解: 字符串匹配适合教学第一版,但真实安全判断还要考虑命令变体、路径、SQL 结构、环境、角色和参数编码。比如 DELETE FROM production_x 没有 DROP TABLE,同样高风险。正确方向是保留 Middleware 抽象,再逐步升级 Parser、Policy Engine 和 Sandbox,而不是把简单 denylist 当最终方案。
误解: 被 Middleware 拒绝的 Tool Request 没有执行,所以没必要进入 Trace。
正解: 恰恰相反,被拒绝的请求非常有审计价值。它能告诉我们模型为什么想执行危险动作、哪条策略命中、是否频繁出现同类行为。RunStep、Trace 和安全统计都应该记录 blocked / approval 事件,这对故障复盘和后续 Agent Evaluation 都很重要。
误解: Permission 和 Safety Check 是同一回事,只需要做一个 if。
正解: Permission 回答“当前 Agent 是否有资格使用这类能力”,Safety 回答“即使有资格,这一次参数和环境是否安全”。DataAnalysisAgent 可能根本没有生产写权限,这是 Permission;CodingAgent 可以调用 Shell,但 rm -rf / 仍然不安全,这是 Safety。拆开以后策略更清晰,也更容易扩展角色和环境。
















请登录后查看评论内容