题目 1:为什么 Tool Request 和 Tool Execution 必须拆成两个概念?
请结合模型概率性决策、权限、安全和不可逆副作用四个角度解释。
Tool Request 只是模型提出“我想做这个动作”,模型的判断可能受上下文、误解和概率性输出影响;Tool Execution 则是真正产生文件、数据库、Git 或系统副作用。权限与安全必须由确定性 Harness 控制,不能因为模型提出就自动执行。尤其删除文件、生产写入、git push 等动作可能不可逆,因此中间必须经过 Middleware 决策。
题目 2:Permission Check 与 Safety Check 有什么区别?
请分别用 DataAnalysisAgent 和 run_shell 的例子说明。
Permission Check 判断“当前角色有没有这类能力”,例如 DataAnalysisAgent 只允许 read-only SQL,因此即使 SQL 本身语法正确,也不能执行 UPDATE 生产表。Safety Check 则判断“这一次具体参数是否安全”,例如 CodingAgent 可以调用 run_shell,但
pytest -q可以允许,rm -rf /必须拒绝。前者偏角色与能力,后者偏具体动作风险。
题目 3:编程实现——实现一个最小 ToolMiddleware
要求 pytest -q 允许,git push 需要审批,rm -rf / 直接拒绝。
from dataclasses import dataclass @dataclass class Decision: action: str reason: str class ToolMiddleware: def check_shell( self, command: str, ) -> Decision: value = ( command .strip() .lower() ) if "rm -rf /" in value: return Decision( action="deny", reason=( "危险删除命令" ), ) if "git push" in value: return Decision( action=( "require_approval" ), reason=( "远程 Git 写操作" ), ) return Decision( action="allow", reason="通过检查", ) if __name__ == "__main__": middleware = ToolMiddleware() for command in [ "pytest -q", "git push origin main", "rm -rf /", ]: print( command, "->", middleware.check_shell( command ), ) #这只是第一版规则,但已经体现 allow、deny、require_approval 三类决策。
题目 4:为什么高风险操作不应该全部直接 DENY?
请结合 git push 和删除构建产物说明 Human in the Loop 的价值。
git push、删除 build 目录等动作有明显副作用,但在用户明确授权后可能完全合理。如果系统全部永久拒绝,Agent 的执行能力会过弱;如果全部自动允许,风险又过高。require_approval提供中间状态:Agent 可以提出动作,Middleware 暂停执行,用户确认后再继续。这样既保留能力,又保留人类最终控制权。
题目 5:为什么 Middleware 决策应该记录到 Run 和 Trace?
请从审计、Debug、风险统计和模型行为评估四个方面说明。
Middleware 记录能说明某个 Run 中模型提出过哪些高风险动作、命中了哪条策略、最终是允许、拒绝还是等待审批。发生问题时工程师可以复盘;安全团队可以统计危险 Tool Request 的频率;Agent Evaluation 可以观察某个模型是否更容易提出越权操作;用户界面也能展示“为什么当前任务暂停”。因此拦截事件和执行事件一样重要。
题目 6:为什么同一个 Tool Request 在 local 与 production 环境下可能得到不同结果?
请以 SQL UPDATE 或文件写入举例,并说明 MiddlewareContext 的作用。
安全风险不仅取决于动作本身,还取决于作用对象和环境。
UPDATE sandbox_table可能只是本地测试,而UPDATE production_orders会修改真实业务数据;写入 workspace 下临时文件与写/etc/hosts风险也完全不同。MiddlewareContext 提供 environment、workspace、agent_role、run_id 等信息,让 Policy 不只看字符串,而能结合执行上下文做判断。
题目 7:Middleware 和下一章 Human in the Loop 是什么关系?
请说明 require_approval 为什么是两章之间的接口。
Middleware 负责识别 Tool Request 的权限与风险,并作出
allow / deny / require_approval决策;当结果是require_approval时,Tool 不能立即执行,Run 应进入WAITING_APPROVAL。下一章 Human in the Loop 会实现用户批准接口和恢复执行流程。因此 Middleware 负责“发现需要人确认”,Human in the Loop 负责“如何等待、批准并继续”。
进一步阅读
- Policy Enforcement Point:理解为什么执行前要有统一策略执行点。
- RBAC / ABAC:了解基于角色和基于属性的权限控制思想。
- Command Allowlist / Denylist:学习 Shell Tool 的基础安全策略。
- SQL Parser / AST:比字符串匹配更稳地识别 SELECT、UPDATE、DROP 等语句类型。
- Sandbox:后续章节会继续限制工作目录、系统路径和 Shell 能力。
- Human in the Loop:下一节会把 require_approval 变成真正的等待与批准流程。
- Audit Log:理解 blocked Tool Request 为什么也属于重要审计事件。
- Zero Trust:把每一次 Tool Request 都当成需要验证的请求,而不是默认可信。
术语表
- Middleware:位于 Agent Tool Request 与真正 Tool Execution 之间的控制层,负责权限、风险、安全和审批判断。
- Tool Request:模型生成的工具调用意图,包括 tool_name 与 arguments,只代表“想调用”,不代表系统已经执行。
- Tool Execution:Harness 真正调用 Tool 并产生环境副作用的过程,例如写文件、执行 Shell、修改数据库。
- Permission Check:判断当前 Agent、用户或角色是否拥有某类工具或资源的使用资格。
- Safety Check:针对本次具体参数和环境进行风险检查,例如识别危险 Shell、破坏性 SQL 或越界路径。
- Risk Classification:把 Tool Request 划分为 low、medium、high、critical 等风险级别,用于决定允许、拒绝或审批。
- Require Approval:Middleware 判断动作高风险但并非绝对禁止时返回的决策,要求 Human in the Loop 确认后才能执行。
- MiddlewareContext:执行安全检查时使用的上下文,包括 agent_role、workspace、environment、session_id、run_id 等信息。
本章总结
这一节,我们真正开始控制:
Agent 能不能执行某个动作。
前面 RunGuard 解决:
什么时候必须停
System Reminder 解决:
怎么把跑偏的 Agent 拉回来
而 Middleware 解决:
即使模型坚持要做,
系统到底允不允许真的做。
这三层控制非常不一样。
本章最重要的原则是:
Tool Request 不等于 Tool Execution。
模型可以生成:
rm -rf
DROP TABLE
git push
删除文件
修改生产数据
但这只是一份动作申请。
真正执行之前,必须经过:
Middleware
↓
Permission
↓
Safety Check
↓
Risk Classification
↓
Decision
最终决策可能是:
ALLOW
DENY
REQUIRE_APPROVAL
这套结构让 Tool 系统从:
“模型想调用就调用”
变成:
“模型可以提出动作,
Harness 决定是否执行。”
这是工程化 Agent 很关键的边界。
我们还明确区分:
Tool Registry
和:
Middleware
Registry 管:
Tool 是否存在
怎么调用
Schema 是什么
Middleware 管:
有没有权限
参数安不安全
风险多高
是否需要审批
二者完全不同。
我们还加入:
MiddlewareContext
开始让安全判断考虑:
agent_role
workspace
environment
session_id
run_id
因为同一条命令,在不同环境风险完全不同。
比如:
UPDATE sandbox
和:
UPDATE production
不是一个级别。
我们实现了第一版:
ToolMiddleware
可以拦截:
rm -rf
DROP TABLE
git push
delete_file
write_production_data
并返回:
allow
deny
require_approval
当然,这一版使用字符串规则,只是教学起点。
未来可以继续升级:
Shell Parser
SQL AST
RBAC
ABAC
Sandbox
Policy Engine
但无论底层规则怎么变:
Middleware 这道墙必须存在。
我们还把 Middleware 接入:
ToolExecutor
Run
Trace
Streaming
因为被拦截的动作同样是重要事实。
真正可审计的 Agent 不只是记录:
做了什么
还要记录:
想做什么
为什么被拒绝
哪条策略命中
风险是什么
如果本章只记一句话,就是:
模型拥有建议权,Harness 拥有执行权。
下一节,我们会继续处理:
REQUIRE_APPROVAL
这类决策。
当 Middleware 发现:
git push
删除文件
生产写入
属于高风险但可能合法的动作时,不能直接执行,也不一定永久拒绝。
它应该让 Run 进入:
WAITING_APPROVAL
然后由人决定。
下一节就是:
Human in the Loop:高风险动作必须人工确认。

















请登录后查看评论内容