小节一:Tool Request 为什么绝对不能等于 Tool Execution——模型只能提出动作,Harness 才拥有执行权

这是本章最重要的概念边界。

Tool Request ≠ Tool Execution。

Tool Request 是:

模型提出:
我希望调用 run_shell
参数是 {"command": "git push origin main"}

Tool Execution 是:

操作系统真的执行了 git push

两者之间必须有程序控制层。

为什么模型不应该直接拥有执行权?

因为模型输出本质是概率性决策。

它擅长:

理解任务
选择可能有用的动作
根据 Observation 调整策略

但它不擅长承担:

最终权限判定
强安全约束
生产风险控制
不可逆操作审批

这些都应该是确定性系统逻辑。

一个危险的最小实现

def execute_tool_call(
    registry,
    tool_name: str,
    arguments: dict,
):
    tool = registry.get(
        tool_name
    )

    return tool(
        **arguments
    )

这个实现的问题不是代码错。

而是它隐含:

只要模型能生成 Tool Call
→ 就有执行权限

这相当于:

把 Tool Registry 当成权限系统。

但 Tool Registry 只是:

有哪些 Tool
Tool 怎么调用

它不负责:

谁能调用
什么时候能调用
哪些参数能调用

Registry 和 Middleware 的区别

Tool Registry 回答:

“这个 Tool 是否存在?”

Middleware 回答:

“这个 Tool Request 是否允许执行?”

这两个组件经常被写进同一段代码,但它们问的问题并不一样。Registry 能回答“有没有这个工具”,不能因为查到了函数,就顺手把授权也当作通过了。

图片[1]-小节一:Tool Request 为什么绝对不能等于 Tool Execution——模型只能提出动作,Harness 才拥有执行权-大赛人网

可以把 Registry 当作工具目录,把 Middleware 当作执行前的检查点。目录里存在 run_shell,并不代表任何 Agent 都能随便用它,更不代表任何 Shell 参数都能通过。

比如:

run_shell

当然存在。

但:

run_shell("pytest -q")

和:

run_shell("rm -rf /")

风险完全不同。

Registry 看不出来。

Middleware 必须看:

tool_name
arguments
session
run
workspace
user / agent permission
environment

Permission Check 解决什么?

Permission 更像:

“你有没有资格做这件事?”

例如:

read_file
ALLOW

write_file
ALLOW

delete_file
REQUIRE_APPROVAL

deploy_production
DENY

或者某个 Agent Role:

ResearchAgent:
只允许 read/search

CodingAgent:
允许 read/edit/test

DeploymentAgent:
才允许 deploy

Safety Check 解决什么?

Safety 更像:

“即使你有这个 Tool 权限,这一次参数安全吗?”

例如:

run_shell

本身允许。

但命令:

pytest -q

安全。

而:

rm -rf .

危险。

再比如:

query_sql

允许 SELECT。

但:

DROP TABLE

拒绝。

所以 Permission 和 Safety 不是同一层。

这里最容易混淆的是“有调用资格”和“这次调用安全”之间的差别。比如 Coding Agent 可以拥有 run_shell 权限,但它提交的某个命令仍可能被拦下来。

图片[2]-小节一:Tool Request 为什么绝对不能等于 Tool Execution——模型只能提出动作,Harness 才拥有执行权-大赛人网

所以设计策略时,不要只写一个 allowed_tools 列表就结束。工具级权限解决“谁能用”,具体参数和环境仍要单独检查。

一个非常实用的抽象

可以把 Tool Execution 写成:

存在性检查
 ↓
权限检查
 ↓
参数检查
 ↓
风险检查
 ↓
审批检查
 ↓
真正执行

任何一步不过:

不执行 Tool。

这就是“墙”。

© 版权声明
THE END
喜欢就支持一下吧
点赞11 分享
评论 抢沙发
头像-大赛人网
欢迎您留下宝贵的见解!
提交
头像-大赛人网

昵称

取消
昵称

    请登录后查看评论内容