小节二:Pending Action 为什么必须保存——用户批准的是“具体动作”,不是一个模糊意图

为什么要费心保存 pending_action?把审批过程摊开后答案就很直观:需要留住的不只是“模型想删除文件”这类一句话,而是工具名、原始参数、风险原因以及关联的 Run 和审批标识。

图片[1]-小节二:Pending Action 为什么必须保存——用户批准的是“具体动作”,不是一个模糊意图-大赛人网

这样用户确认的是同一份具体操作,批准后也能够从持久化记录中取回原始参数。重新请求模型生成动作并不等价,因为新生成的工具名或参数可能已经变了;真正执行前仍要重新检查当前环境与权限。

Human in the Loop 最容易被忽略的第二个细节是:

到底在批准什么?

如果页面只显示:

Agent 请求高风险操作

用户点击“批准”。

这其实不够。

用户至少应该知道:

Tool 是什么?
参数是什么?
会影响什么资源?
为什么要做?
风险是什么?

例如:

Tool:
run_shell

Arguments:
{
  "command": "git push origin main"
}

Reason:
将已验证的修复推送到远程 main 分支

Risk:
high

这才是可审计的批准对象。

PendingAction 数据结构

可以设计:

from dataclasses import dataclass
from typing import Any


@dataclass
class PendingAction:
    approval_id: str
    run_id: str
    tool_name: str
    arguments: dict[str, Any]
    risk: str
    reason: str
    status: str = "pending"

最好有一个单独:

approval_id

为什么?

因为一个 Run 未来可能遇到不止一次审批。

例如:

第一次批准删除 build/
第二次批准 git push

如果只用 run_id 标识审批,就不够细。

为了保持教学接口简洁,本章先使用:

POST /runs/{id}/approve

但底层仍建议保留:

approval_id

为以后扩展。

为什么批准后必须执行原始 Pending Action?

假设原请求:

git push origin feature-x

用户批准。

如果这时重新询问模型:

“用户已经批准,请继续。”

模型可能生成:

git push origin main

动作已经变了。

这违反:

Approval Binding。

正确做法:

Approve
 ↓
读取 pending_action
 ↓
重新做一次最终 Middleware Check
 ↓
执行 pending_action 中保存的原 Tool + Arguments

而不是:

Approve
 ↓
重新让模型决定 Tool

为什么批准以后还要再做一次 Safety Check?

因为审批期间环境可能发生变化。

比如:

文件已经被其他进程修改
目标分支变化
数据库环境从 staging 切成 production
权限已经过期

所以批准不意味着:

无条件跳过所有安全检查。

更合理:

Approval
 ↓
Policy Revalidation
 ↓
Tool Execution

如果环境变化导致风险升级:

拒绝执行

并重新要求审批或结束。

Pending Action 应该持久化

不能只存在:

self.pending_action = ...

因为如果 Agent 正在等待批准时服务重启:

待批准动作不能丢。

所以 SQLite 后面可以增加:

approvals

表。

虽然第 22 节的基础表里还没有这张表,但从生产角度非常合理。

本章会演示最小版内存实现,同时说明真实系统应该落库。

© 版权声明
THE END
喜欢就支持一下吧
点赞7 分享
评论 抢沙发
头像-大赛人网
欢迎您留下宝贵的见解!
提交
头像-大赛人网

昵称

取消
昵称

    请登录后查看评论内容