章末自测

题目 1:为什么 WAITING_APPROVAL 必须成为正式 Run 状态?

请从 Main Loop 暂停、前端展示、监控统计和服务重启恢复四个角度解释。

如果只返回“请确认”文本,系统并不知道 Run 是否仍在执行,也无法保证 Main Loop 真正暂停。WAITING_APPROVAL 明确表示任务还没有结束,但正在等待外部决定;前端可以展示审批 UI,监控可以把等待时间与执行时间分开,服务重启后数据库也能恢复这类 Run。它是任务生命周期的一部分,而不是普通消息。

题目 2:为什么批准以后必须执行原始 pending_action,而不是重新让 LLM 生成 Tool Call?

请用 git push origin feature-x 与 git push --force origin main 的例子说明。

用户批准时看到并接受的是一个具体动作及其风险。如果批准后重新询问模型,模型可能生成完全不同的 Tool Arguments,例如从 feature-x 变成 main,甚至加上 --force。这样实际执行内容与用户授权内容不一致。正确做法是持久化 pending_action,批准后重新进行必要安全检查,然后执行同一个 tool_name 与 arguments。

题目 3:编程实现——设计一个最小 PendingAction

要求包含 approval_id、run_id、tool_name、arguments、risk、reason、status,并创建一个 git push 待审批动作。

import uuid
from dataclasses import dataclass
from typing import Any


@dataclass
class PendingAction:
    approval_id: str
    run_id: str
    tool_name: str
    arguments: dict[str, Any]
    risk: str
    reason: str
    status: str = "pending"


if __name__ == "__main__":
    item = PendingAction(
        approval_id=(
            "appr_"
            + uuid.uuid4().hex[:10]
        ),
        run_id="run_demo",
        tool_name="run_shell",
        arguments={
            "command": (
                "git push origin main"
            )
        },
        risk="high",
        reason=(
            "推送已验证修改到远程仓库"
        ),
    )

    print(item)
#这个结构已经可以作为审批、Trace 和未来数据库 approvals 表的基础。

题目 4:为什么 approve API 必须防止重复执行?

请从网络重试、用户重复点击和非幂等 Tool 三个角度说明。

客户端请求可能因为超时自动重试,用户也可能重复点击按钮。如果服务端每次 approve 都执行 Tool,就可能导致重复删除、重复部署、重复写数据库等副作用。尤其很多 Tool 并非幂等,因此 ApprovalManager 应只允许 pending → approved 一次,并进一步通过 executed 状态保证同一 pending_action 不能再次执行。重复请求应返回现有结果或 409,而不是重放动作。

题目 5:用户拒绝高风险动作后,Run 一定要 FAILED 吗?

请结合 Coding Agent 的 git push 例子说明为什么有时可以继续。

不一定。用户拒绝的可能只是某个额外动作,而不是整个任务。例如用户原始目标是“修复 Bug 并验证”,Agent 已经完成修复和测试,只是额外想 git push。用户拒绝 push 后,可以把拒绝作为 Observation 返回 Agent,让它停止远程写入并直接总结任务,Run 最终仍可 COMPLETED。只有当被拒绝动作是完成任务不可缺少的步骤且没有替代方案时,才可能 FAILED。

题目 6:Human in the Loop 与 Permission 有什么边界?

请解释为什么 DataAnalysisAgent 的 production UPDATE 不应该通过普通审批放行。

Permission 决定角色是否拥有某类能力,Human in the Loop 只处理“有资格做但风险高”的动作。若 DataAnalysisAgent 的角色政策明确只读,则 production UPDATE 属于 DENY,不应进入 approval。否则任何无权限动作都能靠某个人点击批准绕过,权限体系就失效。只有本身具备生产写权限的 DeploymentAgent 等角色,才可以对高风险写操作进入 WAITING_APPROVAL。

题目 7:服务在 WAITING_APPROVAL 时重启,怎样才能恢复审批流程?

请从 runs 表、approvals 表、pending_action 和前端恢复说明。

Run 的状态必须持久化为 waiting_approval,同时将 pending_action 单独写入 approvals 表,包括 approval_id、tool_name、arguments、risk、reason 和 status。服务启动时查询 waiting_approval Runs 并加载对应 pending actions,前端重新进入 Run 页面后即可重新展示审批卡片。这样审批不会依赖某个 Python 进程内存,用户批准后仍能准确恢复原动作。

进一步阅读

  • Human-in-the-Loop Systems:理解自动化与人工决策如何组合。
  • Approval Workflow:研究审批状态、幂等、超时和审计设计。
  • Idempotency:高风险操作为什么必须防止重复提交和重复执行。
  • State Machine:WAITING_APPROVAL 如何扩展 Run 生命周期。
  • Audit Log:审批人、时间、动作、参数和结果为什么都要保存。
  • RBAC / ABAC:明确哪些动作是可审批,哪些动作从权限层就必须拒绝。
  • Durable Workflow:服务重启后如何从持久状态恢复等待中的任务。
  • Sandbox:下一节会继续限制 Agent 能访问的工作目录和系统资源。

术语表

  • Human in the Loop(HITL):在自动化 Agent 流程中,把高风险或关键动作暂停并交给人类决定是否继续的控制机制。
  • WAITING_APPROVAL:Run 的正式生命周期状态,表示当前任务尚未结束,但正在等待用户或审批人的决定。
  • Pending Action:被 Middleware 判定为需要审批、尚未执行的原始 Tool Request,必须保存具体 tool_name、arguments、risk 和 reason。
  • Approval ID:唯一标识某一次审批请求的 ID,一个 Run 可以关联多个 Approval。
  • Approval Binding:保证用户批准的动作与最终执行的 Tool Request 完全一致,防止批准后模型重新生成不同动作。
  • Approval Revalidation:用户批准以后、真正执行之前,再次检查权限、环境和安全条件,防止等待期间上下文发生变化。
  • Idempotent Approval:保证同一个审批请求即使被重复提交,也不会导致高风险 Tool 被重复执行。
  • Approval Timeout:等待用户确认的最长时间,通常与 Agent Run 的执行 Timeout 分开管理。

本章总结

这一节,我们把上一章的:

REQUIRE_APPROVAL

真正做成了一个完整的生产级控制流程。

上一章 Middleware 负责:

识别风险

这一章 Human in the Loop 负责:

暂停
等待
批准或拒绝
恢复

最核心的状态变化是:

RUNNING
 ↓
WAITING_APPROVAL

进入这个状态以后:

Main Loop 暂停
Tool 不执行
Run 不结束
等待用户决定

用户批准:

POST /api/v1/runs/{run_id}/approve

以后:

读取原始 pending_action
 ↓
重新做 Safety / Permission Revalidation
 ↓
执行原 Tool Request
 ↓
Run 恢复 RUNNING

用户拒绝:

Tool 不执行

然后可以:

让 Agent 选择替代方案

或者:

在没有替代方案时结束任务。

这一章最重要的第一条原则是:

高风险动作要先停,再确认。

不能:

先执行
再问用户是否同意。

第二条原则是:

批准必须绑定具体 Pending Action。

用户批准的不是:

“让 Agent 继续。”

而应该是:

Tool:
run_shell

Arguments:
git push origin main

Risk:
high

Reason:
推送远程主分支

批准以后,系统必须执行:

同一个 Tool
同一份 Arguments

不能重新让模型生成一个新动作。

第三条原则是:

Approval 不等于自动执行成功。

所以审批状态最好区分:

pending
approved
executed
rejected

批准后 Tool 仍然可能失败。

第四条原则是:

审批不能绕过 Permission。如果:

DataAnalysisAgent

根本没有生产写权限,那么:

UPDATE production

应该:

DENY

而不是:

REQUIRE_APPROVAL

Human in the Loop 处理的是:

合法但高风险

不是:

本来就没有权限的动作。

第五条原则是:

审批流程必须可持久化。

真实系统中:

Run = waiting_approval
Pending Action = pending

都应该写进数据库。

服务重启以后,用户仍然可以继续批准。

Streaming 可以发:

approval_required
approval_granted
approval_rejected

Trace 可以记录:

谁申请
申请什么
谁批准
什么时候批准
最终是否执行

到这里,我们的 Agent 控制能力已经形成一个非常清楚的层次:

System Reminder
→ 软纠偏

RunGuard
→ 资源硬限制

Middleware
→ Tool 执行前检查

Human in the Loop
→ 高风险人工决策

这已经非常接近真正的生产 Agent。

下一节,我们会继续解决一个更底层的问题:

即使 Tool 被允许执行,它到底能访问哪些文件、哪些目录、哪些系统资源?

也就是:

权限、工作目录与 Sandbox。

下一节我们会开始限制:

workspace
/etc
~/.ssh
系统目录
任意危险 Shell

让 Agent 即使拿到了 Tool,也只能在明确边界里工作。

© 版权声明
THE END
喜欢就支持一下吧
点赞10 分享
评论 抢沙发
头像-大赛人网
欢迎您留下宝贵的见解!
提交
头像-大赛人网

昵称

取消
昵称

    请登录后查看评论内容