题目 1:为什么 WAITING_APPROVAL 必须成为正式 Run 状态?
请从 Main Loop 暂停、前端展示、监控统计和服务重启恢复四个角度解释。
如果只返回“请确认”文本,系统并不知道 Run 是否仍在执行,也无法保证 Main Loop 真正暂停。WAITING_APPROVAL 明确表示任务还没有结束,但正在等待外部决定;前端可以展示审批 UI,监控可以把等待时间与执行时间分开,服务重启后数据库也能恢复这类 Run。它是任务生命周期的一部分,而不是普通消息。
题目 2:为什么批准以后必须执行原始 pending_action,而不是重新让 LLM 生成 Tool Call?
请用 git push origin feature-x 与 git push --force origin main 的例子说明。
用户批准时看到并接受的是一个具体动作及其风险。如果批准后重新询问模型,模型可能生成完全不同的 Tool Arguments,例如从 feature-x 变成 main,甚至加上
--force。这样实际执行内容与用户授权内容不一致。正确做法是持久化 pending_action,批准后重新进行必要安全检查,然后执行同一个 tool_name 与 arguments。
题目 3:编程实现——设计一个最小 PendingAction
要求包含 approval_id、run_id、tool_name、arguments、risk、reason、status,并创建一个 git push 待审批动作。
import uuid
from dataclasses import dataclass
from typing import Any
@dataclass
class PendingAction:
approval_id: str
run_id: str
tool_name: str
arguments: dict[str, Any]
risk: str
reason: str
status: str = "pending"
if __name__ == "__main__":
item = PendingAction(
approval_id=(
"appr_"
+ uuid.uuid4().hex[:10]
),
run_id="run_demo",
tool_name="run_shell",
arguments={
"command": (
"git push origin main"
)
},
risk="high",
reason=(
"推送已验证修改到远程仓库"
),
)
print(item)
#这个结构已经可以作为审批、Trace 和未来数据库 approvals 表的基础。
题目 4:为什么 approve API 必须防止重复执行?
请从网络重试、用户重复点击和非幂等 Tool 三个角度说明。
客户端请求可能因为超时自动重试,用户也可能重复点击按钮。如果服务端每次 approve 都执行 Tool,就可能导致重复删除、重复部署、重复写数据库等副作用。尤其很多 Tool 并非幂等,因此 ApprovalManager 应只允许
pending → approved一次,并进一步通过executed状态保证同一 pending_action 不能再次执行。重复请求应返回现有结果或 409,而不是重放动作。
题目 5:用户拒绝高风险动作后,Run 一定要 FAILED 吗?
请结合 Coding Agent 的 git push 例子说明为什么有时可以继续。
不一定。用户拒绝的可能只是某个额外动作,而不是整个任务。例如用户原始目标是“修复 Bug 并验证”,Agent 已经完成修复和测试,只是额外想 git push。用户拒绝 push 后,可以把拒绝作为 Observation 返回 Agent,让它停止远程写入并直接总结任务,Run 最终仍可 COMPLETED。只有当被拒绝动作是完成任务不可缺少的步骤且没有替代方案时,才可能 FAILED。
题目 6:Human in the Loop 与 Permission 有什么边界?
请解释为什么 DataAnalysisAgent 的 production UPDATE 不应该通过普通审批放行。
Permission 决定角色是否拥有某类能力,Human in the Loop 只处理“有资格做但风险高”的动作。若 DataAnalysisAgent 的角色政策明确只读,则 production UPDATE 属于 DENY,不应进入 approval。否则任何无权限动作都能靠某个人点击批准绕过,权限体系就失效。只有本身具备生产写权限的 DeploymentAgent 等角色,才可以对高风险写操作进入 WAITING_APPROVAL。
题目 7:服务在 WAITING_APPROVAL 时重启,怎样才能恢复审批流程?
请从 runs 表、approvals 表、pending_action 和前端恢复说明。
Run 的状态必须持久化为 waiting_approval,同时将 pending_action 单独写入 approvals 表,包括 approval_id、tool_name、arguments、risk、reason 和 status。服务启动时查询 waiting_approval Runs 并加载对应 pending actions,前端重新进入 Run 页面后即可重新展示审批卡片。这样审批不会依赖某个 Python 进程内存,用户批准后仍能准确恢复原动作。
进一步阅读
- Human-in-the-Loop Systems:理解自动化与人工决策如何组合。
- Approval Workflow:研究审批状态、幂等、超时和审计设计。
- Idempotency:高风险操作为什么必须防止重复提交和重复执行。
- State Machine:WAITING_APPROVAL 如何扩展 Run 生命周期。
- Audit Log:审批人、时间、动作、参数和结果为什么都要保存。
- RBAC / ABAC:明确哪些动作是可审批,哪些动作从权限层就必须拒绝。
- Durable Workflow:服务重启后如何从持久状态恢复等待中的任务。
- Sandbox:下一节会继续限制 Agent 能访问的工作目录和系统资源。
术语表
- Human in the Loop(HITL):在自动化 Agent 流程中,把高风险或关键动作暂停并交给人类决定是否继续的控制机制。
- WAITING_APPROVAL:Run 的正式生命周期状态,表示当前任务尚未结束,但正在等待用户或审批人的决定。
- Pending Action:被 Middleware 判定为需要审批、尚未执行的原始 Tool Request,必须保存具体 tool_name、arguments、risk 和 reason。
- Approval ID:唯一标识某一次审批请求的 ID,一个 Run 可以关联多个 Approval。
- Approval Binding:保证用户批准的动作与最终执行的 Tool Request 完全一致,防止批准后模型重新生成不同动作。
- Approval Revalidation:用户批准以后、真正执行之前,再次检查权限、环境和安全条件,防止等待期间上下文发生变化。
- Idempotent Approval:保证同一个审批请求即使被重复提交,也不会导致高风险 Tool 被重复执行。
- Approval Timeout:等待用户确认的最长时间,通常与 Agent Run 的执行 Timeout 分开管理。
本章总结
这一节,我们把上一章的:
REQUIRE_APPROVAL
真正做成了一个完整的生产级控制流程。
上一章 Middleware 负责:
识别风险
这一章 Human in the Loop 负责:
暂停
等待
批准或拒绝
恢复
最核心的状态变化是:
RUNNING
↓
WAITING_APPROVAL
进入这个状态以后:
Main Loop 暂停
Tool 不执行
Run 不结束
等待用户决定
用户批准:
POST /api/v1/runs/{run_id}/approve
以后:
读取原始 pending_action
↓
重新做 Safety / Permission Revalidation
↓
执行原 Tool Request
↓
Run 恢复 RUNNING
用户拒绝:
Tool 不执行
然后可以:
让 Agent 选择替代方案
或者:
在没有替代方案时结束任务。
这一章最重要的第一条原则是:
高风险动作要先停,再确认。
不能:
先执行
再问用户是否同意。
第二条原则是:
批准必须绑定具体 Pending Action。
用户批准的不是:
“让 Agent 继续。”
而应该是:
Tool:
run_shell
Arguments:
git push origin main
Risk:
high
Reason:
推送远程主分支
批准以后,系统必须执行:
同一个 Tool
同一份 Arguments
不能重新让模型生成一个新动作。
第三条原则是:
Approval 不等于自动执行成功。
所以审批状态最好区分:
pending
approved
executed
rejected
批准后 Tool 仍然可能失败。
第四条原则是:
审批不能绕过 Permission。如果:
DataAnalysisAgent
根本没有生产写权限,那么:
UPDATE production
应该:
DENY
而不是:
REQUIRE_APPROVAL
Human in the Loop 处理的是:
合法但高风险
不是:
本来就没有权限的动作。
第五条原则是:
审批流程必须可持久化。
真实系统中:
Run = waiting_approval
Pending Action = pending
都应该写进数据库。
服务重启以后,用户仍然可以继续批准。
Streaming 可以发:
approval_required
approval_granted
approval_rejected
Trace 可以记录:
谁申请
申请什么
谁批准
什么时候批准
最终是否执行
到这里,我们的 Agent 控制能力已经形成一个非常清楚的层次:
System Reminder
→ 软纠偏
RunGuard
→ 资源硬限制
Middleware
→ Tool 执行前检查
Human in the Loop
→ 高风险人工决策
这已经非常接近真正的生产 Agent。
下一节,我们会继续解决一个更底层的问题:
即使 Tool 被允许执行,它到底能访问哪些文件、哪些目录、哪些系统资源?
也就是:
权限、工作目录与 Sandbox。
下一节我们会开始限制:
workspace
/etc
~/.ssh
系统目录
任意危险 Shell
让 Agent 即使拿到了 Tool,也只能在明确边界里工作。

















请登录后查看评论内容