小节五:Human in the Loop 如何接入 Run、SQLite、Streaming 与 Trace——生产系统真正复杂的地方在“恢复”

到这里,人工审批已经不只是一个接口了:Run 需要知道自己在等待什么,数据库要保存相应上下文,Streaming 要告诉前端进度,Trace 则记录是谁在什么时候作出了什么决定。把这些能力放到同一张图里,就能看见它们各自解决的问题。

图片[1]-小节五:Human in the Loop 如何接入 Run、SQLite、Streaming 与 Trace——生产系统真正复杂的地方在“恢复”-大赛人网

可以把 SQLite 看成恢复依据,把 Streaming 看成对外通知,把 Trace 看成审计记录;它们彼此配合,但不能互相替代。图中的生命周期是示意,具体事件名与表字段请以本节代码为准。

Human in the Loop 真正难的地方,不是按钮。

而是:

暂停以后,怎么可靠恢复。

Run 要保存 WAITING_APPROVAL

数据库 runs.status:

waiting_approval

这样服务重启以后仍然知道:

这个任务不是失败,而是在等人。

Pending Action 要落库

建议未来增加:

approvals

表。

例如:

CREATE TABLE approvals (
    approval_id TEXT PRIMARY KEY,
    run_id TEXT NOT NULL,
    tool_name TEXT NOT NULL,
    arguments TEXT NOT NULL,
    risk TEXT NOT NULL,
    reason TEXT NOT NULL,
    status TEXT NOT NULL,
    created_at TEXT NOT NULL,
    resolved_at TEXT,
    FOREIGN KEY (run_id)
        REFERENCES runs(run_id)
);

这样服务重启以后:

Run
+
Pending Action

都能恢复。

Streaming 应该发什么?

进入审批:

event: approval_required

例如:

{
  "run_id": "run_xxx",
  "tool": "run_shell",
  "summary": "准备执行 git push origin main",
  "risk": "high"
}

批准以后:

event: approval_granted

拒绝:

event: approval_granted

用户实时知道:

为什么暂停
什么时候恢复

Trace 应该记录什么?

至少:

原 Tool Request
Middleware Decision
Approval ID
审批人
审批时间
审批结果
最终是否执行
Tool Result

这非常接近真正审计系统。

为什么审批人很重要?

真实生产里不能只记录:

approved = true

还要知道:

谁批准

例如:

user_id
role
permission

否则发生事故以后没有责任链。

课程本章先不接完整鉴权,但这个字段意识必须有。

Approval Timeout

如果用户一直不处理:

WAITING_APPROVAL

不能永远挂着。

可以设置:

24 小时

不能永远挂着。

可以设置:

24 小时

超时后:

FAILED

或者未来扩展:

CANCELLED

本课程目前 Run 还没有 CANCELLED,先用 FAILED 并标记:

ApprovalTimeout

即可。

服务重启后如何恢复?

还有一个很容易在 Demo 中漏掉的问题:用户可能几小时都不点批准,服务却可能在这段时间里重启。此时不能把原来的待审批操作丢掉,也不能重新让模型猜一个动作出来。

图片[2]-小节五:Human in the Loop 如何接入 Run、SQLite、Streaming 与 Trace——生产系统真正复杂的地方在“恢复”-大赛人网

恢复的关键,是把等待状态和 pending_action 持久化,再根据截止时间判断是继续等待还是触发 ApprovalTimeout。执行超时与审批等待超时也要分开理解;本课程当前超时策略以正文中 FAILED 并标记 ApprovalTimeout 的约定为准。

启动时查询:

SELECT *
FROM runs
WHERE status = 'waiting_approval';

然后加载对应:

pending_action

前端重新打开页面:

仍然能看到审批卡片

这才是真正:

持久化 Human in the Loop。

© 版权声明
THE END
喜欢就支持一下吧
点赞10 分享
评论 抢沙发
头像-大赛人网
欢迎您留下宝贵的见解!
提交
头像-大赛人网

昵称

取消
昵称

    请登录后查看评论内容