章末自测

题目 1:为什么一个 while True 的 Agent Main Loop 容易陷入死循环?

请结合“局部动作合理、全局任务无进展”解释,并说明为什么不能完全依赖模型自己判断是否停止。

Agent 每一轮只需要为“下一步”找到一个看似合理的动作,因此即使连续失败,模型也可能继续认为应该读取更多文件、尝试更多修改或重新执行 Tool。局部看每一步都合理,但全局可能已经十几步没有产生新事实。模型适合提出动作,但是否超过资源预算属于确定性运行规则,必须由 Harness 强制控制,不能完全交给模型。

题目 2:MAX_STEPS、Timeout、Max Token、Max Tool Calls 分别限制什么?

请说明为什么它们不能互相完全替代。

MAX_STEPS 限制 Main Loop 最多推进多少步;Timeout 限制 Run 最长实际运行时间;Max Token 限制所有模型调用累计输入输出 Token;Max Tool Calls 限制环境动作数量。它们不能互相替代,因为一个 Step 可能耗时很久,一个 Tool Call 可能返回巨大结果,少量 Step 也可能消耗大量 Token,而大量 Tool Calls 也可能发生在少数模型轮次内。

题目 3:编程实现——写一个最小的 MAX_STEPS 保护

要求最多执行 5 步,超过后返回 budget_exceeded 和 MaxStepsExceeded,而不是进入无限循环。

MAX_STEPS = 5


def run_agent() -> dict:
    step = 0

    while step < MAX_STEPS:
        step += 1

        print(
            "step:",
            step,
        )

        task_done = False

        if task_done:
            return {
                "status": "completed",
                "steps": step,
            }

    return {
        "status": "budget_exceeded",
        "steps": step,
        "error": {
            "type": (
                "MaxStepsExceeded"
            ),
            "message": (
                "maximum steps reached"
            ),
        },
    }


if __name__ == "__main__":
    print(
        run_agent()
    )
#关键点不是数字 5,而是 Main Loop 必须有 Harness 层强制边界,并把终止转换为可查询的 Run 预算终态。

题目 4:为什么 Run Timeout 与 Tool Timeout 应该同时存在?

请用一个 run_shell("pytest") 卡死 10 分钟的例子说明。

Run Timeout 控制整个任务最长允许执行多久,例如 5 分钟;Tool Timeout 控制某一次具体工具调用,例如 pytest 最多 60 秒。如果只有 Run Timeout,单个 Tool 可能吃光全部任务时间;如果只有 Tool Timeout,Agent 可能连续执行很多个 60 秒 Tool,整体仍然过长。两层 Timeout 能分别限制局部动作和整体任务资源。

题目 5:为什么连续三次出现同一个错误是一个重要停止信号?

请说明它和 Error Recovery 的关系。

Error Recovery 的目标是根据失败信息改变策略并继续推进。如果同一个错误连续多次出现,说明当前恢复动作并没有改变系统状态,继续重复的边际价值很低。此时可以先注入 reminder,要求模型改变策略;若仍无进展,再停止 Run。也就是说 Recovery 负责“允许继续”,Error Budget 负责“继续到什么程度必须停”。

题目 6:为什么“不同 Tool Call”也可能构成死循环?

请用 read A → read B → read C → search D 的例子解释 No Progress。

死循环不一定表现为完全相同动作。Agent 可能不断读取不同文件、搜索不同关键词,但 Goal、Error、Completed 和关键事实始终没有变化。形式上动作不同,语义上却没有推进,这就是 No Progress Loop。因此重复 Tool Call 检测只能发现显式重复,还需要结合 Working Memory 更新、错误是否变化、是否产生新事实等信号判断任务是否真正前进。

题目 7:资源耗尽后,Run 为什么应该进入 BUDGET_EXCEEDED,而不是直接抛异常退出进程?

请结合 RunManager、Streaming 和 Trace 说明。

资源耗尽属于可预期的运行终止条件,不应该让服务失控崩溃。RunManager 应把状态从 RUNNING 更新为 BUDGET_EXCEEDED,写入 end_time 和结构化停止原因;Streaming 可以向前端发送“任务因达到最大步骤预算而停止”;Trace 继续保留之前完成的 Step、Tool Calls 和 Token。单独的终态能让我们区分程序错误、用户取消与预算停止,也方便后续统计预算是否设置得合理。

题目 8:Run Timeout、Tool Timeout 和 Watchdog 分别防什么?

Run Timeout 限制整个任务的总时长,并在步骤之间阻止继续推进;Tool Timeout 限制某一次 Shell、HTTP、SQL 或 Provider 调用;Watchdog 位于进程外,用于处理 Worker 卡死、失联或无法执行应用层检查的情况。三层需要共享同一个 deadline 思路,但不能互相替代。

题目 9:并行调用 5 个 Tool,但只剩 2 次额度时,为什么要先整批预留?

如果五个执行线程分别读取余额,可能都在额度尚未更新时通过检查,最终超额并产生不可撤销副作用。调度器应先在原子操作中预留整批 5 个名额;额度不足时拒绝整批,或根据公开规则截断并写入 Trace。只有预留成功的 Tool 才能开始执行。

进一步阅读

  • Finite State Machine:理解 Run 生命周期与资源终止状态。
  • Watchdog / Circuit Breaker:理解为什么运行系统需要外部保险丝。
  • Timeout Design:区分 Run Timeout、Tool Timeout、Provider Timeout。
  • Token Budgeting:把模型资源从“成本统计”升级为运行时限制。
  • Retry Budget:Error Recovery 为什么必须与最大重试次数配合。
  • Loop Detection:研究重复状态、重复动作和无进展检测。
  • Agent Observability:资源预算与 Trace、Run Metrics 的结合。
  • System Reminder:下一节会学习如何在真正终止前先把跑偏 Agent 拉回主线。

术语表

  • 死循环(Infinite Loop):Agent 持续执行动作但无法自然结束的状态,常表现为重复 Tool Call、重复错误或长期无进展。
  • MAX_STEPS:对单次 Run 最大 Main Loop 步数的硬限制,是防止 Agent 无限执行最基础的保险丝。
  • Run Timeout:对整个 Agent Run 允许执行的最长实际时间限制,防止任务长期占用服务资源。
  • Tool Timeout:对单次 Tool Call 的最大执行时间限制,用于避免 Shell、HTTP、SQL 等单个工具长期卡住。
  • Token Budget:一次 Run 允许消耗的最大模型 Token 数量,可同时限制成本、延迟和 Context 膨胀。
  • Tool Call Budget:一次 Run 允许执行的最大工具调用数量,可避免 Agent 在搜索、查询、Shell 等动作上无限扩张。
  • RunGuard:统一检查 Steps、时间、Token、Tool Calls 等资源使用情况的运行时保护组件。
  • ResourceUsage:某个 Run 已经实际消耗的步数、Token、Tool Call 与分工具调用次数;恢复执行时不能清零。
  • BUDGET_EXCEEDED:资源边界触发后的明确 Run 终态,用来区别普通执行失败、用户取消与成功完成。
  • 额度预留(Reservation):在并行 Tool 真正启动前,一次性占用整批资源额度,避免并发检查造成超额。
  • Watchdog:位于 Agent 执行进程之外的看门狗,通过 Worker 心跳或 Lease 发现卡死、失联和超时任务。
  • No Progress:Agent 虽然持续执行不同动作,但任务状态、错误、关键事实和完成项长期没有实质变化的情况。

本章总结

这一节,我们第一次真正开始给 Agent “踩刹车”。

前面的课程一直在告诉 Agent:

怎么思考
怎么调用 Tool
怎么恢复错误
怎么记住上下文
怎么跨 Session 工作
怎么服务化

但如果只有这些能力,没有停止边界,Agent 越强反而越危险。

最典型的失控模式就是:

read
 ↓
edit
 ↓
test
 ↓
失败
 ↓
read
 ↓
edit
 ↓
test
 ↓
……

模型每一步都可以给出一个合理解释。

但整个 Run 可能已经十几步没有进展。

所以这一章最重要的认识是,自主性必须有资源边界。

我们先加入最基础的:

MAX_STEPS = 30

它是最后一道保险丝。

即使重复检测、Error Recovery、Working Memory 全部失效,只要 Step 有上限,Agent 就不能无限开启新的决策轮次。单个阻塞调用仍要依靠 Provider / Tool Timeout 和进程外 Watchdog。

随后我们又扩展:

Timeout
Max Token
Max Tool Calls

因为一个 Step 不一定便宜。

一个 Tool 可能卡很久。

一次模型调用可能消耗大量 Token。

所以真正的 Run Budget 是多维的。

我们实现了:

ResourceBudget
ResourceUsage
RunGuard

让 AgentEngine 每一轮都可以检查:

步数还有没有
时间还有没有
Token 还有没有
Tool Call 额度还有没有

资源耗尽以后:

Run → BUDGET_EXCEEDED

而不是:

进程崩溃
while True 继续

这点非常重要。

BUDGET_EXCEEDED 不是模糊的 FAILED。它会保留具体停止代码、已使用额度、限制值和最后 Trace,让我们判断是任务异常,还是预算配置需要调整。

Agent 不是必须成功。

但必须:

可停止
可失败
可解释

我们还进一步讨论了更聪明的软停止条件:

Repeated Tool Call
Repeated Error
No Progress

例如:

read_file("app.py")

连续三次。

或者:

ModuleNotFoundError: requests

连续三次。

这都说明当前策略可能没有推进。

但这些高级检测不能替代硬预算。

因为死循环不一定重复完全相同动作。

Agent 也可能:

read A
read B
read C
search D

看似一直在探索。

其实没有产生任何新事实。

所以成熟方案是:

硬预算
+
重复检测
+
Working Memory
+
Error Budget
+
No Progress

一起工作。

预算本身也属于 Run 状态。重试和服务恢复继承已消耗 Usage,并行 Tool 在执行前整批预留,SubAgent 从父 Run 获得额度切片。否则看似完整的限制,很容易被重启、并发或委派绕过去。

到这里,我们对 Agent 的认识也更完整了。

真正的 Agent 不应该是,“模型想干多久就干多久。”

而应该是,模型在明确资源预算内自主选择下一步。

可以把它写成:

Autonomy
+
State
+
Budget
+
Guard

这才是工程化 Agent。

下一节,我们不会立刻终止每一个跑偏 Agent。

在真正停止之前,我们还可以先做一件事,提醒它。

也就是,System Reminder:把跑偏的 Agent 拉回来。

下一节我们会实现:

inject_reminder()

让系统定期把:

原始 Goal
已经完成什么
是否重复
还剩多少预算
什么时候应该结束

重新注入 Context。

有时候 Agent 并不是必须停止。

它只是,忘了自己最开始要干什么。

© 版权声明
THE END
喜欢就支持一下吧
点赞9 分享
评论 抢沙发
头像-大赛人网
欢迎您留下宝贵的见解!
提交
头像-大赛人网

昵称

取消
昵称

    请登录后查看评论内容