题目 1:为什么一个 while True 的 Agent Main Loop 容易陷入死循环?
请结合“局部动作合理、全局任务无进展”解释,并说明为什么不能完全依赖模型自己判断是否停止。
Agent 每一轮只需要为“下一步”找到一个看似合理的动作,因此即使连续失败,模型也可能继续认为应该读取更多文件、尝试更多修改或重新执行 Tool。局部看每一步都合理,但全局可能已经十几步没有产生新事实。模型适合提出动作,但是否超过资源预算属于确定性运行规则,必须由 Harness 强制控制,不能完全交给模型。
题目 2:MAX_STEPS、Timeout、Max Token、Max Tool Calls 分别限制什么?
请说明为什么它们不能互相完全替代。
MAX_STEPS 限制 Main Loop 最多推进多少步;Timeout 限制 Run 最长实际运行时间;Max Token 限制所有模型调用累计输入输出 Token;Max Tool Calls 限制环境动作数量。它们不能互相替代,因为一个 Step 可能耗时很久,一个 Tool Call 可能返回巨大结果,少量 Step 也可能消耗大量 Token,而大量 Tool Calls 也可能发生在少数模型轮次内。
题目 3:编程实现——写一个最小的 MAX_STEPS 保护
要求最多执行 5 步,超过后返回 budget_exceeded 和 MaxStepsExceeded,而不是进入无限循环。
MAX_STEPS = 5
def run_agent() -> dict:
step = 0
while step < MAX_STEPS:
step += 1
print(
"step:",
step,
)
task_done = False
if task_done:
return {
"status": "completed",
"steps": step,
}
return {
"status": "budget_exceeded",
"steps": step,
"error": {
"type": (
"MaxStepsExceeded"
),
"message": (
"maximum steps reached"
),
},
}
if __name__ == "__main__":
print(
run_agent()
)
#关键点不是数字 5,而是 Main Loop 必须有 Harness 层强制边界,并把终止转换为可查询的 Run 预算终态。
题目 4:为什么 Run Timeout 与 Tool Timeout 应该同时存在?
请用一个 run_shell("pytest") 卡死 10 分钟的例子说明。
Run Timeout 控制整个任务最长允许执行多久,例如 5 分钟;Tool Timeout 控制某一次具体工具调用,例如 pytest 最多 60 秒。如果只有 Run Timeout,单个 Tool 可能吃光全部任务时间;如果只有 Tool Timeout,Agent 可能连续执行很多个 60 秒 Tool,整体仍然过长。两层 Timeout 能分别限制局部动作和整体任务资源。
题目 5:为什么连续三次出现同一个错误是一个重要停止信号?
请说明它和 Error Recovery 的关系。
Error Recovery 的目标是根据失败信息改变策略并继续推进。如果同一个错误连续多次出现,说明当前恢复动作并没有改变系统状态,继续重复的边际价值很低。此时可以先注入 reminder,要求模型改变策略;若仍无进展,再停止 Run。也就是说 Recovery 负责“允许继续”,Error Budget 负责“继续到什么程度必须停”。
题目 6:为什么“不同 Tool Call”也可能构成死循环?
请用 read A → read B → read C → search D 的例子解释 No Progress。
死循环不一定表现为完全相同动作。Agent 可能不断读取不同文件、搜索不同关键词,但 Goal、Error、Completed 和关键事实始终没有变化。形式上动作不同,语义上却没有推进,这就是 No Progress Loop。因此重复 Tool Call 检测只能发现显式重复,还需要结合 Working Memory 更新、错误是否变化、是否产生新事实等信号判断任务是否真正前进。
题目 7:资源耗尽后,Run 为什么应该进入 BUDGET_EXCEEDED,而不是直接抛异常退出进程?
请结合 RunManager、Streaming 和 Trace 说明。
资源耗尽属于可预期的运行终止条件,不应该让服务失控崩溃。RunManager 应把状态从 RUNNING 更新为 BUDGET_EXCEEDED,写入 end_time 和结构化停止原因;Streaming 可以向前端发送“任务因达到最大步骤预算而停止”;Trace 继续保留之前完成的 Step、Tool Calls 和 Token。单独的终态能让我们区分程序错误、用户取消与预算停止,也方便后续统计预算是否设置得合理。
题目 8:Run Timeout、Tool Timeout 和 Watchdog 分别防什么?
Run Timeout 限制整个任务的总时长,并在步骤之间阻止继续推进;Tool Timeout 限制某一次 Shell、HTTP、SQL 或 Provider 调用;Watchdog 位于进程外,用于处理 Worker 卡死、失联或无法执行应用层检查的情况。三层需要共享同一个 deadline 思路,但不能互相替代。
题目 9:并行调用 5 个 Tool,但只剩 2 次额度时,为什么要先整批预留?
如果五个执行线程分别读取余额,可能都在额度尚未更新时通过检查,最终超额并产生不可撤销副作用。调度器应先在原子操作中预留整批 5 个名额;额度不足时拒绝整批,或根据公开规则截断并写入 Trace。只有预留成功的 Tool 才能开始执行。
进一步阅读
- Finite State Machine:理解 Run 生命周期与资源终止状态。
- Watchdog / Circuit Breaker:理解为什么运行系统需要外部保险丝。
- Timeout Design:区分 Run Timeout、Tool Timeout、Provider Timeout。
- Token Budgeting:把模型资源从“成本统计”升级为运行时限制。
- Retry Budget:Error Recovery 为什么必须与最大重试次数配合。
- Loop Detection:研究重复状态、重复动作和无进展检测。
- Agent Observability:资源预算与 Trace、Run Metrics 的结合。
- System Reminder:下一节会学习如何在真正终止前先把跑偏 Agent 拉回主线。
术语表
- 死循环(Infinite Loop):Agent 持续执行动作但无法自然结束的状态,常表现为重复 Tool Call、重复错误或长期无进展。
- MAX_STEPS:对单次 Run 最大 Main Loop 步数的硬限制,是防止 Agent 无限执行最基础的保险丝。
- Run Timeout:对整个 Agent Run 允许执行的最长实际时间限制,防止任务长期占用服务资源。
- Tool Timeout:对单次 Tool Call 的最大执行时间限制,用于避免 Shell、HTTP、SQL 等单个工具长期卡住。
- Token Budget:一次 Run 允许消耗的最大模型 Token 数量,可同时限制成本、延迟和 Context 膨胀。
- Tool Call Budget:一次 Run 允许执行的最大工具调用数量,可避免 Agent 在搜索、查询、Shell 等动作上无限扩张。
- RunGuard:统一检查 Steps、时间、Token、Tool Calls 等资源使用情况的运行时保护组件。
- ResourceUsage:某个 Run 已经实际消耗的步数、Token、Tool Call 与分工具调用次数;恢复执行时不能清零。
- BUDGET_EXCEEDED:资源边界触发后的明确 Run 终态,用来区别普通执行失败、用户取消与成功完成。
- 额度预留(Reservation):在并行 Tool 真正启动前,一次性占用整批资源额度,避免并发检查造成超额。
- Watchdog:位于 Agent 执行进程之外的看门狗,通过 Worker 心跳或 Lease 发现卡死、失联和超时任务。
- No Progress:Agent 虽然持续执行不同动作,但任务状态、错误、关键事实和完成项长期没有实质变化的情况。
本章总结
这一节,我们第一次真正开始给 Agent “踩刹车”。
前面的课程一直在告诉 Agent:
怎么思考
怎么调用 Tool
怎么恢复错误
怎么记住上下文
怎么跨 Session 工作
怎么服务化
但如果只有这些能力,没有停止边界,Agent 越强反而越危险。
最典型的失控模式就是:
read
↓
edit
↓
test
↓
失败
↓
read
↓
edit
↓
test
↓
……
模型每一步都可以给出一个合理解释。
但整个 Run 可能已经十几步没有进展。
所以这一章最重要的认识是,自主性必须有资源边界。
我们先加入最基础的:
MAX_STEPS = 30
它是最后一道保险丝。
即使重复检测、Error Recovery、Working Memory 全部失效,只要 Step 有上限,Agent 就不能无限开启新的决策轮次。单个阻塞调用仍要依靠 Provider / Tool Timeout 和进程外 Watchdog。
随后我们又扩展:
Timeout
Max Token
Max Tool Calls
因为一个 Step 不一定便宜。
一个 Tool 可能卡很久。
一次模型调用可能消耗大量 Token。
所以真正的 Run Budget 是多维的。
我们实现了:
ResourceBudget
ResourceUsage
RunGuard
让 AgentEngine 每一轮都可以检查:
步数还有没有
时间还有没有
Token 还有没有
Tool Call 额度还有没有
资源耗尽以后:
Run → BUDGET_EXCEEDED
而不是:
进程崩溃
while True 继续
这点非常重要。
BUDGET_EXCEEDED 不是模糊的 FAILED。它会保留具体停止代码、已使用额度、限制值和最后 Trace,让我们判断是任务异常,还是预算配置需要调整。
Agent 不是必须成功。
但必须:
可停止
可失败
可解释
我们还进一步讨论了更聪明的软停止条件:
Repeated Tool Call
Repeated Error
No Progress
例如:
read_file("app.py")
连续三次。
或者:
ModuleNotFoundError: requests
连续三次。
这都说明当前策略可能没有推进。
但这些高级检测不能替代硬预算。
因为死循环不一定重复完全相同动作。
Agent 也可能:
read A
read B
read C
search D
看似一直在探索。
其实没有产生任何新事实。
所以成熟方案是:
硬预算
+
重复检测
+
Working Memory
+
Error Budget
+
No Progress
一起工作。
预算本身也属于 Run 状态。重试和服务恢复继承已消耗 Usage,并行 Tool 在执行前整批预留,SubAgent 从父 Run 获得额度切片。否则看似完整的限制,很容易被重启、并发或委派绕过去。
到这里,我们对 Agent 的认识也更完整了。
真正的 Agent 不应该是,“模型想干多久就干多久。”
而应该是,模型在明确资源预算内自主选择下一步。
可以把它写成:
Autonomy
+
State
+
Budget
+
Guard
这才是工程化 Agent。
下一节,我们不会立刻终止每一个跑偏 Agent。
在真正停止之前,我们还可以先做一件事,提醒它。
也就是,System Reminder:把跑偏的 Agent 拉回来。
下一节我们会实现:
inject_reminder()
让系统定期把:
原始 Goal
已经完成什么
是否重复
还剩多少预算
什么时候应该结束
重新注入 Context。
有时候 Agent 并不是必须停止。
它只是,忘了自己最开始要干什么。
















请登录后查看评论内容