不改模型权重,让智能体自己进化:脚手架自我改良的路线图
不改模型权重,让智能体自己进化:脚手架自我改良的路线图
一句话版本:智能体最该被持续打磨的不是模型权重,而是包裹它的「脚手架」——提示词、记忆、工作流、可执行组件;用执行反馈驱动这些部分迭代、并让通过校验的改动持久化,智能体就能在不重训模型的前提下越用越强。
一个常见的误区是:想让智能体变强,就得换更强的模型、或者重新训练。但这篇 66 页的综合论述指出了另一条路——脚手架自我进化(Harness Self-Evolution):保持模型权重不动,只迭代智能体外围的那层「软件脚手架」,同样能让系统持续适应变化。
什么是「脚手架」
论文把智能体拆成两层:内核是模型权重,外壳是脚手架(harness)——包括提示词、记忆、工作流、工具与可执行组件。脚手架直接塑造了模型在具体任务里的行为边界:同一个模型,配上不同的脚手架,表现可以差出几个段位。
论文把脚手架的改动分成两类,按「改动边界」划分:
- 解释型状态更新(interpreted-state updates):改的是指令、存储的经验、任务级的协调逻辑——它们修改的是「怎么调用既有能力」,不触及能力本身的实现。比如优化一段提示词、把上次失败的经验写进记忆、调整任务之间的编排顺序。
- 可执行修订(executable revisions):改的是能力实现本身——工具的代码、运行时控制逻辑、插件化的服务组合。这一类改动更重,影响也更深。
为什么要聚焦脚手架而不是模型权重?论文给了三个理由:第一,脚手架直接决定模型在任务里的行为,是性能的杠杆点;第二,改脚手架可以复用既有模型部署,省去重训和额外权重检查点的成本;第三,指令、记忆、代码都可被直接检视、可版本化、可回滚——这在需要问责和审计的场景里至关重要。
反馈驱动的持久化进化
自我进化的核心机制是一句话:用执行反馈生成候选改动,让通过校验的改动持久化到后续运行。
这里有几个关键设计:
1. 更新目标与提案/准入机制分离。改什么(目标)、谁来提改动(提案)、改动怎么被接受(准入),是三个独立的环节。分开它们,才能分别优化——比如提案可以激进,准入必须保守。
2. 改动跨运行持久化。被接受的修订会写回脚手架,下一次运行自动加载。没有持久化,所谓「自我进化」就只是当次运行的临时调整,积累不起来。
3. 独立验证数据把关准入。论文借用经典学习理论(持续 PAC 学习),推导出:只有用新鲜的、独立于训练的验证数据来判定一个改动是否合格,才能以高概率保证它真的带来改进、而不是过拟合到历史样本。
三条理论底线:泛化、保留、准入
这篇论述最扎实的部分,是把「脚手架搜索」映射到进化优化的结构上,并给出了三条条件性的理论结论:
- 期望泛化界:在明确假设下,脚手架改动在未见任务上的表现,可以被一个期望上界约束——说明进化不是玄学,收益有可分析的边界。
- 保留界(retention bound):持续进化最怕的不是「没进步」,而是「退化」——新改动把旧能力改坏了。论文给出了一个以历史回归预算为条件的保留界,即只要每次退化的幅度被累计预算约束住,整体能力就不会被无限侵蚀。
- 高概率准入规则:用独立验证数据,可以给出一套「以高概率只接受真改进」的准入判据。
这三条合起来回答了一个工程上最要命的问题:怎么让系统「越改越好」而不「越改越坏」。答案不是禁止改动,而是给改动装上校验和刹车。
为什么这事关可靠性
论文花了不少篇幅谈脚手架持续修订对知识共享、组织工作流的影响,并指向科学可靠性、物理安全、机构问责这些更重的命题。核心立场是:当脚手架的修订会持久化、会跨任务传播,它就不只是技术优化,而是一种需要持续校验的制度性动作。
任务分布会变、评估标准会变,所以「部署一次就一劳永逸」是不存在的。可靠的部署要求:学习、运行时权限、关键动作三方面各有独立的安全护栏。一个改动再小,只要它会被记住、会影响后续,就得有独立的验证兜底——这正是论文把准入机制独立出来的根本原因。
给智能体构建者的启示
这篇论述对正在搭智能体的人,有几条直接可用的判断:
- 优先迭代脚手架,而非迷信换模型。在模型已经够用的前提下,提示词、记忆结构、工作流编排的优化空间往往比换模型更大,且成本低、可回滚。
- 让成功的经验沉淀成持久化的能力。一次跑通的任务流程,应该被固化成可复用的技能或工作流,而不是每次从零再来——这正是「自我进化」的朴素形态。
- 给改动装上准入闸门。不是所有「这次管用」的改动都该被记住,要有独立的校验机制判断它是否值得持久化,否则系统会在一次次「看起来有用」的微调里悄悄退化。
在 BuddyMe 里,这套理念有落点:定时任务首次执行后会沉淀为可复用的技能,之后确定性回放——这本质上就是一种「把跑通的经验持久化为脚手架能力」的机制;而心跳记忆的评分衰减,则是对「哪些经验值得保留」的一种准入与淘汰。让智能体在固定模型之上,靠脚手架的持续打磨越用越顺手,比一味追更重的模型,往往是更稳的进化路径。
论文:*Self-evolving Agent Harness*(arXiv:2610.18813),配套代码与补充材料见 github.com/zgcagi/Harness-RSI。
>
BuddyMe 每日免费 4500 万 Token,定时任务沉淀技能、心跳记忆评分衰减,让脚手架越用越稳。