让便宜的小模型先干、拿不准再叫贵的:一个「狗绳」框架把成本砍 19% 还不掉点
一句话版本:长任务全用旗舰模型太贵、全用小模型容易翻车——LEASH 用小模型自己的隐藏状态判断「这步稳不稳」,不稳才移交大模型接管,接管后还继续在旁边盯着,最终 73.7% 成功率/$0.41 每任务,追平常驻旗舰(72.9%/$0.51),成本降 19.2%。


两个老问题:什么时候升级,升级之后谁盯着
让智能体操作电脑干活,一个绕不开的账:旗舰模型每步都跑,几百步的长任务成本爆炸;小开源模型便宜,但往往干到一半就迷路。折中方案叫「弱到强升级」——小模型默认执行,必要时把控制权交给强模型。
但这方案有两个经典难题:
1. 什么时候该升级? 专门训一个监控模型要标注数据+额外训练;再养一个监控智能体逐步盯梢,本身又是一笔大开销。
2. 升级之后就万事大吉了吗? 强模型也会跑偏。但强模型通常是黑盒 API,内部状态拿不到,口头汇报的「自信度」在长任务上下文里并不可靠。
这篇论文的答案是 LEASH:用弱模型自己的「潜在不确定性」当信号,一条狗绳既决定何时撒手,又决定撒手后怎么盯着。

核心机制:失败过的地方,路过时会有感觉
LEASH 最巧的地方是不确定性信号几乎零成本。做法分三步:
- 先建「经验库」:在一小批保留任务上记录弱模型处理 prompt 和动作时的隐藏状态,按任务/子目标成败打标——等于把「我成功时长什么样、失败时长什么样」存成档案;
- 运行时对照:新任务来了,拿当前隐藏状态和档案里的成功态/失败态比距离(Mahalanobis 度量)——离失败样本越近,越不确定;
- 零额外开销:这些激活值本来就是生成动作时顺带产生的,不用额外前向传播,不用专门训监控器。
这个信号驱动三层机制:
| 层 | 干什么 |
|---|---|
| 初始门 | 看一眼任务描述就预判难度,难的直接路由给强模型 |
| 运行时门 | 执行中小模型状态「像失败」了,立即移交 |
| 影子监督 | 强模型接管后,弱模型转岗当观察员,每 3 步查一次——发现不对劲就回滚该动作,用更高推理力度重决策 |
第三层特别值得注意:弱模型没被换下场,而是从执行者变成了监督者。黑盒强模型不给看内部,那就用弱模型的不确定性仪表盘从外面盯——这正是「便宜的东西也有便宜的价值」。
成绩:省 19% 的钱,干同样的活

在 OSWorld 电脑操作基准上跨四个模型骨干测试:
- 比单独弱模型稳定提升;同等升级频率下比随机升级高 6.55–11.94 个百分点——说明不确定性信号真的在捕捉「什么时候需要帮助」,不是玄学;
- 组合 Qwen3.5-35B-A3B + 旗舰模型:73.66% 成功率,$0.4117/任务——追平常驻旗舰(72.90%,$0.51),成本省 19.2%;
- 等成本下比随机任务路由高 9.1 个百分点。
对我们的启发
一、「升级时机」本身就是一等公民的设计维度。 大部分系统在「选哪个模型」上卷,这篇证明了「什么时候换模型」同样值钱——一个便宜信号把成本砍近两成。凡是有贵便宜两档资源的系统(模型、算力、人力),都值得问:切换信号是什么?够便宜吗?
二、经验档案 = 免费的自我监控器。 把过往成败的内部状态存档比对,不需要额外训练就能获得「这事我熟不熟」的直觉——这个思路对任何长跑系统都适用,日志别只记结果,要把「当时的内部状态」也留一份。
三、弱者转岗当监督,而不是下场。 影子监督的设计打破了「弱模型用完即弃」的惯性——移交控制权后弱模型继续发光发热。团队协作同理:把任务交出去的人,往往是最有资格盯质量的人。
论文:LEASH: Uncertainty-Aware Weak-to-Strong Escalation and Oversight for Computer-Use Agents(arXiv:2610.22280,Simular & UW–Madison)
BuddyMe 每日免费 4500 万 Token——多模型路由+过程监督的工作流,交给会自己干活的伙伴跑。