让便宜的小模型先干、拿不准再叫贵的:一个「狗绳」框架把成本砍 19% 还不掉点

admin · 2026-10-22 · 智能体 · 论文解读 · 成本优化

一句话版本:长任务全用旗舰模型太贵、全用小模型容易翻车——LEASH 用小模型自己的隐藏状态判断「这步稳不稳」,不稳才移交大模型接管,接管后还继续在旁边盯着,最终 73.7% 成功率/$0.41 每任务,追平常驻旗舰(72.9%/$0.51),成本降 19.2%。

两个老问题:什么时候升级,升级之后谁盯着

让智能体操作电脑干活,一个绕不开的账:旗舰模型每步都跑,几百步的长任务成本爆炸;小开源模型便宜,但往往干到一半就迷路。折中方案叫「弱到强升级」——小模型默认执行,必要时把控制权交给强模型。

但这方案有两个经典难题:

1. 什么时候该升级? 专门训一个监控模型要标注数据+额外训练;再养一个监控智能体逐步盯梢,本身又是一笔大开销。

2. 升级之后就万事大吉了吗? 强模型也会跑偏。但强模型通常是黑盒 API,内部状态拿不到,口头汇报的「自信度」在长任务上下文里并不可靠。

这篇论文的答案是 LEASH:用弱模型自己的「潜在不确定性」当信号,一条狗绳既决定何时撒手,又决定撒手后怎么盯着。

核心机制:失败过的地方,路过时会有感觉

LEASH 最巧的地方是不确定性信号几乎零成本。做法分三步:

这个信号驱动三层机制:

| 层 | 干什么 |

|---|---|

| 初始门 | 看一眼任务描述就预判难度,难的直接路由给强模型 |

| 运行时门 | 执行中小模型状态「像失败」了,立即移交 |

| 影子监督 | 强模型接管后,弱模型转岗当观察员,每 3 步查一次——发现不对劲就回滚该动作,用更高推理力度重决策 |

第三层特别值得注意:弱模型没被换下场,而是从执行者变成了监督者。黑盒强模型不给看内部,那就用弱模型的不确定性仪表盘从外面盯——这正是「便宜的东西也有便宜的价值」。

成绩:省 19% 的钱,干同样的活

在 OSWorld 电脑操作基准上跨四个模型骨干测试:

对我们的启发

一、「升级时机」本身就是一等公民的设计维度。 大部分系统在「选哪个模型」上卷,这篇证明了「什么时候换模型」同样值钱——一个便宜信号把成本砍近两成。凡是有贵便宜两档资源的系统(模型、算力、人力),都值得问:切换信号是什么?够便宜吗?

二、经验档案 = 免费的自我监控器。 把过往成败的内部状态存档比对,不需要额外训练就能获得「这事我熟不熟」的直觉——这个思路对任何长跑系统都适用,日志别只记结果,要把「当时的内部状态」也留一份。

三、弱者转岗当监督,而不是下场。 影子监督的设计打破了「弱模型用完即弃」的惯性——移交控制权后弱模型继续发光发热。团队协作同理:把任务交出去的人,往往是最有资格盯质量的人。

论文:LEASH: Uncertainty-Aware Weak-to-Strong Escalation and Oversight for Computer-Use Agents(arXiv:2610.22280,Simular & UW–Madison)
BuddyMe 每日免费 4500 万 Token——多模型路由+过程监督的工作流,交给会自己干活的伙伴跑。
一句话引用:**一句话版本**:长任务全用旗舰模型太贵、全用小模型容易翻车——LEASH 用小模型自己的隐藏状态判断「这步稳不稳」,不稳才移交大模型接管,接管后还继续在旁边盯着,最终 73.7% 成功率/$0.41 每任务,追平常驻旗舰(72.9%/$