推理模型学会「自信地闭嘴」：不训练停，它自己就停了
源论文：Learning to Stop without Learning to Stop: Self-Supervised Confidence Training Improves Reasoning Efficiency（arXiv:2609.31619，马里兰大学+Capital One，2026-09-25）
推理模型有个众所周知的老毛病：想太久。一道数学题，思维链能拉出上万 token，答案对不对先不说，算力先烧完了。业界的解法基本分两派：推理时早停（走到一半掐掉）和训练时惩罚长度（RL 里加长度罚项，逼模型学短）。这篇论文走了条没人走过的第三路：只教模型「评估自己对答案的信心」，它自己就变短了。
实验设计：一个「不管效率」的训练目标
做法出人意料地简单。拿推理模型自己的思维链轨迹，在中间若干点上让它预测「此刻我对最终答案的把握有多大」，用自监督微调——全程只用 600 道训练题。
关键在损失函数：里面没有一项和长度、效率、停止有关。训练目标只有「把信心预测准」。推理时也完全标准流程，不问信心、不设早停机制，就是普通生成。
结果：token 少 25%，准确率不掉
在 Gemma、Qwen、Nemotron、GPT-OSS 四个家族上，数学/科学/代码推理基准全线验证：生成 token 最多减 25%，精度持平——效率增益和那些显式优化「短推理」的方法相当，但一个效率相关的参数都没训。
更细的分析排除了「变短靠砍行为」的解释：微调后的模型高层推理构成基本保留——不是把「反复验算」这类行为选择性地压掉了，而是整体上更少绕路。
为什么会这样：元认知的意外红利
论文自己的解释是：高效推理是「学会元认知信号」的下游副产品。模型一旦能准确感知「我已经有把握了」，它生成时就会自然减少没必要的踌躇——不需要任何外部机制替它踩刹车，它自己知道什么时候该收笔。
这和心理学里的「元认知调节」是同构的：专家和新手做题速度的差距，主要不在基础技能，在于知道自己在什么时候已经懂了。新手反复检查已确认的步骤，专家直接落笔。教模型「知道自己懂了」，等于把这一层认知补上了。
对智能体工程的启示
- 省 token 不一定要罚 token。惩罚式 RL 是「逼着短」，信心训练是「知道够了自然短」——后者不伤推理结构，值得优先考虑。 2. 小数据撬动大行为。600 道题就能改变数千亿参数模型的行为模式，「元认知对齐」可能是个高杠杆的微调方向。 3. 对智能体框架的含义：与其在框架层做「步数预算+强制截断」（治标），不如期待模型层自带「够了」的感知（治本）。框架层的停止规则（BuddyMe 工作流里的轮次预算与完成信号就是这类）本质上是给没有元认知的模型外挂一个刹车——模型层元认知成熟后，这套外挂可以越来越轻。想体会这套刹车怎么工作的，BuddyMe 注册就能玩，每天免费 4500 万 Token 够跑很多轮对照。
🎁 BuddyMe 每日免费 4500 万 Token