模型训练崩了别扔日志：失败轨迹里藏着 78% 的提升空间
模型训练崩了别扔日志：失败轨迹里藏着 78% 的提升空间
一句话版本：可验证奖励强化学习（RLVR）有个死穴——任务难度陡增时学习信号瞬间归零（零奖励坍缩），惯例做法是丢弃失败轨迹。MENTOR 说：别扔，失败轨迹是模型「认知缺口」的诊断教材——多智能体实时诊断失败根因、动态生成针对性指导，让下一次尝试直接受益，3B 模型平均相对提升最高 78.3%。
一句话版本（先给结论）
MENTOR 是一个即插即用的「活导师」多智能体框架：零奖励坍缩发生时，实时诊断失败根因（知识缺口/策略偏差/计算错误分型），动态生成教学式提示引导下一轮尝试。不改训练基建、无缝挂进 GRPO 等现有管线——数学与代码任务上，最高 78.3% 平均相对提升（3B 级模型），碾压提示库等静态干预基线。
一、零奖励坍缩：推理模型训练的头号断崖
可验证奖励强化学习（RLVR）是大推理模型的引擎——答对给分，答错零分。但它有个结构性死穴：任务难度陡增的批次里，全错=零信号，策略梯度瞬间消失，训练进入「假死」（论文实测 GRPO 的高零奖励区占比冲到 50%+）。
业界的惯例是：失败轨迹没有奖励信号，直接丢弃。MENTOR 的核心洞察恰恰相反：
失败轨迹包含模型认知缺口的完整诊断信息——它不是垃圾，是免费的病历。扔掉它等于扔掉「模型在这里会怎么想歪」的一手数据。
二、为什么静态提示救不了
现有对策两类，都被论文指出软肋：
静态提示库（预设 hint 库）：「off-policy」式——提示与模型当前的实际错误脱节，答非所问；
事后反思（post-hoc refinement）：回顾式——错过训练当下最需要的「前瞻性引导」。
MENTOR 的范式转换：on-policy 教学干预——在训练循环内、针对此刻这个失败，实时诊断+定向出题引导。像一个跟诊的导师，而不是考前塞讲义。
三、MENTOR 怎么当「活导师」
实时根因诊断：失败轨迹送入诊断智能体，归类认知缺口类型（知识缺失/策略偏差/计算错误等）；
动态教学提示生成：按根因生成针对性、教学式的干预提示——不是给答案，是给「下一次该怎么想」；
即插即用：不改 GRPO/PPO 训练管线一行代码，作为模块挂载。
结果：数学+代码生成任务上有效缓解零奖励坍缩；3B 级模型平均相对提升最高 78.3%（超 SOTA 基线）。
四、对智能体产品的三条启示
1. 失败日志是最高价值的免费数据。 这条原则直接平移到产品：你的智能体每次失败的任务（没完成的 workflow、被用户放弃的执行），都是「系统认知缺口地图」——别让它们躺在日志里过期。
2. 反馈要「on-policy」：诊断当下这个错，而不是套用历史经验。 预设的兜底话术、静态的错误模板，都是 off-policy 干预——真正有效的修复要针对「本次失败的具体根因」动态生成。
3. 「导师」是比「裁判」更高级的智能体角色。 评分智能体只说对错；导师智能体诊断根因+给下一步方向——多智能体系统里，值得为「失败处理」专设一个角色。
结语
训练智能体和处理智能体故障共用同一条朴素哲学：错误不是终点，是信息。MENTOR 把「从失败中学习」从口号做成了可插拔的机制——下一次你的系统崩了，先别急着重启，看看失败轨迹想告诉你什么。
论文：MENTOR: Learning from Failure with On-Policy Pedagogical Intervention（arXiv 2610.13594）
BuddyMe 每日免费 4500 万 Token。