智能体练错了动作怎么办：在「第一个决定性错误」处截断，别让事后经验污染后半程
一句话版本：把成功轨迹蒸馏成技能再指导训练是热门方法，但错误发生之后的路段和技能描述的状态已经不匹配——继续监督等于教错。ETRO 的做法：只在错误之前的路段用成功技能，错误之后完全交给结果奖励自己学。7B 模型在 WebShop 拿下 85.8% 成功率。
一个被忽视的错位：事后技能管不了错误之后的世界
训练长程智能体有个流行思路：先让模型跑完任务，把完成的轨迹总结成可复用技能，再用「同策略蒸馏（OPD）」在训练时提供 token 级的细粒度信用——弥补 GRPO 只看最终结果、中间步骤没有指导的缺陷。
这篇论文指出了一个更细的问题：技能描述的世界，可能已经不是后半段轨迹所处的世界。
举例：智能体在购物任务第 5 步点错了筛选条件，之后的页面、可选项、最优路径全都变了。一条「成功轨迹总结出的技能」描述的是没点错时的世界——把它继续当作第 6 步之后的监督信号，等于拿着旧地图让士兵在变了的战场上行军。论文给这种现象起了名字：事后经验适用性错配（hindsight applicability mismatch）。
ETRO：两类技能，分工到错误点为止
方法（ETRO）设计得很克制：
- 正向技能：总结成功工作流，监督成功轨迹全程 + 失败轨迹中错误之前的路段；
- 负向技能：总结「这类失败怎么修正」，只在写入者估计的第一个未恢复的决定性错误处监督；
- 错误之后的路段：不注入任何技能监督，完全交给 GRPO 的结果奖励——环境已经变了，就让结果说话。
执行任务时不带技能（推理零负担），技能只在训练时作为条件注入 GRPO 目标——指导归指导，探索归探索。
成绩
Qwen2.5 1.5B 到 7B 三个规格，WebShop / ALFWorld / Search QA 三个基准。7B 上：WebShop 成功率 85.8%、ALFWorld 97.0%、Search QA 宏平均 51.8%。消融实验也验证了错误点截断和双技能分工各自的贡献。
对我们的启发
一、更密的监督不等于更对的监督。 token 级信用看似比结果级奖励「精细」，但精细的信号错了位，比稀疏但正确的信号更有害。给智能体加指导时先问一句：它描述的状态，还是当前的状态吗？
二、错误是分界线，也是信息。 与其对整条轨迹统一处理，不如以第一个决定性错误为轴切开：前半程可以总结沉淀（正向经验），错误点本身值得专门修正（负向经验），后半程保持探索自由。这个切法对人的复盘同样成立。
三、让「知道」和「做」解耦。 技能只在训练时用、执行时不带——避免了「带着攻略跑步」的依赖。这和我们做技能库的原则一致：技能是训练和规划的养料，不是执行时的拐杖。
在 BuddyMe 的任务回放里，失败轨迹的第一个错误点正是我们标注的重点——这篇论文把这个直觉做成了可训练的方法。
论文：Distill Until Divergence: Error-Truncated Hindsight Distillation for Agentic RL（arXiv:2610.23048，哈尔滨工业大学）
BuddyMe 每日免费 4500 万 Token，任务轨迹可回放，错误点可标注。