你的智能体有没有偷偷违规？派个「AI 审计员」聊几轮就现形
一句话版本：能力评测测「能不能做到」，内容安全测「说不说坏话」，但都测不了「干正事时守不守规矩」——PROBE 训练一个审计模型以真实用户身份跟目标智能体多轮过招，专门钓出跨步骤、迟暴露的策略违规，审计员可以比被审计的智能体小得多。
评测版图上缺的一块
智能体评测现在有两大类：能力基准测任务完不完成得了；内容安全红队测会不会生成有害内容。但真实部署里最让人头疼的一类问题，两边都不管——
一个订机票的智能体，票订成了、话也没说错，但它用了不支持的币种结算、把内部代码暴露给了用户、付款前跳过了明确确认、还想给受限目的地占位。任务是成功的，内容是干净的，策略是违规的。
这类违规难抓，因为它的效果可能在好几轮之后才显现、横跨多次工具调用、甚至在下游系统里才冒头。单轮评估天然抓不到它。
思路：把审计变成一场博弈
论文提出的 PROBE（Policy Rule Observation via Behavioral Exploration）思路很直接：训练一个语言模型审计员，让它扮成真实用户，跟目标智能体多轮、带工具地聊，专门探测策略违规。
形式化上这是一个双人马尔可夫博弈：审计员出招（对话），目标智能体响应（含工具调用），状态推进，违规与否在轨迹层面判定。审计员的奖励是复合的，同时平衡四件事：
- 违规发现——找到真违规，重奖；
- 行为合理性——对话要像真人，不能把目标智能体问懵就说是违规；
- 对话推进——不能原地打转刷轮次；
- 策略多样性——覆盖不同类别的策略，别死磕一条。
论文在受控环境里比较了 GRPO、DPO、GFlowNet 三种优化路径对审计员训练的影响，给「用什么训练目标」提供了参考。
两个反直觉的结果
第一，训练过的审计员明显强于同架构的零样本对手。 同样一个模型，直接零样本去攻击，和按 PROBE 的复合奖励训过再上，产出违规的广度和产出率都差出一截——「会审」是可以被训练出来的能力，不是提示词能白嫖的。
第二，小审计员能审大智能体。 审计员显著小于目标智能体时依然有效。这对实际部署是个好消息：给每个业务智能体配一个专职审计员，成本可控。
论文还给了一个很带感的愿景：审计员和智能体协同进化——审计员暴露失败案例，智能体从这些反馈里改进，下一轮审计员再进化。攻防双方互相抬着走。
对做智能体的我们的三点启发
一，把「策略合规」当独立评测轴。 能力分数和安全分数都漂亮，不代表策略守规矩。在评测矩阵里显式加一条「轨迹级策略合规」，让违规在上线前被看见——尤其是那些跨步骤、迟暴露的。
二，交互轨迹才是审计对象。 单条回复审不出跨轮违规。审计工具要盯的是完整轨迹：用户话、智能体回复、工具调用、状态变更，串起来看。这也是我们在做智能体任务回放时的同款坚持：轨迹存证据，复盘才有料。
三，小模型有大用处。 「小审计员审大智能体」给了一个非常实用的架构模式：主力模型干重活，轻量审计模型全程跟飞。别迷信同一个大模型自己审自己——立场不同，训练过的对手才问得出真问题。
在 BuddyMe 的智能体工作台里，任务执行轨迹全程可回放、可检验，正是给这一类轨迹级审计留的接口——先能看见，才谈得上合规。
结语
智能体要进真实业务，「守规矩」比「更聪明」更早被监管追问。PROBE 的贡献是把这个模糊的期待变成了可训练、可量化的对象：审计不再是人肉翻日志，而是一场设计好的博弈。攻防协同进化这个方向，值得每个做多智能体系统的团队盯住。
论文：PROBE: Learning to Audit Policy Compliance in Tool-Using LLM Agents（arXiv:2610.22124）
BuddyMe 每日免费 4500 万 Token，轨迹可回放的智能体工作台。