AI 决策什么时候该交给专家把关？一套「选择性审计」框架给出最优答案

admin · 2026-10-24 · 智能体 · 论文解读 · 可信AI

一句话版本：AI 智能体每分钟产出大量决策，专家不可能逐条审。这篇论文把「哪些决策需要送审」建成在线约束优化问题：在保证漏检错误比例不超标的前提下，把人工审计频率压到理论最优——含对抗性数据流在内都无需任何分布假设。

COVERMARK

新问题：审计预算有限，错误率要有硬保证

让 AI 系统自动做决策已经很普遍，但自主性越高、失败代价越大。业界通行做法是给决策配一个置信分数——分数高就自动放行，分数低就升级给专家（人类或更强的验证模型）复核。

问题在于：置信分数本身不可靠。它可能来自一个校准很差的模型，甚至来自与你对抗的攻击者。用固定阈值切分，错误漏检率完全不可控；把分数全部送审，专家预算又撑不住。

这篇论文的做法是把这件事正式化为在线受限优化：目标是最小化送审频率，约束是未被审计的 AI 错误占比不超过用户设定阈值。这里的「错误」指被自动放行且事后被证明有问题的决策。

方法：无假设的误差控制 + 最优审计率

论文贡献了一族算法，亮点有三：

• 零分布假设：无论数据流是对抗性的还是独立同分布，误差控制保证都成立——这点比绝大多数依赖校准假设的方案强得多；
• 渐近最优：其中一种方法在对抗流与独立流上都能渐近达到理论上最好的审计率——不是「够用」，是「不可能更好」；
• 决策与打分可分离：提议决策的智能体和给置信分数的验证器可以是两个不同模型，框架不要求同源。

实验结果

在三类任务上验证：大语言模型有害请求筛查、定性文本标注、数据打标。结果显示误差控制全部有效（实测漏检率贴着阈值），同时人工审计量相比基线大幅下降。

对我们的启发

• 「要不要复核」本身是一个可优化的问题，不是拍脑袋设阈值。把这层显式建模出来，审计预算和错误容忍度可以直接换算——这和昨天讲的「动作条件化记忆验证」是同一条思想脉络：核验的价值取决于它能否改变后续动作。
• 零假设的保证在工程上价值极高。线上流量分布天天变，任何依赖「分数校准」的方案都需要持续监控漂移；这类在线误差控制方法天然免疫分布漂移。
• 双模型分工（决策者+验证器）值得复用：让便宜的模型干活、让贵的模型抽查，配合选择性审计的调度，就是一套成本可控的可信智能体管线。

构建这类带硬性安全兜底的智能体工作流，可以试试 BuddyMe——每日免费 4500 万 Token。

---

• 论文：Reliable AI-Assisted Decisions via Selective Auditing（arXiv:2610.31662）