搜索质量怎么自动评估？把评判标准做成「技能库」，按需路由给评估模型
一句话版本：SEEK 把搜索评估标准从提示词和模型参数里抽出来，做成可独立更新的「技能库」——每次评估按查询动态路由相关技能，再交给一个专门的列表级评估器打分并归因失败原因；已在日活 4 亿的短视频平台全量部署。
搜索评估，工业界的老大难
搜索系统的每一次迭代都需要「质量评估」来把关：新排序模型上线前要评估、流量变化要评估、长尾查询要覆盖。传统做法靠训练有素的人工评估员，但成本高、周期长，根本追不上工业级系统的迭代速度。
大模型带来了「自动评估」的希望——让 LLM 当裁判。但直接拿通用大模型来评工业搜索，有两个硬伤：
一、用户看到的是「一整页」结果，不是孤立的条目。 页面质量取决于相关性、排序、内容质量、冗余度、意图覆盖、来源权威性的共同作用——这些是页面级属性。而现有自动评估大多停留在「单条目相关性」层面。
二、评估标准本身在持续演化。 把所有规则塞进一个大提示词？每条查询都要面对大量无关标准，上下文冗余、标准互相干扰。用微调把标准「内化」进模型参数？规则一变就得重训一轮——数据构造、训练、验证、部署整个周期再来一遍。
SEEK 的答案：标准外置成技能库，按需路由
SEEK（Skill-routed Evaluation with Evolvable Knowledge）的核心思路是把「评估知识」从模型能力里解耦出来：
- 技能库（Skill Bank）：每条评估标准独立成一个技能——包含评估目标、证据要求、判定规则、边界条件、归因方式。规则更新就是改一条技能，不用重训模型；
- 技能路由器（Skill Router）：来一对「查询+结果列表」，路由器先判断哪些技能适用，只把相关技能的操作指引传给评估器——不搞大水漫灌；
- 列表级评估器（Listwise Evaluator）：拿到完整结果页和相关技能指引，输出页面级判定 + 结构化归因（这次质量差，差在哪、归因于什么）。
训练上走两阶段：先把人工判定转成路由监督（什么查询该用哪些技能），再转成「证据接地的评估轨迹」，让路由器和评估器分别学会「选对知识」和「忠实执行知识」。
最妙的设计：技能库会自我进化
SEEK 对评估失败的归因分三类：路由错误（技能选错了）、知识错误（技能本身写得不对）、执行错误（评估器没执行好）。只有归因为「知识错误」且反复出现的缺口，才触发技能修订——修订还要经过回放验证（replay-gated）：拿历史样本重放一遍，确认改了这条技能不会把原来评对的情况改坏。
这个「回放门控」和软件工程里的回归测试是同一个思想：知识可以热更新，但每笔更新必须有兜底验证。技能库因此能做到局部、可靠、向后兼容地演化，评估器模型保持稳定。
成绩
在快手短视频搜索的场景上：SEEK 显著提升了列表级质量评估的准确率，在归因诊断（不只说「差」，还能说清「为什么差」）上进步明显，并且已经部署在日活超 4 亿的平台搜索评估流水线里——工业级验证，不是纸面指标。
对我们的启发
一、知识外置 + 动态路由，是「让 AI 评估 AI」的正确打开方式。 把领域知识塞进提示词或模型参数都有致命局限；做成模块化技能按需注入，既避开上下文污染，又让知识可独立演进。这套思路对任何「规则持续演化的判断型任务」都适用——内容审核、代码评审、交付验收，同理。
二、归因先于修复。 SEEK 修技能之前先归因（路由/知识/执行三分），只有「知识错误」才动知识库。自动修复体系如果跳过归因直接改，很容易把执行问题误诊成知识问题，越修越歪。
三、回放门控 = 知识热更新的安全带。 可演化的知识库必须配回归验证机制，否则「自我进化」会退化成「自我污染」。这一点对所有做技能生态、提示词库管理的团队都是警示。
在 BuddyMe 的技能体系里我们同样坚持：能力沉淀为可版本化、可回滚的技能单元，而不是散落在对话里的提示词——和 SEEK 的技能库是同一个方向。
论文：SEEK: Skill-Routed Evaluation with Evolvable Knowledge for Industrial Search（arXiv:2609.29803，北大 & 快手）
BuddyMe 每日免费 4500 万 Token，把评估和交付都交给会干活的伙伴。