学习契约与正确模型
先明确为什么学、学完能做什么，以及如何证明自己真的掌握。
没有评估集，“AI 搜索更智能”“内容更相关”都只是演示印象。B2B 查询少而价值差异大，错误码查找、方案研究和供应商比较应使用不同成功标准，并连接零结果、解决率和合格转化。
- 为真实任务建立查询集与分级 relevance judgments
- 选择并计算适合任务的离线指标
- 执行按查询类型、语言和价值分层的错误分析
精读 34 分钟 → 引导练习 30 分钟 → 实战任务 60 分钟。实战时间单列，不再把浏览页面和项目操作混成一个数字。
- 它是什么
- 离线 IR 评估将系统排名与人工相关性标注比较；Precision/Recall 衡量集合，MRR 看首个相关结果，AP/MAP 看多相关结果，DCG/nDCG 奖励高位的分级相关性。
- 为什么重要
- 统一查询集和标注能在发布前比较检索方案，分组分析则防止总体平均掩盖高价值失败。
- 什么时候使用
- 用于站内搜索、RAG 检索、参数调优、模型升级和搜索体验回归测试。
- 什么时候不要套用
- 离线相关性不能替代在线任务完成、满意度与业务指标；点击也不是无偏真值。
- 边界与不确定性
- 指标的意义取决于标注定义、k 值、查询分布和池化深度；跨数据集比较数字通常无效。
机制精讲
先读完整因果链，再看每个环节留下什么可观察信号。
信息检索评估不是先选一个漂亮指标，而是先定义用户任务、相关性标准和评估单位。对型号查询，返回一个精确产品也许足够；对“供应商风险评估流程”，用户可能需要覆盖多个步骤；对导航查询，第一位错误比第十位错误严重得多。相关性也不是天然真值：评审者需要看到查询说明、文档、市场与时间，按照一致等级判断，并记录分歧。离开判断协议谈 Precision、Recall、MRR 或 nDCG，数字会非常精确却没有共同含义。
离线指标回答的是有限测试集上的排序质量，不自动等于线上点击、线索或满意度。测试集若来自旧系统曝光日志，会遗漏从未展示的相关文档；总体均值也可能掩盖品牌、型号、否定词或关键市场退化。因此完整评估应保留强基线、按查询族切片、置信区间或重复抽样、误差案例和不可退化护栏。SEO 学习者可用这些方法评估站内搜索、内容检索或 RAG，但不能把教材指标反向声称为 Google 的生产评价公式。
判断协议创造可复核标签
相关性等级要描述用户任务是否被满足、证据是否完整以及错误严重性。至少两位评审者独立判断一部分样本，分歧用于改进规则，而不是简单删除困难查询。
指标编码不同用户价值
Precision@k 强调前 k 个结果中正确比例，Recall@k 强调已知相关结果被找回多少，MRR强调第一个相关结果位置，nDCG允许分级相关并对前列给予更高折扣。
切片揭示平均值掩盖的失败
总体 nDCG 上升可能来自大量简单品牌查询，而关键长尾、型号和否定查询退化。发布门槛应同时包含总体改善与重要切片不退化。
离线到线上需要独立验证
离线相关性改善可能增加延迟，也可能与真实用户偏好不同；点击又含位置偏差。应把离线指标、系统性能和线上任务结果分层，不用一个数字替代全部。
关键概念
掌握术语之间的关系，才能迁移到不同网站、行业和工具。
相关性标注
先写判定准则，再由熟悉任务的人按不相关、部分相关、高度相关等等级标注；保留分歧与裁决。
指标—任务匹配
只需一个正确入口可看 MRR；需要覆盖多证据可看 Recall@k；重视高位分级质量可看 nDCG@k。
离线—在线闭环
离线指标筛选候选，在线 A/B 或分阶段发布验证行为、解决率、延迟和业务后果。
完整示范
跟随一次“输入 → 分析 → 中间产物 → 结论”，看见专家是怎样做判断的。
四个结果的 Precision、MRR 与 DCG 手算
以下为教学用合成数据。查询是“工业温度传感器校准指南”，排序返回 D1–D4，人工相关等级依次为 [3, 0, 2, 1]，等级大于 0 视为相关；已知相关文档总数为 5。
- 使用二进制 Precision/Recall时等级大于 0 记为相关
- DCG@4 使用 gain=2^rel−1，折扣为 log2(rank+1)
- 该公式仅为教材演算，不声称任何公开搜索引擎使用相同指标或参数
计算 Precision@4
- 输入
- 四个结果中 D1、D3、D4 相关，共 3 个。
- 分析
- Precision@4=相关结果数/返回数=3/4=0.75。它不关心还有多少相关文档未返回。
- 输出
- P@4=0.75，说明前四结果有四分之三达到最低相关门槛。
计算 Recall@4 与 MRR
- 输入
- 已知相关总数 5，前四找回 3；第一个相关结果在 rank 1。
- 分析
- Recall@4=3/5=0.60；RR=1/1=1。MRR需对多查询 RR 求平均，本例单查询不能代表总体。
- 输出
- R@4=0.60，单查询 RR=1.00，说明首个答案好但覆盖仍不完整。
逐项计算 DCG@4
- 输入
- gain 为 [7,0,3,1]；折扣分母约 [1,1.585,2,2.322]。
- 分析
- DCG≈7/1+0+3/2+1/2.322=8.93。高相关 D1 在首位贡献最大，D2 的零相关仍浪费靠前位置。
- 输出
- DCG@4≈8.93；若计算 nDCG，还需用理想顺序的 IDCG 归一化。
解释指标冲突
- 输入
- P@4 很高、RR 完美，但 Recall 只有 0.60。
- 分析
- 若任务只要一个可靠答案，这可能足够；若用户需要完整校准流程与多个标准来源，漏掉两篇相关文档就很重要。
- 输出
- 结论必须写任务：导航/答案型可重视首位，研究/覆盖型要提高 recall 与分级覆盖。
决策规则与证据边界
把“看到什么、意味着什么、下一步做什么”连起来，同时区分公开事实、实践推断和未知项。
- Precision、Recall、MRR、DCG/nDCG 的数学定义可复算，给定标签和公式可得到确定结果。
- 人工相关判断、测试集构成和 k 值会直接改变指标含义。
- 重要切片稳定且离线指标改善通常支持系统更适合测试任务，但仍需线上或真实工作流验证。
- 点击可以提供行为线索，却受曝光、位置和呈现偏差影响。
- 有限判断池之外还可能存在未发现相关文档，因此真实 Recall 往往未知。
- 教材指标不能说明 Google 当前对网页排序使用何种内部指标、标签或权重。
引导练习
先独立完成，再按提示修正，最后展开参考解法并用 0–4 级量规评分。
教学用合成数据：查询 Q 返回五条结果，二进制相关性为 [0,1,1,0,1]，已知相关总数 4；分级相关为 [0,3,2,0,1]。计算 P@5、Recall@5、RR，并解释如果任务是“找一个报价页”和“收集完整采购证据”应分别关注什么。
给定材料
- 结果表：rank 1–5、文档摘要、二进制与0–3分级标签
- 公式卡：P@k、R@k、RR 与 DCG 折扣定义，明确本练习不要求计算 nDCG
需要提示时再展开
- 第一个相关结果在第 2 位，所以 reciprocal rank 不是 1。
- 找到 3 个相关文档，但已知相关总数是 4；不要把 precision 分母写成 4。
完成后核对参考解法
前五共 3 个相关结果，所以 P@5=3/5=0.60；已知相关总数 4，因此 Recall@5=3/4=0.75；第一个相关结果在 rank 2，所以 RR=1/2=0.50。若用户只要一个报价入口，第 1 位不相关会显著增加成本，应优先改善 RR/P@1。若任务要收集完整采购证据，Recall 0.75 表示仍漏掉一个已知相关文档，还要检查分级高价值文档是否靠前，可使用 nDCG。所有结论只适用于教学用合成标签和当前判断池。
自评分量规
真实项目实战
把理解变成一个可以检查、复核和复用的工作产物。
建立 B2B 帮助中心检索基准
团队准备把 BM25 替换为混合检索，但只有五个“看起来不错”的 demo query。
- 从真实日志按频率、失败率、产品模块和客户等级抽样查询
- 去除敏感数据并补充新功能与长尾挑战集
- 制定分级相关性 rubric，由两位标注者独立判断并记录一致率
- 计算 Recall@20、MRR@10、nDCG@10、零结果率和 P95 延迟
- 按精确标识符、自然语言、语言和高价值账户分层做错误分析
验收条件
- 查询来自目标流量分布且保留独立挑战集
- 标注者分歧有记录和裁决，不把模型结果当真值
- 上线条件同时包含质量、延迟、成本与关键分组不退化
诊断练习
目标不是猜中答案，而是提出竞争假设并选择能区分它们的证据。
新模型 nDCG@10 提升 6%，客服却反馈错误码查询明显变差。
竞争假设
- 总体查询由自然语言问题主导，掩盖精确标识符退化
- 标注池未包含 BM25 找到的错误码文档
- 在线查询分布已变化，离线集过时
应该检查的证据
- 按查询类型的指标与逐查询 delta
- 标注池来源和未判断文档比例
- 离线集与近期日志的分布比较
常见陷阱：只汇报总体提升并全量上线，忽视关键少数任务。
完成后用本页决策规则复核
- 若观察到：用户只需尽快找到一个正确入口
应优先：以 MRR、Success@1 或 P@1 为主，并检查错误首位案例。
单一首位指标会忽略后续多样性和多个可接受答案。 - 若观察到：任务需要完整证据或多步骤覆盖
应优先：优先报告 Recall@k、分级 nDCG 与覆盖误差，并扩大判断池。
若相关全集未知，Recall 只是已判断集合上的下界近似。 - 若观察到：总体指标上升但关键市场下降
应优先：设置关键切片不退化护栏，调查具体失败再决定上线。
小切片波动大，应同时报告样本量和不确定性。 - 若观察到：离线相关性改善但延迟或失败率上升
应优先：联合评估相关性、P95 延迟、超时和线上任务结果，设计降级。
点击包含位置与呈现偏差，不能作为无偏真值直接训练和评估。
自测与误区
先口头回答，再展开检查。无法给出例外与证据，说明还没真正掌握。
你应该能回答
1. 什么算“相关”，谁有资格判断？
参考答案：“相关”必须写成可执行标签协议：在指定市场与日期，文档是否满足查询背后的任务、必要约束和证据要求。能判断的人应理解用户与主题，至少对一部分样本双人独立评审并裁决分歧。不能把旧系统点击或某工具分数直接当无偏真值。
为什么：标签定义决定所有指标的语义；没有评审资格和一致协议，数值不可复核。
2. 用户任务需要一个答案还是完整覆盖？
参考答案：若用户只需要一个答案或导航入口，应重视首位成功、MRR 和错误首结果；若需要研究、比较或完整流程，应提高 Recall@k、分级 nDCG 和主题覆盖，同时避免重复结果。任务说明还应决定 k 值，因为移动首屏和深度研究可接受的结果数不同。
为什么：指标是用户价值的代理，必须匹配任务，而不是所有查询都追求同一平均分。
3. 哪个关键分组即使总体提升也不允许退化？
参考答案：先定义不能退化的关键分组，例如品牌导航、精确型号、安全否定词、核心语言或高收入市场；为每组设最低样本和基线门槛。即使总体 nDCG 上升，只要关键组显著退化或出现严重错误，就应阻止发布并检查训练或召回机制。
为什么：总体平均会被高量容易查询主导，护栏保护低量但高风险任务。
需要避开的误区
- 点击最多的结果就是客观相关答案
- 一个 nDCG 数字足以决定上线
- 离线提高必然带来业务增长
术语与复盘
用自己的话复述术语和结论；如果只能认出、不能解释，就还没有形成可调用的知识。
- 相关性判断
- 依据预先协议对查询—文档是否满足任务进行人工或审定标签。
- Precision@k
- 前 k 个返回结果中相关结果所占比例，强调结果纯度。
- Recall@k
- 已知相关文档中有多少在前 k 被找回，依赖相关集合边界。
- MRR
- 多查询第一个相关结果倒数排名的平均，适合首个答案重要的任务。
- nDCG
- 使用分级增益与位置折扣并按理想排序归一化的指标。
- 判断池
- 被纳入人工评审的候选文档集合，池外相关项会造成 recall 不确定。
离开本页前记住
- 先定义任务和相关性，再选择指标。
- Precision、Recall、MRR 与 nDCG 回答不同问题，不能只挑最好看的一个。
- 总体平均必须配合关键查询切片、样本量和错误案例。
- 点击受位置和曝光偏差影响，不是天然真值。
- 离线改善还需联合延迟、失败率和线上任务结果。
- 所有手算公式是教学模型，不代表 Google 公开生产评价方式。
资料与证据
优先采用官方和一手资料。实践材料用于补充工作方法，不替代机制证据。