学习契约与正确模型
先明确为什么学、学完能做什么，以及如何证明自己真的掌握。
TF-IDF 能帮助你亲手理解内容工具和站内检索的基本逻辑，也能揭示为什么通用词重复价值低；但把它包装成 Google 内容分数，会让 B2B 团队优化代理指标。
- 用明确公式计算文档—词项权重
- 比较不同 TF/IDF 变体的排序变化
- 陈述 TF-IDF 对语义、字段、长度与业务价值的盲区
精读 34 分钟 → 引导练习 26 分钟 → 实战任务 55 分钟。实战时间单列，不再把浏览页面和项目操作混成一个数字。
- 它是什么
- TF-IDF 将文档内词频权重与语料级逆文档频率相乘，使文档中较强且全局较稀有的词项获得较大权重。
- 为什么重要
- 它同时抑制无区分度常见词，并保留能描述单篇文档特色的词项，是经典、可解释的词法表示。
- 什么时候使用
- 用于教学、小型站内搜索、相似文档、关键词差异和复杂模型的离线基线。
- 什么时候不要套用
- 不适合作为 Google 排名公式或内容合格线，也不能单独判断事实准确、体验与转化价值。
- 边界与不确定性
- 具体结果依赖 tokenizer、字段、TF/IDF 公式、长度归一化与语料；不存在唯一标准 TF-IDF 分数。
机制精讲
先读完整因果链，再看每个环节留下什么可观察信号。
TF-IDF 把两种相对证据组合起来：TF 描述词项在当前文档中的局部强度，IDF 描述它在已固定语料中的全局区分度。只有同时回答“本文是否足够提到它”和“它是否能区分文档”，权重才有解释力。这个分数不是词项搜索量、内容质量或业务价值；它还会随分词、大小写、字段、语料边界与公式变体改变，因此任何报告都应把配置和语料快照与结果一起保存。
在 SEO 与企业检索中，TF-IDF 最可靠的角色是透明基线和诊断工具：它可以显示模板常见词为何贡献很小、某个产品属性为何有区分度，也可以作为更复杂检索模型的对照。它不能理解同义、否定、事实正确性、来源可信度或用户任务。尤其不能把第三方工具的“建议权重”称为 Google 的排名因子；Google 并未公开一个可供站长复算的统一 TF-IDF 网页排序公式，教学实现的得分只在自身语料与规则内有效。
TF 压缩重复收益
原始计数会让重复词线性增大，log TF 可用 1+ln(tf) 让第二次、第三次出现仍增加权重但边际递减；binary TF 则只记录是否出现。选择哪种形式取决于任务，不能反推所谓最佳关键词次数。
IDF 从固定语料估计区分度
文档频率 df 统计包含词项的文档数；常见写法 idf=ln(N/df)，也有平滑或概率式变体。语料增删、分词变化和字段拆分都会改变 N、df 与结果。
乘积形成词项贡献
TF 与 IDF 相乘后，当前文档内较强且全局较少见的词项贡献更大。查询评分还需定义查询权重、求和、向量归一化或字段权重；单个词项权重并不是完整排名。
评估决定基线是否有用
权重的数学正确不等于结果满足用户任务。必须用独立相关性标注、真实查询切片和错误分析评价，并与更复杂方案在同一查询集、同一指标和同一延迟口径下比较。
关键概念
掌握术语之间的关系，才能迁移到不同网站、行业和工具。
权重组合
词项需同时在当前文档有强度、在全局有区分度；任一部分接近零都会削弱权重。
公式变体
binary、log TF、平滑 IDF 与归一化会改变结果，报告必须写清选择。
基线价值
透明简单模型是评估复杂方案是否真正改善的基准，而不是因“旧”就应抛弃。
完整示范
跟随一次“输入 → 分析 → 中间产物 → 结论”，看见专家是怎样做判断的。
四篇泵产品文档的 TF-IDF 手算
以下均为教学用合成数据。语料有 4 篇文档；词项“ATEX”出现在 D1、D3，词项“pump”出现在 D1、D2、D4。D1 中 ATEX 出现 2 次、pump 出现 3 次；D2 中 pump 出现 4 次。目标是为查询“ATEX pump”建立一个可解释词法基线。
- 统一小写并按空白分词，未做词干化，标题与正文暂不分字段
- 采用 log TF：tf=0 时为0，否则 1+ln(tf)；采用 idf=ln(N/df)
- 示例用查询词项贡献之和作简化分数，未做向量长度归一化
- 这些选择仅用于演示，不代表 Google 或任何商业搜索引擎的生产公式
冻结语料与文档频率
- 输入
- N=4；df(ATEX)=2，df(pump)=3。
- 分析
- 文档频率看“多少篇包含”，不是总出现次数；所以 D1 重复 ATEX 不会把 df 从2变大。
- 输出
- 得到可审计统计表：ATEX 2/4，pump 3/4。
计算两个 IDF
- 输入
- idf=ln(N/df)。
- 分析
- idf(ATEX)=ln(4/2)=ln2≈0.693；idf(pump)=ln(4/3)≈0.288。ATEX 在此语料更能区分文档。
- 输出
- IDF 向量为 ATEX 0.693、pump 0.288。
计算 D1 的 log TF 与权重
- 输入
- D1: tf(ATEX)=2，tf(pump)=3。
- 分析
- logTF(ATEX)=1+ln2≈1.693，权重≈1.693×0.693=1.173；logTF(pump)=1+ln3≈2.099，权重≈2.099×0.288=0.604。
- 输出
- D1 简化查询分数≈1.173+0.604=1.777。
比较 D2 并解释失败边界
- 输入
- D2: tf(ATEX)=0，tf(pump)=4。
- 分析
- ATEX 权重为0；pump 权重≈(1+ln4)×0.288=2.386×0.288≈0.687，因此 D2 分数约0.687，低于D1。即使把pump继续重复，log TF 也只缓慢增长。
- 输出
- 基线把同时含两个查询词的D1排在D2前，但尚未判断事实、适用场景或页面质量。
建立可证伪的后续评估
- 输入
- 另有查询“explosion-safe pump”，人工认为使用同义表述的D3高度相关。
- 分析
- 若 D3 没有字面词项，当前 TF-IDF 会漏召回；这应记录为同义失败，用查询扩展、稠密或混合检索挑战基线，而不是事后改语料只修一个示例。
- 输出
- 新增同义查询切片，并用 Recall@k 与任务完成率比较候选方案。
决策规则与证据边界
把“看到什么、意味着什么、下一步做什么”连起来，同时区分公开事实、实践推断和未知项。
- 给定语料、tokenizer、TF/IDF 公式与词频，TF-IDF 权重可以逐项精确复算。
- df 衡量包含词项的文档数量；log TF 会使重复出现的边际增量递减。
- 高 TF-IDF 词可能是语料中的区分性属性，是否值得写入页面仍需需求和事实证据。
- 复杂模型若在固定标注集改善同义查询，说明它对该本地任务有增量价值。
- Google 未公开一个可供站长复算的统一 TF-IDF 网页排名公式及权重。
- 仅凭第三方内容分数无法知道真实查询召回、排名变化或业务结果。
引导练习
先独立完成，再按提示修正，最后展开参考解法并用 0–4 级量规评分。
教学用合成数据：N=10 的文档库中，词A的 df=2，词B的 df=10。D1 中 A 出现2次、B出现6次；D2 中 A为0、B为20。采用 log TF 与 idf=ln(N/df)，请计算关键贡献、判断哪个词更有区分度，并设计不被重复词误导的验收。
给定材料
- 公式卡：tf>0 时 logTF=1+ln(tf)，tf=0 时为0；idf=ln(N/df)
- 验证表：两篇文档的词频、人工相关性标签、标题/正文来源与用户查询类型
需要提示时再展开
- 先算 idf(B)=ln(10/10)，再决定重复 B 是否还能贡献。
- 数学分数只是基线；答案还要说明语料、分词、相关性与业务边界。
完成后核对参考解法
idf(A)=ln(10/2)=ln5≈1.609，idf(B)=ln(10/10)=0。D1 的 A 权重约为(1+ln2)×1.609≈1.693×1.609≈2.724；B 即使出现6次，乘以0仍为0。D2 没有A，B即使出现20次也仍为0，因此在这套未平滑公式和这两个词项上，D1得到约2.724、D2得到0。结论只能说A在当前十篇语料更有区分度，不能说A质量更高或存在“最佳密度”。验收应保存语料与分词版本，用独立人工标签测试多类查询，并比较字段、归一化及平滑变体；若真实用户需要B，B的零IDF也不意味着页面应删除这个必要术语。
自评分量规
真实项目实战
把理解变成一个可以检查、复核和复用的工作产物。
构建 B2B 帮助中心的词法基线
客服要评估新语义搜索是否真的比现有关键词搜索好，需要一个可解释对照。
- 固定文档语料、查询集与人工相关性标注
- 定义 tokenizer、log TF、平滑 IDF 和字段拼接规则
- 计算 TF-IDF 文档向量并用 cosine 排序
- 记录典型成功与失败查询，特别是型号、同义词和长问题
- 用相同评估指标与语义方案比较，并保留成本与延迟
验收条件
- 公式、语料和代码版本可复现
- 评价使用独立标注而非模型自身分数
- 结论包括基线胜出的查询，不只展示新模型优势
诊断练习
目标不是猜中答案，而是提出竞争假设并选择能区分它们的证据。
TF-IDF 把包含全部查询词的长政策页排在精确操作指南前。
竞争假设
- 文档长度或模板词未妥善归一化
- 查询需要短语、字段或任务语义
- 政策页词项覆盖高但人工相关性低
应该检查的证据
- 各词项贡献与向量长度
- 标题/正文分字段结果
- 人工 relevance judgment 和点击任务
常见陷阱：调到某个示例看起来正确，却不在固定查询集上复评。
完成后用本页决策规则复核
- 若观察到：高权重词来自拼写错误、追踪码或一次性型号
应优先：人工复核来源，并连接查询、产品字段和销售证据后再决定是否使用。
清除所有稀有词也会误删真实型号和法规编号，应按类型处理。 - 若观察到：长模板页因大量查询词贡献压过精确短页
应优先：比较标题/正文分字段与余弦或其他归一化，并在固定标注集复评。
不能只调到一条查询顺眼；参数需在独立验证集检验。 - 若观察到：同义和自然语言查询的 Recall 明显低于型号查询
应优先：测试查询扩展、稠密或混合召回，保留 TF-IDF/BM25 精确通道。
语义方案可能伤害数字、否定与专名，必须分查询类型报告。 - 若观察到：更复杂模型总体只提升极小且延迟显著增加
应优先：查看置信区间、关键任务和错误样本，选择保留基线、路由或小范围实验。
总体均值会掩盖高价值少量查询，不能只按平均数停止。
自测与误区
先口头回答，再展开检查。无法给出例外与证据，说明还没真正掌握。
你应该能回答
1. 你的 TF 与 IDF 具体采用哪个变体？
参考答案：本课示例采用 tf=0 时为0、否则 1+ln(tf) 的 log TF，并采用未平滑 idf=ln(N/df)；查询词项贡献直接相加。真实实现还可能用 binary、原始 TF、sublinear TF、平滑 IDF、概率式 IDF、字段权重与 L2 归一化，因此报告必须把公式、对数底、语料 N、df、tokenizer 和版本全部写清。
为什么：TF-IDF 没有跨实现唯一数值；只有冻结这些选择，计算才能复现，方案之间的比较才有意义。
2. 基线在哪类查询上失败，为什么？
参考答案：基线通常在同义改写、否定、词序关系、长问题、跨语言和需要事实/时效判断的查询上失败；也可能因模板词、字段拼接和文档长度处理不当偏向长页。应从固定查询集的漏召回与误排序样本归类，而不是凭一个 demo 判断，并保留型号、法规号等词法基线表现很强的切片。
为什么：错误类型决定修复路径：同义可尝试扩展或稠密召回，字段偏差需改表示，事实与权限则不能靠词项权重解决。
3. 复杂模型相对基线改善了哪个用户指标？
参考答案：复杂模型应在同一查询集上改善与用户任务相连的指标，例如证据 Recall@k、首个正确结果的 MRR、分级结果 nDCG、零结果率、任务完成率或客服解决率，同时不突破 P95 延迟、成本和安全门槛。必须指出增益来自哪些查询类型，并报告退化与失败案例，不能只比较模型自身分数。
为什么：只有独立标签和用户结果能证明相对基线的实际增量；质量、延迟、成本与可维护性共同决定是否上线。
需要避开的误区
- TF-IDF 是 Google 当前排名公式
- TF-IDF 分数越高，内容质量越好
- 所有实现都会产生相同权重和结果
术语与复盘
用自己的话复述术语和结论；如果只能认出、不能解释，就还没有形成可调用的知识。
- 词频 TF
- 词项在当前文档中的出现强度，可用原始、binary、log 等不同变体表示。
- 文档频率 df
- 语料中至少包含一次该词项的文档数量，不是词项总出现次数。
- 逆文档频率 IDF
- 根据 N 与 df 计算全局区分度的权重，具体平滑和概率形式可不同。
- Log TF
- 常见次线性词频变换，使重复出现仍增权但边际收益下降。
- Tokenizer
- 把原始文本切成计算词项的规则或程序，其版本会改变统计结果。
- 词法基线
- 以字面词项重合作为主要证据、用于评估复杂方案增量的透明对照系统。
离开本页前记住
- TF 表示局部强度，IDF 表示语料内区分度，两者都不是内容质量。
- 公式、语料、字段与 tokenizer 必须版本化，分数才可复现。
- log TF 展示重复收益递减，不提供最佳关键词次数。
- 高 IDF 既可能是真实属性，也可能是噪声，必须人工与业务核验。
- 复杂检索方案应在同一标注集、指标和成本口径下挑战词法基线。
- TF-IDF 教学计算不能被声称为 Google 的已知网页排名公式。
资料与证据
优先采用官方和一手资料。实践材料用于补充工作方法，不替代机制证据。