学习契约与正确模型
先明确为什么学、学完能做什么，以及如何证明自己真的掌握。
将所有可访问 URL 都追求 100% 索引会浪费 crawl、制造重复和错误 KPI；反过来，关键商业页未索引又可能被大盘平均掩盖。
- 能定义 indexable inventory 与 expected-indexed 集合
- 能用 Page Indexing、URL Inspection、crawl、server logs 和 rendered HTML 建证据链
- 能把页面级现象归纳为模板/规则根因并给出验证方案
精读 40 分钟 → 引导练习 35 分钟 → 实战任务 95 分钟。实战时间单列，不再把浏览页面和项目操作混成一个数字。
- 它是什么
- 索引是搜索引擎选择，不是提交后的保证；诊断要从目标 URL 集合出发，追踪发现、抓取、渲染、规范化与质量信号。
- 为什么重要
- 不同状态需要完全不同的行动，例如 blocked、duplicate、soft 404、crawled-not-indexed 不能用重复提交 sitemap 统一解决。
- 什么时候使用
- 新目录上线、迁移、模板变更、页面长期无曝光或 Page Indexing 状态异常时使用。
- 什么时候不要套用
- 不应把参数页、站内搜索、重复筛选页等本就不应索引的 URL 纳入成功率分母。
- 边界与不确定性
- robots、noindex、canonical、redirect 和 sitemap 的批量改动可影响全站；先在非生产样本验证，由开发 owner 审批，并准备回滚。
机制精讲
先读完整因果链，再看每个环节留下什么可观察信号。
“未收录”应拆成发现、抓取、渲染、索引资格、规范代表选择和实际展示几个关卡。Sitemap 提交只能提供发现线索；日志中的 200 证明服务器返回过响应，不证明渲染完整或已索引；noindex、robots、状态码和 canonical 分别作用于不同机制。GSC 页面索引状态是结果分类而非根因诊断，必须用 URL 清单、模板分层、响应与渲染 diff、日志和 URL Inspection 组合验证。
第一步不是让所有 URL 进入索引，而是定义哪些 URL 从业务上应成为独立、稳定、可搜索的代表页。筛选组合、站内搜索、重复打印页或过期页面可能本就不应索引。对应该索引的 cohort，应使用分层样本而非只查十个重要页面，记录选择的 canonical、最后抓取、渲染主体、指令和内链。修复后按机制等待领先信号：先看到可抓取输出与重抓，再看规范选择与索引状态，最后看曝光；提交请求不能保证时限或结果。
业务资格先定义目标集合
搜索系统是否选择页面之前，团队必须决定 URL 是否承担独立任务、是否长期有效、是否与其他页重复。
处理链逐关提供不同证据
发现、请求成功、渲染完整、允许索引和代表选择互不等价；最早失败关卡决定下一检查。
规范选择处理重复候选
自引用 canonical 是提示而非命令；内容近似、内链、redirect、sitemap 和协议/参数信号冲突时，系统可能选择另一代表。
抽样必须代表模板状态
Inspection 是单 URL 快照；只选流量最高或最异常 URL 会造成选择偏差。
关键概念
掌握术语之间的关系，才能迁移到不同网站、行业和工具。
Indexable inventory
HTTP 状态、robots、meta/header directives、canonical 等技术条件允许索引的 URL 集合。
Expected-indexed
业务与搜索价值上确实希望索引、内容独特且可维护的集合，通常小于 indexable。
Declared vs selected canonical
站点声明只是信号；Google 可能基于重定向、链接、sitemap、内容等选择不同 canonical。
模板级抽样
按状态与页面类型分层抽样，寻找共同规则，而不是逐 URL 手工检查。
完整示范
跟随一次“输入 → 分析 → 中间产物 → 结论”，看见专家是怎样做判断的。
新集成目录为何只有少数页面可曝光
教学用合成数据：某 SaaS 发布 1,200 个集成页 45 天，sitemap 已列全；GSC 发现 1,080 个，日志中 840 个有验证抓取，页面索引报告仅 310 个已索引。
- URL inventory 冻结，明确 1,200 页都对应真实可用集成
- 日志覆盖 CDN 与源站且机器人已验证
- Inspection 样本按抓取状态和模板版本分层，不把样本率直接外推总体
构建关卡漏斗
- 输入
- 1,200 目标页中 1,080 已发现、840 有 200 抓取、310 报告已索引、260 有曝光。
- 分析
- 最大可见损失在成功抓取后到索引选择之间，但 360 个未抓取页仍是独立发现/调度问题。
- 输出
- 每层保留分母、证据来源、覆盖日和 Unknown，而非写单一“收录率”。
分层检查页面表示
- 输入
- 60 页样本中，旧模板 30 页原始 HTML 有独特说明；新模板 30 页中 24 页 API 超时后只剩通用壳。
- 分析
- 渲染不稳定与模板范围吻合，是被抓取后内容不足的机制候选。
- 输出
- 缺陷清单记录 HTML、网络错误、DOM 与模板版本。
检查规范与重复信号
- 输入
- 壳页面 canonical 自引用，但站内锚文本全部为“查看集成”，描述仅替换品牌名；Inspection 常选择目录页为 canonical。
- 分析
- 自引用标签不足以推翻重复与低信息信号，需改善稳定主体和真实差异，而非重复请求索引。
- 输出
- 最小页面规范包含功能、限制、配置步骤、兼容版本和具体内链。
按领先信号验收
- 输入
- 修复先覆盖 100 页；七天内成功渲染率由 20% 到 98%，十四天重抓 76 页，三十天所选 canonical 一致率与曝光页数上升。
- 分析
- 顺序符合机制，支持继续分批发布；索引和曝光并无保证，仍保留未抓取 cohort 调查。
- 输出
- 通过模板验收并扩大到下一批，继续监控错误、选择与业务质量。
决策规则与证据边界
把“看到什么、意味着什么、下一步做什么”连起来，同时区分公开事实、实践推断和未知项。
- 状态码、指令、声明 canonical、渲染内容、日志请求和某次 Inspection 结果均可直接验证。
- sitemap 与链接帮助发现，但不构成索引或排名保证。
- 模板样本反复出现同一失败，可推断同模板存在系统性风险，但需报告抽样范围。
- 修复后领先信号按机制顺序改善，支持修复有效，仍不能量化所有外部因素。
- 站外无法知道搜索系统对每个候选 URL 的全部索引选择信号与处理时点。
- 未被抽样 URL 的真实状态、未来是否索引及何时获得曝光仍未知。
引导练习
先独立完成，再按提示修正，最后展开参考解法并用 0–4 级量规评分。
教学用合成数据：500 个产品页都在 sitemap；日志中 420 个返回 200，60 个未请求，20 个返回 5xx。对 40 个 200 页分层抽样：18 个渲染正文为空，12 个所选 canonical 为分类页，10 个已索引。请排序行动。
给定材料
- URL inventory：业务等级、模板、内链、sitemap、日志状态和发布日期
- 40 页的响应、原始/渲染 DOM、声明与所选 canonical、Inspection 时间
需要提示时再展开
- 先处理 5xx 和模板空正文，因为它们有明确可复现机制；未请求页需检查发现路径。
- 12 个 canonical 结果可能与空正文重叠，不能把样本类别直接相加外推。
完成后核对参考解法
先确认 500 页都应独立索引，并建立 URL 级而非互斥汇总表。第一优先修复 20 个 5xx 及其模板/服务原因，以稳定 200、错误率和重抓为验收；第二优先定位 18 个空正文的资源或 API 失败，让关键内容在无状态环境稳定出现，并对同模板扩大分层抽样。第三检查 12 个被选为分类页 canonical 的重复簇：比较内容差异、内链、redirect、sitemap 与声明信号，决定真正合并还是强化独立任务，不能只反复提交。对 60 个未请求页补充来自可抓取分类页的标准 href，并核对 sitemap 获取，先期待日志首次请求。报告须注明 40 页样本可能重叠且不能直接推成全站比例；修复后按响应/渲染、重抓、canonical 选择、索引、曝光顺序观察，不承诺全量收录。
自评分量规
真实项目实战
把理解变成一个可以检查、复核和复用的工作产物。
诊断产品目录索引缺口
CMS 有 50,000 个产品 URL，GSC 显示只有 18,000 个已索引。
- 从数据库或 sitemap 建 URL inventory，标注 page type、status、canonical、index directive、业务价值与更新时间。
- 定义 expected-indexed 规则，排除停售、重复筛选、无内容和非目标 URL。
- 连接 GSC Page Indexing/URL Inspection 样本、crawler、rendered HTML 与 server log 证据。
- 按状态×模板分层抽样，记录共同的发现、抓取、渲染、canonical 或内容模式。
- 先在一小组模板修复，定义抓取、selected canonical、indexed 与曝光的分阶段验证窗口。
验收条件
- 分母只包含 expected-indexed URL
- 每个根因至少有两个独立证据来源
- 建议针对模板或规则而非盲目 request indexing
- 生产改动影响面、owner 和回滚均已记录
诊断练习
目标不是猜中答案，而是提出竞争假设并选择能区分它们的证据。
大量重点页状态为“已抓取 - 尚未编入索引”，开发建议提高 sitemap 提交频率。
竞争假设
- 页面与已索引 canonical 高度重复
- 渲染后主体内容为空或延迟失败
- 内部链接和内容价值信号弱
- 数据观察窗口尚未成熟
应该检查的证据
- URL Inspection 的 selected canonical 与 rendered HTML
- 相似页面内容指纹与 canonical cluster
- server logs 中抓取频率/status/bytes
- 内部链接深度、sitemap lastmod 与首次发现时间
常见陷阱：反复请求索引或制造更多 sitemap，而不验证选择不索引的原因。
完成后用本页决策规则复核
- 若观察到：目标 URL 未在 sitemap、内链或日志中出现
应优先：修正稳定 href、sitemap 和 URL 生成，再等待真实请求。
被发现不保证调度、索引或排名，不能把提交成功当验收。 - 若观察到：日志有 200，但渲染主体缺失或指令冲突
应优先：修复响应/渲染，统一 canonical 与 robots 指令，并做模板失败测试。
一次 Inspection 成功不足以代表模板长期稳定。 - 若观察到：声明自引用但所选 canonical 指向他页
应优先：审计完整重复簇和站内信号，决定合并还是增强独立角色。
不能保证系统接受声明 canonical，也不应为“收录”制造无价值差异。 - 若观察到：URL 本就不承担独立搜索任务
应优先：移出索引 KPI，正确合并、noindex 或限制生成，并保护用户功能。
robots.txt 不等同于 noindex，处理已索引 URL 前须检查可达性和替代页。
自测与误区
先口头回答，再展开检查。无法给出例外与证据，说明还没真正掌握。
你应该能回答
1. 哪些 URL 从业务上就不应进入索引？
参考答案：先由业务与内容 owner 建立 index-intent 清单：只有承担独立用户任务、长期有效、内容可区分且允许公开的 URL 才进入目标。参数组合、站内搜索、登录内容、重复打印页和无替代过期页通常应另行治理。
为什么：“全部收录”不是合理目标；先定义目标集合才能让覆盖率分母有业务意义，并避免制造低价值页面。
2. 问题发生在发现、抓取、渲染、canonical 还是选择阶段？
参考答案：按最早证据判断：无入口是发现；日志无请求是抓取前；200 但 DOM 空是渲染；noindex/错误状态是资格；所选 canonical 不同是代表选择。每个 URL 可以有多个问题，但行动应从最早可修复关卡开始。
为什么：不同控制作用于不同处理阶段，混称“索引问题”容易用 sitemap 解决渲染、用 canonical 期待停止抓取。
3. 样本能否代表同一模板和同一状态？
参考答案：样本要按模板、发布日期、业务等级、抓取状态和报告状态分层，并在层内随机选择；保存总体与样本分母、抽样时间和 URL 级结果。只看首页、最高流量页或最异常页都不能代表模板。
为什么：分层可覆盖主要机制差异，随机选择减少人为挑例；仍须把未抽样部分标为未知。
4. 修复后先期待哪个领先信号发生变化？
参考答案：依修复机制先看领先信号：服务修复先看 200/5xx，渲染修复先看主体稳定，发现修复先看首次请求，规范修复先看所选 canonical；其后才看索引状态和曝光。每层记录实际重处理时间。
为什么：搜索处理存在延迟，等待最终流量会延误验证，而过早看曝光又可能把尚未重抓误判为失败。
需要避开的误区
- XML sitemap 中的 URL 一定会被索引。
- 索引率越接近 100% 越好。
- “已抓取 - 尚未编入索引”有一个固定通用修复。
术语与复盘
用自己的话复述术语和结论；如果只能认出、不能解释，就还没有形成可调用的知识。
- Index intent
- 组织对某 URL 是否应成为独立搜索代表页的明确业务决定。
- 发现
- 搜索系统获知 URL 的阶段，不等于已经请求。
- 索引资格
- 状态、指令与内容是否允许被考虑进入索引。
- 声明 canonical
- 页面或协议给出的首选代表提示。
- 所选 canonical
- 搜索系统实际选择用于代表重复簇的 URL。
- 分层抽样
- 先按关键模板或状态分组，再从各组取样的检查方法。
离开本页前记住
- 先定义哪些 URL 应该索引。
- 发现、抓取、渲染、资格和选择不能混为一谈。
- 200 与 sitemap 都不提供索引保证。
- 页面索引状态是分类，不是完整根因。
- Inspection 要配合模板级分层样本。
- 修复后按机制领先信号等待真实重处理。
资料与证据
优先采用官方和一手资料。实践材料用于补充工作方法，不替代机制证据。