学习契约与正确模型
先明确为什么学、学完能做什么，以及如何证明自己真的掌握。
测试环境泄露、登录页被索引与生产全站误封常发生在部署边界，既损伤获客也可能暴露敏感资料。
- 能选择 robots、meta robots、X-Robots-Tag、认证或删除
- 能发现互相矛盾的指令
- 能设计发布前索引控制检查
精读 27 分钟 → 引导练习 18 分钟 → 实战任务 50 分钟。实战时间单列，不再把浏览页面和项目操作混成一个数字。
- 它是什么
- robots.txt 是抓取协议；meta robots 与 X-Robots-Tag 是索引和展示指令；认证才是访问控制。
- 为什么重要
- 抓取、索引和安全是三个不同问题，需要在正确层级表达意图。
- 什么时候使用
- 管理参数空间、暂不收录页面、非 HTML 资源、测试环境和客户门户时。
- 什么时候不要套用
- 不要用 robots.txt 隐藏机密，也不要 Disallow 页面后又期待爬虫读取其中 noindex。
- 边界与不确定性
- 规则不创造质量或排名；robots.txt 也不能保证已知 URL 永不出现在结果中。
机制精讲
先读完整因果链，再看每个环节留下什么可观察信号。
robots.txt、robots meta/X-Robots-Tag 与访问控制解决的是不同问题。robots.txt 位于主机根路径，主要表达特定爬虫是否允许请求某些路径；noindex 必须由爬虫取得页面或响应头后才能被读取；登录、授权和网络控制才用于保护敏感内容。把这三层混用会制造典型故障：用 Disallow 试图删除已知 URL，使搜索系统无法读取页面里的 noindex；或用 noindex 保护客户资料，却仍让任何知道地址的人访问。
正确设计从目标开始：是降低无价值抓取、阻止搜索索引，还是限制未经授权访问？随后确认指令承载位置、爬虫能否取得、是否与 canonical、sitemap 和环境部署一致。Google 的公开文档可以支持其对相关指令的解释，但不能把 robots.txt 当作强制所有客户端遵守的安全边界，也不能保证指令被重新抓取和处理的确切时间。本课最终产出是一张路径—目标—控制—验证矩阵。
抓取许可
robots.txt 规则针对 User-agent 与路径匹配，影响守规爬虫是否请求。被阻止地址仍可能因外部发现而以有限信息出现，所以它不是可靠的移除或保密机制。
索引指令读取
meta robots 或 X-Robots-Tag 随可取得响应传递 noindex 等指令。若先阻止抓取，系统可能无法看到新加入的 noindex。
访问授权
敏感资料必须通过身份认证、授权和服务器控制拒绝未许可请求；robots 指令只面向合作型爬虫，不阻止用户或恶意客户端。
关键概念
掌握术语之间的关系，才能迁移到不同网站、行业和工具。
抓取许可
robots.txt 按爬虫和路径声明可否请求，规则公开且不是安全机制。
索引指令
HTML 用 meta robots，PDF 等非 HTML 可用 X-Robots-Tag。
访问控制
敏感内容应使用登录、权限或从公网移除，而不是依赖爬虫自律。
完整示范
跟随一次“输入 → 分析 → 中间产物 → 结论”，看见专家是怎样做判断的。
修复资源中心的控制冲突
教学用合成数据：站点有公开白皮书、登录后客户 PDF、站内搜索结果和测试目录；当前 robots.txt Disallow 全部四类，部分页面另有 noindex。
- 客户 PDF 含受限信息
- 站内搜索结果不需要搜索索引但用户可正常使用
按目标分类
- 输入
- 路径、内容敏感性、用户需求和索引价值。
- 分析
- 公开白皮书应允许抓取；客户 PDF 需要授权；搜索结果需要可访问但不索引；测试目录不得暴露生产。
- 输出
- 每类路径的控制目标。
选择控制层
- 输入
- 目标分类。
- 分析
- 公开内容移除误阻断；客户资料由认证授权保护；搜索结果允许抓取并返回 noindex，必要时再治理其链接产生；测试环境在网络/认证层隔离。
- 输出
- robots、noindex、授权与环境矩阵。
处理顺序
- 输入
- 已知被索引或被发现的 URL。
- 分析
- 若需让已阻断 URL 读取 noindex，应在安全允许的前提下先开放抓取并保留 noindex，等待处理后再评估抓取治理；敏感 URL 不采用此流程而直接保护访问。
- 输出
- 分路径发布顺序和风险说明。
环境与回归
- 输入
- 部署配置、响应头与日志。
- 分析
- 把生产 robots 生成规则纳入版本与测试，防止 staging Disallow 或 noindex 泄漏；抽样 HTML/PDF、大小写和参数并监控日志。
- 输出
- 自动测试、上线检查和 owner。
决策规则与证据边界
把“看到什么、意味着什么、下一步做什么”连起来，同时区分公开事实、实践推断和未知项。
- 生产 robots 内容、响应头、meta 指令和未授权访问结果都可直接测试；公开文档说明 Google 对这些控制的基本处理。
- 开放抓取以读取 noindex 后，重新处理时间需通过实际 URL 状态观察。
- 无法保证所有非 Google 客户端遵守 robots，也无法预知每条指令处理的具体时间。
引导练习
先独立完成，再按提示修正，最后展开参考解法并用 0–4 级量规评分。
为教学用合成数据中的四条路径选择控制：/search?q=、/customer/contracts.pdf、/campaign-preview/、/public/report.pdf。
给定材料
- /search 当前 200 可访问；合同 URL 无登录也能打开；预览页部署在生产主机；公开报告希望进入搜索。
- 当前 robots.txt 同时 Disallow /search、/customer、/campaign-preview 和 /public。
需要提示时再展开
- 逐条先写目标：抓取、索引还是授权。
- 对 PDF 考虑响应头，对敏感资料先修访问而不是让爬虫读取。
完成后核对参考解法
/search 可保持用户可访问并返回 noindex；若已被 robots 阻止且非敏感，应允许目标爬虫取得指令，同时从内部链接与参数产生机制控制规模。/customer/contracts.pdf 必须立即加身份认证和授权，未登录返回适当拒绝响应，不能依赖 robots 保密；可额外通过 X-Robots-Tag 管理索引。/campaign-preview 应移出公开生产入口或加可靠认证，并在发布流程阻止预览配置泄漏。/public/report.pdf 应允许抓取、提供相关站内链接并从误加的 Disallow 移除；需要索引控制时用 X-Robots-Tag。每项都要用直接请求、不同身份、响应头与日志复测。
自评分量规
真实项目实战
把理解变成一个可以检查、复核和复用的工作产物。
修复资源中心的索引控制矩阵
白皮书 PDF、感谢页、筛选参数、客户门户与公开报告混在同一目录。
- 列出模板、文件类型、公开性和索引目标
- 分别决定抓取、索引与访问权限
- 检查 robots、meta、HTTP 头和登录
- 在预发布设置自动断言
- 上线后用 URL 检查抽样
验收条件
- 公开获客页可抓取且无 noindex
- 私密资源由认证保护
- 非 HTML 响应头符合策略
- 生产 robots.txt 无意外全站 Disallow
诊断练习
目标不是猜中答案，而是提出竞争假设并选择能区分它们的证据。
页面带 noindex 数周仍在结果中。
竞争假设
- robots.txt 阻止重新读取 noindex
- canonical 到另一可索引 URL
- 观察的是不同 URL 版本
- CDN 按 user-agent 返回不同响应
应该检查的证据
- 检查实时规则与发布历史
- 获取原始 HTML 和响应头
- 核对 GSC 声明与 Google 选择 canonical
- 验证协议、主机和参数版本
常见陷阱：反复用临时移除工具，却不修复长期配置。
完成后用本页决策规则复核
- 若观察到：目标是保护客户或个人敏感信息
应优先：使用认证、授权和服务器级访问控制。
robots/noindex 可作为补充，绝不能作为安全边界。 - 若观察到：目标 URL 已知且需从索引移除，但被 robots 阻止
应优先：若内容非敏感，允许抓取并返回 noindex，观察处理后再治理抓取。
紧急移除还需使用平台提供的临时工具并修永久状态。 - 若观察到：测试环境规则可能进入生产
应优先：将 robots/meta/header 纳入 CI 和发布 smoke test。
仅人工查看首页不足以覆盖模板与非 HTML 文件。
自测与误区
先口头回答，再展开检查。无法给出例外与证据，说明还没真正掌握。
你应该能回答
1. 目标是省抓取、阻止索引还是限制访问？
参考答案：省抓取用 robots/链接治理，阻止索引用可被读取的 noindex，限制访问用认证授权；先明确目标再组合。
为什么：三个目标对应不同机制，互换会产生控制漏洞。
2. 爬虫能否取得承载指令的响应？
参考答案：检查 robots 是否允许请求，再直接请求页面或文件确认 meta/X-Robots-Tag 可达；若被 Disallow，noindex 可能无法被读取。
为什么：指令只有在承载响应被取得后才能参与处理。
3. 部署如何阻止测试规则进入生产？
参考答案：把生产规则、meta 和响应头加入版本控制、CI 断言与发布 smoke test，并为 staging 使用独立认证/网络隔离。
为什么：环境级自动门槛比上线前人工记忆可靠；自动测试还能阻止预发布环境规则意外泄漏到生产。
需要避开的误区
- Disallow 等于 noindex
- robots.txt 能保护商业机密
- 用 JavaScript 后置移除 noindex 总能可靠生效
术语与复盘
用自己的话复述术语和结论；如果只能认出、不能解释，就还没有形成可调用的知识。
- robots.txt
- 主机根路径下针对合作型爬虫的抓取规则文件。
- noindex
- 请求被取得后表达不应纳入搜索索引的指令。
- X-Robots-Tag
- 通过 HTTP 响应头向 HTML 或非 HTML 资源发送 robots 指令。
- 访问控制
- 依据身份和权限允许或拒绝资源请求的安全机制。
- 临时移除
- 搜索平台提供的短期隐藏工具，不替代永久响应或指令。
离开本页前记住
- 抓取、索引和保密是三个问题。
- 被阻止抓取时 noindex 可能读不到。
- robots.txt 不是安全机制。
- 非 HTML 文件可用 X-Robots-Tag。
- 环境规则必须自动测试以防生产事故。
资料与证据
优先采用官方和一手资料。实践材料用于补充工作方法，不替代机制证据。