死链检查方法怎样区分访问抓取与索引结果
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /e002302470e5.html
📄
死链检查方法怎样区分访问抓取与索引结果
在死链检查方法里，访问抓取和索引结果是两个不同阶段：抓取是爬虫请求了某个URL并拿到状态码，索引是搜索引擎把该URL的内容纳入可检索库。一个URL被抓取，不代表会被索引；返回404，也不代表它会立刻从索引消失。多人协作时，最关键的交付动作是：为每个异常URL同时记录“最近一次抓取状态”和“当前索引状态”，再决定是修复、保留还是提交移除。
准备阶段：先定义两个字段，避免协作口径混乱
把检查表拆成两组字段，任何成员都能看懂：
- 抓取侧：URL、发现来源（站内链接、站点地图、外链）、HTTP状态码、抓取时间、是否被robots.txt限制。
- 索引侧：该URL在目标搜索引擎中是否出现、出现的是原URL还是替代URL、页面标题是否与预期一致、是否显示“已编入索引”类状态。
如果只记录“打不开”或“没收录”，后续修复会反复返工。抓取侧回答“服务器对爬虫说了什么”，索引侧回答“搜索引擎当前是否愿意展示它”。
实施阶段：用可复现的步骤分别取证
第一步，固定检查范围。从站点地图、站内链接或日志中导出待查URL清单，去重后按目录分组。不要一边查一边加URL，否则无法比较。
第二步，逐条获取抓取结果。用命令行或抓取工具请求URL，记录状态码和最终跳转地址。例如：
curl -I -L https://example.com/old-page
这个命令只说明请求层面的结果：200、301、404、403、5xx，或跳转到别的地址。它不能证明页面已被索引，也不能证明页面已从索引移除。
第三步，单独核查索引结果。在目标搜索引擎的站内查询框输入完整URL或site:限定查询，观察返回的是不是该URL本身。若返回的是其他页面，说明该URL可能未被单独索引，或已被规范到别的地址。不同搜索引擎的查询语法和展示方式不同，必须分别核查，不能用一个引擎的结果代替另一个。
第四步，交叉比对并标注结论。建议用三列判断：
- 抓取返回404，索引中仍出现该URL：说明索引尚未更新，优先修复或配置正确的移除方式。
- 抓取返回200，索引中不出现：说明可访问但未被收录，检查内容质量、内部链接和robots限制。
- 抓取被robots.txt阻止，索引中仍出现：robots.txt限制的是抓取，不等于可靠的索引移除，需要另行处理。
验证阶段：确认修复是否同时作用于两个层面
修复后不要只看一个指标。若把死链改为301跳转，要验证跳转目标返回200，并观察索引中的URL是否逐步替换为目标地址。若删除页面并返回410，要验证抓取状态为410，同时观察索引中该URL是否减少。若只是用robots.txt屏蔽，抓取侧会显示被限制，但索引侧可能仍保留旧记录，因此它不能当作移除手段。
验证时还要注意：站点地图提交不保证收录；HTTPS 不保证页面安全无漏洞，也不保证排名。这些只能作为辅助信号，不能替代抓取状态和索引状态的分开检查。
维护阶段：把检查结果变成可交接的固定产物
每次检查后输出一份表，至少包含：URL、抓取状态码、抓取时间、索引状态、判断结论、负责人、下次复查时间。对于多人协作，结论只写三种：需修复、需观察、无需处理。这样下一轮检查时，任何人拿到表都能继续，而不是重新争论“到底算不算死链”。
下一步，选目标搜索引擎中的一个代表性URL，按上面的抓取与索引两组字段各查一次，把结果填入同一行，再决定修复动作。
