百度索引，小流量灰度暴露了全量发布的例外
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /dafbcc64736f.html
📄
百度索引，小流量灰度暴露了全量发布的例外
灰度样本里页面几乎都进了索引，全量上线后却出现一批长期停在“已抓取未索引”的URL，这通常不是灰度本身失败，而是灰度没有覆盖全量才出现的例外条件。保留灰度、改写发布方式还是退出该批页面，取决于例外是否可复现、是否只影响某一类模板，以及修复后能否用同一批URL验证。
灰度通过不等于全量通过，先找出被灰度掩盖的变量
小流量灰度往往只放出一部分URL，抓取预算、内链入口、模板分支和内容相似度都与全量不同。灰度阶段能进索引，可能只是因为样本量小、入口集中，爬虫把每个URL都当作重点处理；全量发布后，同样的入口被稀释，边缘页面就暴露出来。判断时要区分三种情况：
- 样本偏差：灰度只选了栏目首页、优质内容或已有外链的URL，全量里还有大量低入口、无外链的页面。
- 入口稀释：灰度时所有新URL都挂在少数列表页上，全量后列表分页加深，部分URL需要多跳才能到达。
- 模板分支：灰度只走了默认模板，全量里还有筛选参数、空结果页、登录态分支等变体。
可操作的动作是先取灰度URL和全量URL各一批，按入口深度、模板类型、是否有独立正文分组，再对比百度搜索资源平台里的抓取和索引状态。如果例外集中在同一模板分支，问题更可能是模板而不是内容质量；如果分散在各模板且没有入口，优先查内链和站点地图是否真的覆盖了这些URL。
保留、改写还是退出：三种取舍的适用前提
保留灰度并扩大样本适用于例外只出现在少数模板、且你能在不改全量结构的前提下补入口。做法是把灰度从“页面数量”改成“模板类型加入口深度”的组合，每种组合都放一批URL，再观察索引状态。这样做的结果是，你能确认例外是模板问题还是入口问题，下一步只修对应分支，而不是回退整个发布。
改写发布方式适用于例外集中在入口稀释或参数变体。比如把全量发布拆成按栏目分批上线，每批都保证有稳定的列表入口和站点地图条目，而不是一次性把成千上万个URL推到同一层。改写后的结果如果让“已抓取未索引”比例下降，说明原发布节奏超出了当前可消化的入口规模；如果没变化，就要回到内容层面查重复和薄内容。
退出该批页面适用于例外页面本身没有独立检索价值，比如筛选组合、空结果、重复列表。此时用robots.txt限制抓取只能减少爬虫访问，不等于可靠的索引移除；已经进入索引的URL仍可能保留一段时间。更稳妥的动作是让这些URL返回合适的状态码或做规范化，再用站点地图只保留需要索引的URL。退出的结果是抓取预算集中到有效页面，但前提是你确认这些页面不会被用户或内链当作正常入口。
用一组可区分原因的证据固定下一步
假设一次灰度放了200个URL，其中180个进入索引；全量放了5000个URL，只有2000个进入索引（数字仅用于说明比较方法）。不要直接得出“全量发布导致降权”的结论，先做三组对照：
- 从全量未索引URL里抽50个，检查它们是否出现在站点地图和至少一个列表页。站点地图不保证收录，但如果连地图和入口都没有，优先补入口而不是改内容。
- 从已索引URL里抽50个，对比未索引URL的正文长度、模板分支和参数数量。如果差异集中在某一分支，修模板比改全站更直接。
- 检查灰度URL和全量URL的抓取日志。请求量下降或某项统计归零，可能是抓取策略调整、入口变化或日志采集问题，不能单独证明处理正确。
完成对照后，下一步只做一件事：如果例外集中在入口，就补内链和站点地图并重新提交；如果集中在模板，就修模板后重新放同一批URL验证；如果两者都不是，再考虑退出该批页面。这样每一步的结果都能决定是否继续保留、改写或退出，而不是在灰度通过后直接全量发布再被动回退。
