sitemap 质量差,是很多站点收录上不去的隐性原因。爬虫预算有限,浪费在无效页面上,真正的内容就抓不到。
哪些页面不该进 sitemap?
第一是标签页、搜索页、分页参数页。这些页面内容重复,抓了也没价值。
第二是已被 robots 屏蔽的路径。sitemap 里出现被屏蔽的地址,是自相矛盾。
第三是空列表页、草稿页、测试页。抓进去只会拉低整站质量评分。
怎么检查?
先数条数。条数应该和真实可索引页面数接近,差太多说明有问题。
再抽样。随机抽二十条,逐条打开看是否 200、是否有实质内容、是否是规范地址。
再做交叉检查。把 sitemap 里的路径和 robots 的屏蔽规则比对,找交集。交集就是必须清理的。
怎么清理?
写一个过滤脚本,构建后自动剔除不该收录的路径,再重新压缩。
脚本要幂等:跑一次和跑十次结果一样。否则每次构建都会产生新的差异。
清理后复核:条数是否符合预期、压缩是否生效、访问是否 200。三项都要看。
lastmod 该怎么写?
只写真实修改时间。全部写成当前时间,会让爬虫认为你在造假,反而降低抓取优先级。
内容没变就不要更新 lastmod。这一条很多人做不到,但它直接影响信任度。
多站点怎么处理?
每个站点一个 sitemap,不要混在一起。混在一起会让爬虫分不清归属。
如果有主副域名,sitemap 只放主域名的地址。副域名通过 301 归并,不要各自提交。
提交后怎么跟踪?
看三个数:提交条数、被抓取条数、被索引条数。三个数差距大,说明质量或技术有问题。
定期复查。站点结构变化后,sitemap 要同步更新,否则会长期保留失效地址。
最后一句:sitemap 是给爬虫的导航,不是给自己看的清单。站在爬虫角度检查,问题就清楚了。
去论坛讨论
前往 ziyuanagi.com 论坛 参与讨论