索引控制

sitemap提交的地址，页面自己认不认账？

从116个海外品牌独立站的sitemap里各随机抽6条地址做实抓，把提交层、交付层、索引层三处的声明逐条比对。做法是先确认sitemap本身拿得到，再按固定随机种子抽样，一次请求同时取回状态码、跳转链、页面与响应头里的索引声明和canonical，最后对所有非200的地址换普通浏览器身份重抓一次做对照。文中给出一致率、各项失分分布、系统性与零星的分辨方法、六步自查顺序，以及五处差点搞错的判据。