爬虫防护

人机验证屏被谷歌当正文索引：页面掉收录，规范网址还判给了别的站

网站为拦坏流量挂上的人机验证屏，会被谷歌当成网页正文抓走并收进索引；由于大量站点共用同一套验证页模板，跨站归并可能把规范版本判给别人。本文给出状态码后果对照、以爬虫身份自查的四种办法、按成本排序的排查顺序与修复后的恢复预期。