robots规则的星号对AdsBot无效，广告落地页照抓
谷歌把自己的抓取客户端分成三份清单，其中特例爬虫那一份里，AdsBot-Google、AdsBot-Google-Mobile、Mediapartners-Google和APIs-Google四条下面写着同一句话：全局用户代理会被忽略；Google-Safety更彻底，完全不看robots.txt。这意味着你那行星号覆盖的范围小于你以为的范围，而覆盖之外那几个恰好后果最直接。本文把日志里的用户代理与robots.txt里的令牌这两套字典…
