用户代理

Google有一整类抓取器不看robots.txt，这次改名只是把它推到了台前

官方把用户触发型抓取器单列一类，并写明它们一般会忽略robots.txt，Google-Extended同样管不到。这篇从令牌改名讲起，把这一类的分类逻辑、五份官方IP清单的真实规模、反向DNS的三种形态，以及协议之外还剩哪几层能拦，逐条摊开。