Google有一整类抓取器不看robots.txt，这次改名只是把它推到了台前
官方把用户触发型抓取器单列一类，并写明它们一般会忽略robots.txt，Google-Extended同样管不到。这篇从令牌改名讲起，把这一类的分类逻辑、五份官方IP清单的真实规模、反向DNS的三种形态，以及协议之外还剩哪几层能拦，逐条摊开。
标签
日志分析
保哥笔记 日志分析 标签下共 6 篇文章合集，含《Google有一整类抓取器不看robots.txt，》《日志里每5次Googlebot抓取，就有1次IP不属》《SEO抓取速率被调低的那几天，服务器日志里一条错误都》等，与 技术SEO、AI爬虫、Googlebot 主题密切相关，覆盖 SEO/GEO 实战角度的深度解析与可落地方案。
-
-
日志里每5次Googlebot抓取，就有1次IP不属于谷歌
这篇不教你搭一套日志系统，而是回答另一个问题：手上这份日志为什么查不动。文章从体积、可解析性、时间格式、查询成本、能回答什么问题这五个角度做了一次完整体检，每一处卡壳都对应到一个具体的配置决定。真正要改的只有六条，其中三条只需要动一行配置。文中还包含一次测量事故的完整复盘——最初得出的那个三倍差异，后来证明是解析时截断字段自己造出来的。
-
SEO抓取速率被调低的那几天，服务器日志里一条错误都没有
Google把抓取容量算成服务器为它保持连接的总时长，所以变慢和报错是同一件事。可排队的6个请求全返回200、错误日志一行没有；进程池打满让并发从8.2秒排到19.2秒，状态码还是200。这一族故障共同的特征是：全部以2xx收场。
-
AI爬虫到底有没有抓你的站？日志分析一步步挖真相
你的内容每天被AI爬虫抓走喂进ChatGPT和Claude的回答，但没有任何官方报表能让你看见这件事。这篇带你用服务器日志补上这块盲区：分清训练型与检索型爬虫为什么要区别对待、五层诊断怎么一步步深入、命令行和Python脚本怎么落地、日志为什么必须搬出主机长期存，以及robots.txt分层和迁移验真该怎么做。
-
AI爬虫到底抓你什么？代码逆向出爬虫真实偏好8步实操
14种AI客户端、3类抓取经济学、5种日志里的病：别再照官方文档和llms.txt模板猜了。这篇用一个能复现请求指纹的模拟器加访问日志反查，把robots、llms.txt、渲染策略从凭感觉改成可验证的工程，再讲清怎么固化成每季度自动复跑的能力
-
小语种SEO的访问量里有一半不是人，48门语言量下来最高的那门到92%
把48门语言的访问量拆成真人和机器两堆，机器占比从西班牙语9.23%铺到宿务语92.07%。土耳其被封那段是个天然实验：真人掉八成，爬虫一次没少抓。
