别照抄爬虫黑名单：266个令牌只23.3%真来过
给robots.txt里的爬虫名单做一次核对的完整量法：先从访问日志提取真实来访的抓取标识，再逐个对文件里的名字算命中率，接着按用途把来过的分成五类给不同待遇，最后给每个分组补一行注明依据和日期的注释。含157份文件281个令牌与59天248万行日志的交集实测。
标签
日志分析
保哥笔记 日志分析 标签下共 9 篇文章合集，含《别照抄爬虫黑名单：266个令牌只23.3%真来过》《AI流量来源漏掉九成：日志里带人来的是夸克和通义》《GEO效果怎么验证？给那条建议配一个注定无效的对照组》等，与 技术SEO、AI爬虫、Googlebot 主题密切相关，覆盖 SEO/GEO 实战角度的深度解析与可落地方案。
-
-
AI流量来源漏掉九成：日志里带人来的是夸克和通义
浏览器请求里有84.54%的来源字段是空的。在剩下能看清来路的那部分里，AI入口带来575次访问，其中527次来自国内产品。同一份日志换三种口径统计，会得到4979、575、23三个数字，本文把口径差异、六类常见坑，以及一套不依赖技术链路的补救办法一并给出。
-
GEO效果怎么验证？给那条建议配一个注定无效的对照组
四条被反复引用的效果证据，在做法完全无效的时候也照样成立。本文用51天、230万条访问日志做了一次对照实验，把robots.txt当作已知被使用的参照，量出AI客户端对llms.txt的真实请求只有17次，并给出对照组的七步流程与一条能长期挂在站上的地板线。
-
Google有一整类抓取器不看robots.txt，这次改名只是把它推到了台前
官方把用户触发型抓取器单列一类，并写明它们一般会忽略robots.txt，Google-Extended同样管不到。这篇从令牌改名讲起，把这一类的分类逻辑、五份官方IP清单的真实规模、反向DNS的三种形态，以及协议之外还剩哪几层能拦，逐条摊开。
-
日志里每5次Googlebot抓取，就有1次IP不属于谷歌
这篇不教你搭一套日志系统，而是回答另一个问题：手上这份日志为什么查不动。文章从体积、可解析性、时间格式、查询成本、能回答什么问题这五个角度做了一次完整体检，每一处卡壳都对应到一个具体的配置决定。真正要改的只有六条，其中三条只需要动一行配置。文中还包含一次测量事故的完整复盘——最初得出的那个三倍差异，后来证明是解析时截断字段自己造出来的。
-
SEO抓取速率被调低的那几天，服务器日志里一条错误都没有
Google把抓取容量算成服务器为它保持连接的总时长，所以变慢和报错是同一件事。可排队的6个请求全返回200、错误日志一行没有；进程池打满让并发从8.2秒排到19.2秒，状态码还是200。这一族故障共同的特征是：全部以2xx收场。
-
AI爬虫到底有没有抓你的站？日志分析一步步挖真相
你的内容每天被AI爬虫抓走喂进ChatGPT和Claude的回答，但没有任何官方报表能让你看见这件事。这篇带你用服务器日志补上这块盲区：分清训练型与检索型爬虫为什么要区别对待、五层诊断怎么一步步深入、命令行和Python脚本怎么落地、日志为什么必须搬出主机长期存，以及robots.txt分层和迁移验真该怎么做。
-
AI爬虫到底抓你什么？代码逆向出爬虫真实偏好8步实操
14种AI客户端、3类抓取经济学、5种日志里的病：别再照官方文档和llms.txt模板猜了。这篇用一个能复现请求指纹的模拟器加访问日志反查，把robots、llms.txt、渲染策略从凭感觉改成可验证的工程，再讲清怎么固化成每季度自动复跑的能力
-
小语种SEO的访问量里有一半不是人，48门语言量下来最高的那门到92%
把48门语言的访问量拆成真人和机器两堆，机器占比从西班牙语9.23%铺到宿务语92.07%。土耳其被封那段是个天然实验：真人掉八成，爬虫一次没少抓。
