robots.txt挡不住AI训练：Google被诉案摊开了内容进模型的4条路
Google-Extended这个令牌在服务器日志里永远看不到，因为它根本不是抓取器。这篇从一份57页起诉书原件讲起，把内容进入大模型的4条路径逐条摊开，说明为什么其中3条跟robots.txt没有任何关系，以及CCBot那一条该怎么单独写。
标签
爬虫
保哥笔记 爬虫 标签下共 11 篇文章合集，含《robots.txt挡不住AI训练：Google被诉》《苹果把Gemini装进了Siri，多出来这个答案层会》《Cloudflare按次抓取是什么？独立站要不要向A》等，与 AI爬虫、SEO、User Agent 主题密切相关，覆盖 SEO/GEO 实战角度的深度解析与可落地方案。
-
-
苹果把Gemini装进了Siri，多出来这个答案层会不会再抢走你一截流量
苹果把Siri换成定制版Gemini后，搜索的入口又多了一层。这篇从技术SEO的角度拆：分层路由让哪类内容最先被吃掉、Applebot和Applebot-Extended到底拦哪个、官方不给数据时拿什么代理信号衡量，给面向苹果用户的出海站一份能照做的清单。
-
Cloudflare按次抓取是什么？独立站要不要向AI爬虫收费
Cloudflare按次抓取把网络对机器人的老规矩改写了：搜索引擎照常放行，AI想读内容得先掏钱。但对靠内容引流获客的卖家，设收费墙往往得不偿失。本文讲透运作原理、收费谈判逻辑和适用边界。
-
GEO技术端这样优化，AI爬虫才能抓得到、读得懂、引得出
内容写得再好，AI搜索却从不引用你？多半不是内容问题，而是AI爬虫根本没抓到、抓到没渲染出、或读不懂抽不出。这篇把GEO的技术地基拆成可达、可渲染、可理解、可抽取、可信稳定五道关，每关给自查命令和踩坑点，照着一关一关查通。
-
二维码生成器怎么用？给线下物料配UTM追踪，把展会、礼盒的扫码流量追回站内
把展会、礼盒、名片这些线下物料连上带UTM参数的落地页，原本一片黑的线下流量就能在GA里被一个个渠道追踪到。这款二维码生成器纯本地生成8种类型的码，纠错、尺寸、颜色可调，是这条追踪链路的最后一道工序。
-
WordPress外贸建站选共享主机、VPS还是独享？先算清这笔SEO速度账
外贸独立站到底该用共享主机、VPS、独享托管还是云服务器？别只盯着首年价，这其实是一道关乎响应速度、爬虫承载和稳定性的决策题。本文把四档主机各自的真实代价摊开，讲清什么信号该升档、小站为何别急着上独享、换主机怎么不掉收录。
-
Nginx拦AI爬虫与限速怎么不误伤GoogleBot？
拦AI爬虫从Nginx配置层5维全栈讲——第1维白名单（IP+UA双向校验）、第2维UA校验（关键模式正则）、第3维limit_req阈值（按蜘蛛分桶）、第4维rDNS反查（PTR+正向解析双闸）、第5维log归因（每周复盘4件事），再叠22周5客户误伤账本横向对照、5个最容易踩的配置坑、6类客户决策树、12步上线SOP、5个反信号判断要不要做。
-
GA4里的机器流量怎么揪出来再拦掉，别让报表失真
GA4流量一个月涨四成却没多一条线索，多半是垃圾流量在注水。它分幽灵、引荐爬虫、伪自然三类，专挑转化率、归因、跳出率下手，让你照着假数据做决策。讲清三类各自怎么混进来、双指纹怎么一眼认出、三层过滤每层挡什么、污染后怎么重建能信的基线。
-
5种PHP代码识别搜索引擎蜘蛛实战指南：含反转换法
判断搜索引擎蜘蛛在内容更新、网站重构、A/B测试、反爬限流等合规场景中很常用。本文系统拆解301、302、Meta Refresh、HTTP状态码、JS跳转5种原理，给出Discuz黑白名单、分类日志统计、UA全集匹配、判断后跳转、JS referrer分流5种PHP代码实战，并补充2026年AI爬虫识别清单、双向DNS校验进阶方案与cloaking合规红线。
-
WordPress拦截恶意User-Agent：functions.php老代码的eregi()死亡迁移、mu-plugins升级与Nginx/CF三层防护
WordPress 网站常被空 UA 的采集器、扫描器、SQL 注入工具骚扰？网传 functions.php 用 eregi() 的代码在 PHP 7+ 直接 fatal。本文给出 stripos 现代写法、mu-plugins 替代 functions.php 的工程化做法、AI 爬虫该拦还是该放、Nginx map / Cloudflare WAF 三层防护、fail2ban 联动动态拉黑、攻击者绕过升级思路与 FAQ。
-
后台日志分析SEO怎么做：5000站爬虫伪造抓取预算实战拆解
服务器日志是网站这边的真实视角，能看清Googlebot的实际抓取分配、揪出假冒爬虫、按时段读懂状态码异常端倪。这是GSC给不了的诊断维度，大站做SEO必须有的能力。
