标签
保哥笔记 爬虫 标签下共 12 篇文章合集，含《robots规则的星号对AdsBot无效，广告落地页》《robots.txt与AI训练数据：内容进入大模型的》《苹果Siri接入Gemini，SEO该守住哪三件事》等，与 AI爬虫、SEO、User Agent 主题密切相关，覆盖 SEO/GEO 实战角度的深度解析与可落地方案。
谷歌把自己的抓取客户端分成三份清单，其中特例爬虫那一份里，AdsBot-Google、AdsBot-Google-Mobile、Mediapartners-Google和APIs-Google四条下面写着同一句话：全局用户代理会被忽略；Google-Safety更彻底，完全不看robots.txt。这意味着你那行星号覆盖的范围小于你以为的范围，而覆盖之外那几个恰好后果最直接。本文把日志里的用户代理与robots.txt里的令牌这两套字典…
Google-Extended这个令牌在服务器日志里永远看不到，因为它根本不是抓取器。这篇从一份57页起诉书原件讲起，把内容进入大模型的4条路径逐条摊开，说明为什么其中3条跟robots.txt没有任何关系，以及CCBot那一条该怎么单独写。
苹果把Siri换成定制版Gemini后，搜索的入口又多了一层。这篇从技术SEO的角度拆：分层路由让哪类内容最先被吃掉、Applebot和Applebot-Extended到底拦哪个、官方不给数据时拿什么代理信号衡量，给面向苹果用户的出海站一份能照做的清单。
Cloudflare按次抓取把网络对机器人的老规矩改写了：搜索引擎照常放行，AI想读内容得先掏钱。但对靠内容引流获客的卖家，设收费墙往往得不偿失。本文讲透运作原理、收费谈判逻辑和适用边界。
内容写得再好，AI搜索却从不引用你？多半不是内容问题，而是AI爬虫根本没抓到、抓到没渲染出、或读不懂抽不出。这篇把GEO的技术地基拆成可达、可渲染、可理解、可抽取、可信稳定五道关，每关给自查命令和踩坑点，照着一关一关查通。
把展会、礼盒、名片这些线下物料连上带UTM参数的落地页，原本一片黑的线下流量就能在GA里被一个个渠道追踪到。这款二维码生成器纯本地生成8种类型的码，纠错、尺寸、颜色可调，是这条追踪链路的最后一道工序。
外贸独立站到底该用共享主机、VPS、独享托管还是云服务器？别只盯着首年价，这其实是一道关乎响应速度、爬虫承载和稳定性的决策题。本文把四档主机各自的真实代价摊开，讲清什么信号该升档、小站为何别急着上独享、换主机怎么不掉收录。
拦AI爬虫从Nginx配置层5维全栈讲——第1维白名单（IP+UA双向校验）、第2维UA校验（关键模式正则）、第3维limit_req阈值（按蜘蛛分桶）、第4维rDNS反查（PTR+正向解析双闸）、第5维log归因（每周复盘4件事），再叠22周5客户误伤账本横向对照、5个最容易踩的配置坑、6类客户决策树、12步上线SOP、5个反信号判断要不要做。
GA4流量一个月涨四成却没多一条线索，多半是垃圾流量在注水。它分幽灵、引荐爬虫、伪自然三类，专挑转化率、归因、跳出率下手，让你照着假数据做决策。讲清三类各自怎么混进来、双指纹怎么一眼认出、三层过滤每层挡什么、污染后怎么重建能信的基线。
判断搜索引擎蜘蛛在内容更新、网站重构、A/B测试、反爬限流等合规场景中很常用。本文系统拆解301、302、Meta Refresh、HTTP状态码、JS跳转5种原理，给出Discuz黑白名单、分类日志统计、UA全集匹配、判断后跳转、JS referrer分流5种PHP代码实战，并补充2026年AI爬虫识别清单、双向DNS校验进阶方案与cloaking合规红线。
WordPress 网站常被空 UA 的采集器、扫描器、SQL 注入工具骚扰？网传 functions.php 用 eregi() 的代码在 PHP 7+ 直接 fatal。本文给出 stripos 现代写法、mu-plugins 替代 functions.php 的工程化做法、AI 爬虫该拦还是该放、Nginx map / Cloudflare WAF 三层防护、fail2ban 联动动态拉黑、攻击者绕过升级思路与 FAQ。
服务器日志是网站这边的真实视角，能看清Googlebot的实际抓取分配、揪出假冒爬虫、按时段读懂状态码异常端倪。这是GSC给不了的诊断维度，大站做SEO必须有的能力。
