标签

爬虫

保哥笔记爬虫标签下共 2 篇文章合集，含《5种PHP方法识别搜索引擎蜘蛛+跳转代码》《WordPress 拦截恶意 User-Agent：》等，与 User Agent、functions.php、HTTP_USER_AGENT 主题密切相关，覆盖 SEO/GEO 实战角度的深度解析与可落地方案。

服务器运维

5种PHP方法识别搜索引擎蜘蛛+跳转代码

判断搜索引擎蜘蛛在内容更新、网站重构、A/B测试、反爬限流等合规场景中很常用。本文系统拆解301、302、Meta Refresh、HTTP状态码、JS跳转5种原理，给出Discuz黑白名单、分类日志统计、UA全集匹配、判断后跳转、JS referrer分流5种PHP代码实战，并补充2026年AI爬虫识别清单、双向DNS校验进阶方案与cloaking合规红线。

2022-10-11 28 分钟阅读 301跳转爬虫 User Agent
WordPress教程

WordPress 拦截恶意 User-Agent：functions.php 老代码的 eregi() 死亡迁移、mu-plugins 升级与 Nginx/CF 三层防护

WordPress 网站常被空 UA 的采集器、扫描器、SQL 注入工具骚扰？网传 functions.php 用 eregi() 的代码在 PHP 7+ 直接 fatal。本文给出 stripos 现代写法、mu-plugins 替代 functions.php 的工程化做法、AI 爬虫该拦还是该放、Nginx map / Cloudflare WAF 三层防护、fail2ban 联动动态拉黑、攻击者绕过升级思路与 FAQ。

2018-06-18 30 分钟阅读 functions.php HTTP_USER_AGENT 爬虫