标签

WAF

保哥笔记 WAF 标签下共 2 篇文章合集，含《拦AI爬虫该不该？robots+UA+WAF三层选型》《防火墙到底拦不拦得住AI爬虫？答案没那么简单》等，与 技术SEO、AI爬虫、Bot Management 主题密切相关，覆盖 SEO/GEO 实战角度的深度解析与可落地方案。

  • 2024年下半年Cloudflare一键拦AI爬虫上线之后，行业里一边倒地讨论怎么拦。但拦完真的好吗？这两年带客户实测发现，盲拦让AI引用率从月均320次掉到接近零，营收损失远超被爬走的内容价值。这篇把robots.txt+User-Agent黑名单+WAF三层方法各自的能挡什么、挡不住什么、维护成本、误屏蔽风险一次拆透，含三层选型决策矩阵+出海手作钢笔DTC品牌一年盲拦后引用归零的失败复盘+NYT/Reuters/Reddit/Sta…

    43 分钟阅读
    拦AI爬虫该不该？robots+UA+WAF三层选型框架

  • 收录静悄悄掉，技术 SEO 没毛病，外链也都还在——很可能 WAF 把 Googlebot 和 AI 爬虫一并拦了。本文按现代 Bot Management 怎么识别 bot、误拦的早期信号有哪些、GSC 与日志双向确诊路径、Cloudflare 与 Akamai 与 Imperva 与 AWS 与自建 nginx 五种环境的放行配置、AI 爬虫该放还是该挡六件事讲透，配一份半年掉 60% 收录的真实复盘。

    28 分钟阅读
    防火墙到底拦不拦得住AI爬虫？答案没那么简单