AI爬虫决策

拦AI爬虫该不该？robots+UA+WAF三层选型框架

2024年下半年Cloudflare一键拦AI爬虫上线之后，行业里一边倒地讨论怎么拦。但拦完真的好吗？这两年带客户实测发现，盲拦让AI引用率从月均320次掉到接近零，营收损失远超被爬走的内容价值。这篇把robots.txt+User-Agent黑名单+WAF三层方法各自的能挡什么、挡不住什么、维护成本、误屏蔽风险一次拆透，含三层选型决策矩阵+出海手作钢笔DTC品牌一年盲拦后引用归零的失败复盘+NYT/Reuters/Reddit/Sta…