标签
保哥笔记 robots.txt 标签下共 24 篇文章合集，含《Meta商业条款删掉“训练”后抓取权照旧：外贸站和独》《Meta爬虫robots.txt实测：新条款生效前，》《Cloudflare托管robots.txt下线实测》等，与 技术SEO、AI爬虫、独立站运营 主题密切相关，覆盖 SEO/GEO 实战角度的深度解析与可落地方案。
2024年下半年Cloudflare一键拦AI爬虫上线之后，行业里一边倒地讨论怎么拦。但拦完真的好吗？这两年带客户实测发现，盲拦让AI引用率从月均320次掉到接近零，营收损失远超被爬走的内容价值。这篇把robots.txt+User-Agent黑名单+WAF三层方法各自的能挡什么、挡不住什么、维护成本、误屏蔽风险一次拆透，含三层选型决策矩阵+出海手作钢笔DTC品牌一年盲拦后引用归零的失败复盘+NYT/Reuters/Reddit/Sta…
出海精油护肤DTC客户上周拿来一份Cloudflare日志，问我那批名字奇怪的爬虫是不是在偷她家产品文案训练AI。答案多半是，但靠常规思路盲拦不是好路子，需要先用6种方法把检测做实，再按内容资产价值、流量回路、品牌曝光、法律边界4维度走8种授权选择决策矩阵，最后把AI引用反向变成新流量入口。
WordPress 的 robots.txt 写错会让 Google 抓不到内容、写『通用版』反而屏蔽掉 CSS/JS 让移动友好性扣分。本文给出 2026 年标准模板：虚拟 robots.txt 与物理文件的优先级判定、wp-content/wp-includes 不再屏蔽的理由、GPTBot/ClaudeBot 等 AI 爬虫的拦放分类、Allow/Disallow 在 Google/Bing/百度的优先级差异、附件页处理、Site…
只想挡一个目录，整站却从Google搜索里消失，技术体检全绿也查不出处罚——问题往往出在robots.txt的解析机制没搞懂。本文系统讲透这个协议本身：它管抓取不管收录的边界、Allow与Disallow的最长匹配判定、通配符和错误码语义、RFC 9309后各引擎差异、AI爬虫该不该封，以及误封后的五步诊断恢复流程。
