Cloudflare托管robots.txt下线实测：1201个站的AI训练禁令同时消失
做法：从Common Crawl8月快照的10万份robots.txt里筛出带Cloudflare托管块的2024个主机，再随机抽同样数量的无标记主机作对照，9月17日逐个复测，去掉托管块后比对剩余规则，并用5种访问身份排除缓存与分流干扰。
标签
Google-Extended
保哥笔记 Google-Extended 标签下共 3 篇文章合集，含《Cloudflare托管robots.txt下线实测》《谷歌AI贡献付费试点：钱算上了Gemini应用，报告》《Google-Extended挡不住AI概览：77家》等，与 AI概览、GEO、robots指令 主题密切相关，覆盖 SEO/GEO 实战角度的深度解析与可落地方案。
-
-
谷歌AI贡献付费试点：钱算上了Gemini应用，报告和开关都没有这一格
做法：把Search Console生成式AI开关、生成式AI效果报告、Google-Extended令牌与AI贡献试点四样工具的官方文档逐条对照，按产品列出各自覆盖范围；再解析483份robots.txt统计谁挡了Google-Extended，并在三天后重抓82个站复核判定。
-
Google-Extended挡不住AI概览：77家法国媒体，84%的摘要授权没设上限
核对办法：从法国发行审计机构八月数字品牌排行里挑出98个媒体品牌，逐家取回抓取规则文件与文章页头部的摘要指令，被防护挡住的用真浏览器补抓；再对照谷歌指令规范、爬虫文档、新闻授权计划说明与2019年法国预览政策，判断每条设置实际管到哪里。
