robots.txt与AI训练数据：内容进入大模型的4条路径与管辖边界
Google-Extended这个令牌在服务器日志里永远看不到，因为它根本不是抓取器。这篇从一份57页起诉书原件讲起，把内容进入大模型的4条路径逐条摊开，说明为什么其中3条跟robots.txt没有任何关系，以及CCBot那一条该怎么单独写。
标签
Common Crawl
保哥笔记 Common Crawl 标签下共 2 篇文章合集，含《robots.txt与AI训练数据：内容进入大模型的》《AI Agent抓取日志解码：8类UA实测、22周访》等，与 AI Agent、GEO优化、robots.txt 主题密切相关，覆盖 SEO/GEO 实战角度的深度解析与可落地方案。
-
-
AI Agent抓取日志解码：8类UA实测、22周访问账本与5种引用归因方法
全篇按日志技术栈×UA识别×归因方法的实验账本展开：第一块拆解8类主流AI Agent UA（GPTBot/ChatGPT-User/OAI-SearchBot/ClaudeBot/Claude-User/PerplexityBot/Perplexity-User/CCBot）的识别规则与抓取分工，第二块给出3个站点22周横向访问数据账本，第三块罗列5种把抓取归因到真实引用的方法与12步分析SOP，附5个最易踩的归因坑与9项观察指标对照…
