robots.txt 生成器 / 验证器

📖 robots.txt 生成器验证器使用说明

本工具集成了 robots.txt 生成器、验证器和 URL 路径测试器三大功能。生成器提供 6 种预设模板，支持多 User-agent 规则组配置；验证器可逐行分析语法和规则含义；URL 测试器可检测任意路径是否会被屏蔽。

一、robots.txt 生成器验证器能帮 SEO 人员做什么？

1.1 快速生成规范的 robots.txt

手写 robots.txt 容易出现语法错误（如路径不以 / 开头、Disallow 在 User-agent 之前等）。6 种预设模板覆盖常见场景，可视化配置界面避免语法错误。

1.2 验证现有 robots.txt 的正确性

逐行分析每条规则的含义，标记语法错误、潜在风险（如 Disallow: / 屏蔽全站）和缺失项（如无 Sitemap 声明）。

1.3 测试特定 URL 是否被屏蔽

输入 User-agent 和 URL 路径，实时测试该路径是否会被屏蔽，采用与 Google 一致的最长匹配规则。

二、功能详解

2.1 生成器（6 种预设）

标准配置、允许全部、屏蔽全部、WordPress、电商网站、SPA/JS 应用。每种预设可在基础上继续修改。

2.2 验证器

支持 URL 抓取和粘贴内容两种方式。每行规则标注颜色和类型，解释其含义，检测 20+ 种已知爬虫标识。

2.3 URL 测试器

支持通配符 * 和 $ 的路径匹配，模拟 Google 的实际匹配逻辑。

三、robots.txt 生成器验证器的使用场景

3.1 新网站上线配置

选择适合你网站类型的预设模板（WordPress/电商/SPA），修改后生成 robots.txt，上传到网站根目录。

3.2 SEO 审计中的 robots.txt 检查

输入客户网站的域名，自动抓取并分析其 robots.txt，找出可能阻止搜索引擎抓取重要页面的规则。

3.3 屏蔽 AI 爬虫

越来越多的网站需要屏蔽 GPTBot、CCBot 等 AI 爬虫。SPA 预设已包含这些规则，也可手动添加。

3.4 排查页面未被索引的原因

当页面未出现在 Google 中时，检查 robots.txt 是否意外屏蔽了该路径。

四、robots.txt 最佳实践

• robots.txt 必须放在域名根目录：https://example.com/robots.txt
• 不要用 robots.txt 隐藏敏感信息，应使用密码保护
• 避免屏蔽 CSS/JS 文件，Google 需要渲染页面
• Sitemap 地址必须使用完整的绝对 URL
• Disallow 不等于 noindex——被屏蔽的页面仍可能出现在搜索结果中

五、常见问题

5.1 robots.txt 和 noindex 有什么区别？

Disallow 阻止抓取但不阻止索引——有外链指向时 Google 仍可能显示该 URL。noindex 明确阻止索引。要完全从搜索结果移除页面应使用 noindex 而非仅靠 robots.txt。

5.2 修改 robots.txt 后多久生效？

Google 通常在 24 小时到几天内重新抓取 robots.txt。可在 Search Console 中提交文件来加速。Bing 也提供类似功能。

5.3 应该屏蔽 AI 爬虫吗？

取决于内容策略。屏蔽 GPTBot、CCBot 等可防止内容被用于 AI 训练，但可能影响在 AI 搜索结果（ChatGPT、Perplexity）中的展示。

5.4 Crawl-delay 指令有用吗？

Google 完全忽略 Crawl-delay，应在 Search Console 中设置抓取速率。Bing 和 Yandex 仍然遵守此指令。设置过大的延迟（如 30 秒以上）会严重减慢这些搜索引擎的索引速度。

5.5 Disallow: / 和空文件有什么区别？

Disallow: / 屏蔽所有爬虫对所有页面的抓取，等于对搜索引擎关闭整个网站。空的 robots.txt 或 Disallow: 留空则允许抓取所有页面。这是开发者最常犯的灾难性错误之一。

5.6 通配符 * 和 $ 所有搜索引擎都支持吗？

不是。* 和 $ 通配符只有 Google 和 Bing 支持，不是标准 robots.txt 规范的一部分。其他搜索引擎（如 Yandex）可能不识别这些通配符，建议重要规则不要依赖通配符。

5.7 robots.txt 文件大小有限制吗？

Google 限制 robots.txt 最大 500KB，超出部分会被视为允许抓取。正常情况下 robots.txt 很难超过这个限制，但某些工具生成的超长规则列表需要注意。