robots.txt与meta robots完全指南:12类场景+7大避坑
很多出海独立站突然从Google消失,根因不是内容问题而是robots配置——把抓取和索引混为一谈、Disallow拦住想noindex的页面、X-Robots-Tag误覆盖全站。本文给一张三件套边界图、所有指令清单、优先级裁决规则和出海亲子玩具独立站12周修复误封的真实SOP,看完就能直接判断自己这套robots到底改不改、改在哪一档。
标签
保哥笔记「meta robots」标签收录 3 篇相关内容,含《robots.txt与meta robots完全指南》《Typecho各页面meta robots+cano》《canonical和noindex是否需要并用》等,提供 SEO/GEO 视角的深度解析。
很多出海独立站突然从Google消失,根因不是内容问题而是robots配置——把抓取和索引混为一谈、Disallow拦住想noindex的页面、X-Robots-Tag误覆盖全站。本文给一张三件套边界图、所有指令清单、优先级裁决规则和出海亲子玩具独立站12周修复误封的真实SOP,看完就能直接判断自己这套robots到底改不改、改在哪一档。
Typecho 默认主题对所有页面统一输出 follow,index 不够精细,导致分页权重稀释、搜索页低质量索引爆炸、归档页占用爬虫预算。本文按首页、文章页、单页、分类页、标签页、搜索页、归档页七种类型给出 meta robots 与 canonical 完整规则代码(基于 getCurrentPage 与 archiveUrl 末尾斜杠归一),可直接粘贴 header.php 立即生效。
rel canonical 是建议告诉搜索引擎权重归属哪个 URL,meta robots noindex 是命令告诉搜索引擎别索引此页。两者解决的是不同问题不能互相替代。本文给出 5 个仅用 canonical 的场景与 5 个需要叠加 noindex 的场景,配 X-Robots-Tag HTTP 头进阶用法、5 类常见错误避坑、9 项 FAQ。