robots.txt和meta robots怎么用?完全指南
很多出海独立站突然从Google消失,根因不是内容问题而是robots配置——把抓取和索引混为一谈、Disallow拦住想noindex的页面、X-Robots-Tag误覆盖全站。本文给一张三件套边界图、所有指令清单、优先级裁决规则和出海亲子玩具独立站12周修复误封的真实SOP,看完就能直接判断自己这套robots到底改不改、改在哪一档。
标签
保哥笔记 noindex 标签下共 6 篇文章合集,含《robots.txt和meta robots怎么用?》《noindex和Canonical能同时用吗?避坑指》《已收录的页面添加noindex后多久会从SERP中消》等,与 技术SEO、meta robots、canonical 主题密切相关,覆盖 SEO/GEO 实战角度的深度解析与可落地方案。
很多出海独立站突然从Google消失,根因不是内容问题而是robots配置——把抓取和索引混为一谈、Disallow拦住想noindex的页面、X-Robots-Tag误覆盖全站。本文给一张三件套边界图、所有指令清单、优先级裁决规则和出海亲子玩具独立站12周修复误封的真实SOP,看完就能直接判断自己这套robots到底改不改、改在哪一档。
重复页面设了noindex还要不要加Canonical?答案不只是不需要这么简单。本文从Google算法的指令与信号机制出发,拆解两者本质区别、信号冲突的实际后果、John Mueller的最终立场,并按内部重复页、电商参数页、多语言站点、永久迁移等五种场景给出明确决策方案,附Search Console验证流程与8项实操检查清单。
已收录页面添加noindex后需Googlebot重新抓取才会从SERP消失,通常耗时数天到数月。本文讲解清除索引时间、加速移除方法(GSC移除工具、请求重新抓取、404/410状态码),介绍服务器端、模板级和插件批量方案,并讨论与nofollow的平衡组合策略。
Typecho 默认主题对所有页面统一输出 follow,index 不够精细,导致分页权重稀释、搜索页低质量索引爆炸、归档页占用爬虫预算。本文按首页、文章页、单页、分类页、标签页、搜索页、归档页七种类型给出 meta robots 与 canonical 完整规则代码(基于 getCurrentPage 与 archiveUrl 末尾斜杠归一),可直接粘贴 header.php 立即生效。
电商筛选器一不小心就把Googlebot爬行预算吃光,乱写robots.txt Disallow又会把高搜索价值的色彩品牌价格筛选页一起屏蔽。保哥用2个真实案例(Magento 2跨境站爬行预算从92%浪费修到71%命中商品页,国内ECShop站因过度Disallow长尾流量损失70%)演示3类判别法和5档阶梯式处理策略,并附WooCommerce、Shopify、百度SEO的具体写法。
rel canonical 是建议告诉搜索引擎权重归属哪个 URL,meta robots noindex 是命令告诉搜索引擎别索引此页。两者解决的是不同问题不能互相替代。本文给出 5 个仅用 canonical 的场景与 5 个需要叠加 noindex 的场景,配 X-Robots-Tag HTTP 头进阶用法、5 类常见错误避坑、9 项 FAQ。