张文保的博客
保哥笔记

技术性SEO实战经验分享博客

张文保微信

筛选器

筛选器生成的页面是否需要在robots.txt中配置Disallow

电商独立站分类列的筛选器会生成大量的URL,看上去内容相似,那么这些筛选时生成的页面URL需要在robots.txt里配置disallow吗?什么时候需要Disallow?避免重复内容:筛选器生成的页面通常只是在基础分类页上增加了一些参数,可能导致多个URL指向几乎相同的内容。重复内容可能会稀释搜索引擎的爬行效率,并对SEO产生负面影响。/category?color=red /categor……

robots.txt 筛选器