筛选器生成的页面是否需要在robots.txt中配置Disallow
电商独立站分类列的筛选器会生成大量的URL,看上去内容相似,那么这些筛选时生成的页面URL需要在robots.txt里配置disallow吗?什么时候需要Disallow?避免重复内容:筛选器生成的页面通常只是在基础分类页上增加了一些参数,可能导致多个URL指向几乎相同的内容。重复内容可能会稀释搜索引擎的爬行效率,并对SEO产生负面影响。/category?color=red /categor……
Engineering the Future
功不唐捐,玉汝于成
电商独立站分类列的筛选器会生成大量的URL,看上去内容相似,那么这些筛选时生成的页面URL需要在robots.txt里配置disallow吗?什么时候需要Disallow?避免重复内容:筛选器生成的页面通常只是在基础分类页上增加了一些参数,可能导致多个URL指向几乎相同的内容。重复内容可能会稀释搜索引擎的爬行效率,并对SEO产生负面影响。/category?color=red /categor……