WordPress添加Robots.txt文件及优化网站收录
Robots协议全称是“网络爬虫排除标准”（Robots Exclusion Protocol），各搜索引擎会根据网站根目录的robots.txt文件的内容来决定访问和不访问哪些页面，所以这个文件非常重要，有的网站页面不是用来给访客看的，就要设置禁止抓取。如果根目录没有robots.txt文件一定要添加，下面提供的是使用WordPress程序完整通用的robots.txt文件。 User-agen
一个SEO从业者的分享博客