服务器加固

限速规则拒掉的第4个请求是robots.txt，全站SEO抓取会停12小时

一条抄来的limit_req写在server级，爬虫抓到第4个页面就把配额吃光，接着robots.txt和sitemap.xml双双吃到503。而按官方规矩，robots.txt取不到会让Google前12小时停止抓取整站。想把它摘出来时才发现，limit_req off这条指令根本不存在。