限速规则拒掉的第4个请求是robots.txt,全站SEO抓取会停12小时
一条抄来的limit_req写在server级,爬虫抓到第4个页面就把配额吃光,接着robots.txt和sitemap.xml双双吃到503。而按官方规矩,robots.txt取不到会让Google前12小时停止抓取整站。想把它摘出来时才发现,limit_req off这条指令根本不存在。
标签
保哥笔记 服务器加固 标签下共 3 篇文章合集,含《限速规则拒掉的第4个请求是robots.txt,全站》《证书有效期正在砍向47天,一年一换的续期流程撑不到2》《Docker Compose发布端口后,你写的那条u》等,与 Nginx、技术SEO、抓取预算 主题密切相关,覆盖 SEO/GEO 实战角度的深度解析与可落地方案。
一条抄来的limit_req写在server级,爬虫抓到第4个页面就把配额吃光,接着robots.txt和sitemap.xml双双吃到503。而按官方规矩,robots.txt取不到会让Google前12小时停止抓取整站。想把它摘出来时才发现,limit_req off这条指令根本不存在。
CA/浏览器论坛第SC081v3号表决零反对通过:证书最长有效期2026年3月15日起降到200天,2027年100天,2029年47天,同时域名验证数据复用期最终砍到10天。文章实测6个站点的在役证书全部只有90天上下,讲清ARI如何把续期时机的决定权交给签发方、Let's Encrypt关停OCSP让ssl_stapling变成空转,以及47天周期下nginx侧必须补的三处细节。
Docker发布端口会在nat表改写目的地址,包走FORWARD而不走ufw所在的INPUT,规则形同虚设;Docker Engine 28只堵了未发布端口的直连洞,已发布端口照旧穿墙。文章给出三条命令的自证方法、四种收口做法的持久性对照,以及expose、restart、depends_on、日志上限、卷属主这五个compose默认值的准确语义与生产写法。