Google抓取频率文档补上Retry-After：服务器扛不住时，怎么用503和429让Googlebot先慢下来
做法：以Google降低抓取频率文档和10月6日更新日志为主体，对照暂停网站、HTTP状态码两份文档和Search Engine Roundtable的改版对比，整理降速机制、Retry-After写法、robots.txt等红线和Nginx与Apache配置。
标签
HTTP状态码
保哥笔记 HTTP状态码 标签下共 6 篇文章合集，含《Google抓取频率文档补上Retry-After：》《404页面有多贵？114个大站说一句没有就要66KB》《老用户打不开的那个页面，做SEO的工具全都返回200》等，与 技术SEO、抓取预算、301重定向 主题密切相关，覆盖 SEO/GEO 实战角度的深度解析与可落地方案。
-
-
404页面有多贵？114个大站说一句没有就要66KB
做法是给每个站要十一个编出来的地址，再要两个真实存在的当零点，同一个不存在的地址要两遍看字节稳不稳。尺子失效过一次：第一轮采得太密，三十六个站改口回429，放慢重跑之后又有七个站反过来被拒。
-
老用户打不开的那个页面，做SEO的工具全都返回200，因为它们不带Cookie
125个真实站点的阶梯探测：99个测出请求头拒绝阈值，最低6912字节、24个站过64KB仍不拒；同一件事返回了九种状态码，规范专设的431只占9.1%，最多的是400，其次是nginx私有的494，Google自家文档站答成了413。另含nginx缓冲区两个参数的实测语义、被拒时access_log里UA为空且request_length失真、error_log默认级别零记录，以及多层代理下判断是哪一层拒绝的方法。
-
Apache自定义错误页怎么配才不踩坑？ErrorDocument、状态码与软404全解
出事时访客看到的那张报错页，往往藏着SEO隐患。保哥把Apache ErrorDocument的三种写法、哪些状态码值得做页面、404怎么不变成软404、维护时为什么得返回503带Retry-After，一次讲清楚。
-
API测试工具怎么用？快速看清一个URL的状态码与响应头
用浏览器就能发请求的轻量接口测试台。本文讲清它靠fetch直发、被CORS死死管着的能力边界，以及怎么拿它查URL状态码、X-Robots-Tag响应头、headless接口返回这些技术SEO日常排查活。
-
HTTP状态码怎么影响SEO？301、302、404和410该怎么选
把HTTP状态码当作给搜索引擎的合同读，301、302、304、404、410、503各自约束抓取与索引的不同维度。看清状态码全图谱与误用矩阵，能保住改版迁移、删页下架、维护停服时的SEO权重。
