整站都开了HTTP/3，可做SEO唯一在乎的那个请求，走的还是HTTP/2
自建nginx五端口实验台把发现机制逐条复现：漏写listen ssl而只留quic那一档，语法检查通过、进程正常、端口在听，浏览器却永远找不到它；撤掉广告头之后服务照常应答，证明它只是块牌子而非开关；OpenSSL兼容层下ssl_early_data形同虚设且毫无提示。另含缓存有效期中位二十四小时、十个站还挂着旧草案版本号、云安全组只放行TCP时形成的排查盲区，以及那条能救回首次连接的DNS记录为何多数客户端拿不到。
标签
爬虫抓取
保哥笔记 爬虫抓取 标签下共 3 篇文章合集，含《整站都开了HTTP/3，可做SEO唯一在乎的那个请求》《robots.txt生成器怎么用？预设别照抄，通配符》《渲染对比器怎么用？揪出爬虫和用户看到的页面不一样》等，与 技术SEO、JS渲染、robots.txt 主题密切相关，覆盖 SEO/GEO 实战角度的深度解析与可落地方案。
-
-
robots.txt生成器怎么用？预设别照抄，通配符判定会和规范打架
生成器只管拼字符串、一个字都不校验，验证器才挑错却看不见文件的HTTP状态。实测三处必知行为：全局抓取间隔填了不进文件、漏填路径会静默翻转成放行全站、通配符与放行规则同时命中时判定和RFC 9309相反。
-
渲染对比器怎么用？揪出爬虫和用户看到的页面不一样
搜索引擎爬虫看到的页面，和真实用户看到的是同一份吗？本文拆解一个渲染对比器：它怎么发两次请求分别冒充Googlebot和用户、从十一个维度对比扣分判Cloaking风险，以及它不跑真浏览器、查得出服务端区别对待却查不出纯JS渲染差异这条关键边界。
