站内搜索页搜不到也返回200，两道锁锁的是同一扇门
131个海外品牌站逐个找站内搜索入口，用一个常见词和一串随机字符各搜一次，把状态码、meta robots、X-Robots-Tag、规范网址、JSON-LD与robots.txt六项对齐比对；人工剔除参数落在首页的伪样本之后，落在35个站的严口径样本上。
标签
抓取预算
保哥笔记 抓取预算 标签下共 31 篇文章合集，含《站内搜索页搜不到也返回200，两道锁锁的是同一扇门》《sitemap lastmod记的是哪一刻？41万条》《站内搜索页SEO：搜不到商品那一页，一半站允许被收录》等，与 技术SEO、分面导航、软404 主题密切相关，覆盖 SEO/GEO 实战角度的深度解析与可落地方案。
-
-
sitemap lastmod记的是哪一刻？41万条实测
把143个站声明的sitemap两层全拉下来，435份文件、41万条地址，逐条解析修改时间字段，再按2小时22分、7分钟、4秒三种间隔各重抓一遍做前后比对；对声称刚刚改过的页面另做一次正文闭环，逐字比对标题、描述、H1与正文词集；最后用两种身份同时请求同一份文件，把测量顺序造成的假差异从身份差异里扣干净。文中给出覆盖率、精度、年龄七档分布、时间戳聚集度、索引层与子文件层的对账结果，一次把尺子量歪的完整复盘，以及一套可以在自己站上一分钟跑…
-
站内搜索页SEO：搜不到商品那一页，一半站允许被收录
做法是拿两个乱码词加一个必然搜得到的词各请求一遍，回答不跟着变的站说明它压根没在搜，整体剔出分母，69个里剔掉了29个。归属靠覆盖率判断：同平台里覆盖率越高的指令，越可能来自出厂模板。
-
304状态码能省抓取预算，142个站只有52个回得出
排查条件请求要按关卡来：先看响应头里有没有可以拿来协商的凭据，再连发两次看凭据稳不稳，然后带着凭据重发一次看回不回304，最后确认最后修改时间填的不是当前时刻。文中把这套顺序在211个国际化电商域名上走了一遍，逐关给出该看哪个头、判据定在哪、失败对应哪种成因，末尾附一张四种失败对应四种修法的对照表和一份三分钟自检。
-
404页面有多贵？114个大站说一句没有就要66KB
做法是给每个站要十一个编出来的地址，再要两个真实存在的当零点，同一个不存在的地址要两遍看字节稳不稳。尺子失效过一次：第一轮采得太密，三十六个站改口回429，放慢重跑之后又有七个站反过来被拒。
-
做SEO量出74%的页面对爬虫和用户不一样，补上一组对照之后只剩2.2%
230个真实URL连抓三遍的实测：40.9%三次原始指纹不全同，其中56.4%三次字节数完全相同、靠Content-Length根本看不出来；剥掉nonce与请求ID等高熵串之后仍有34.3%在变；nginx实验台上一个CSP nonce把条件请求的304命中率从100/100打成0/100，另附抖动成因归类与五步基线测法。
-
限速规则拒掉的第4个请求是robots.txt，全站SEO抓取会停12小时
一条抄来的limit_req写在server级，爬虫抓到第4个页面就把配额吃光，接着robots.txt和sitemap.xml双双吃到503。而按官方规矩，robots.txt取不到会让Google前12小时停止抓取整站。想把它摘出来时才发现，limit_req off这条指令根本不存在。
-
nginx出厂只压HTML这一种类型，其余的字节全额计入了SEO抓取预算
把CSS、JS、XML补进类型清单，一套典型资源从605 KB降到153 KB；再把压缩级别从1提到6，只多省2.3个百分点。两件事的性价比差了25倍，而绝大多数教程的篇幅都花在后面那件上。
-
做SEO算抓取预算，发现服务器把没改过的页面对爬虫重发了几百遍
同一个页面，服务器答200要走12万字节，答304只要175字节。真正卡住的不是站长不肯配ETag，而是配完之后没有任何人告诉你它已经失效了——本文把16种服务器配置逐个打了一遍。
-
Nginx配置每次reload都通过，Googlebot每8次抓取却有1次撞在301上
从默认站点的选定规则讲到add_header的继承边界、两种301对查询参数的相反处置、压缩类型清单里那个根本不存在的MIME，最后给出一套按边界输入逐项探测的检查顺序。
-
慢查询日志攒了783MB，而真正超过1秒的只有32条
从两个记录开关讲到EXPLAIN的四列读法、最左前缀为什么让建好的索引落空、临时表与文件排序各自意味着什么，并给出一套清缓存冷启动验证的收尾办法与季度可复用的排查顺序。
-
双边市场型网站怎么做SEO？供需两端相互依存，海量listing怎么不被当薄内容
平台自己不持有库存，商品全靠成千上万个卖家生成，这让它的搜索优化天生比自营站难一档。本文拆解怎么同时喂饱买卖两拨人相反的搜索意图、怎么靠平台规则批量抬高参差不齐的详情页质量、怎么驯服筛选参数生成的百万级链接不拖垮爬虫，并给出冷启动阶段先建哪几类页的排序框架，和一个出海撮合平台把自然流量做起来的实战复盘。
-
招聘类网站怎么做SEO？职位页又薄又短命，凭什么被收录还进Google求职
招聘类网站靠海量职位页吃流量，可职位又薄又短命，一年能攒下几千个死页拖垮收录。本文拆解职位页怎么进Google求职、过期职位怎么收尾才不挨罚、分面URL怎么治理，以及为什么真正扛排名的是聚合页而不是单条职位。
-
分面导航的SEO怎么治理？筛选过滤产生的海量URL别拖垮抓取预算
分面导航让用户叠加筛选找货，却在URL层面生出成千上万近重复地址，吃光抓取预算、撑爆索引、稀释内链权重。这篇讲清该先用搜索需求把筛选分成值得索引和纯噪声两堆，再分别用canonical、noindex、robots.txt和AJAX各管一段，附决策树与平台落地。
-
WooCommerce分类页URL里塞7段乱码，服务器照样回200还带index
商品分类归档在WooCommerce里会悄悄长出成倍的等价地址，后台完全看不见。这里拆解注册参数与解析机制，给出十分钟自查方法和按分类法分档的处置矩阵。
-
SEO抓取速率被调低的那几天，服务器日志里一条错误都没有
Google把抓取容量算成服务器为它保持连接的总时长，所以变慢和报错是同一件事。可排队的6个请求全返回200、错误日志一行没有；进程池打满让并发从8.2秒排到19.2秒，状态码还是200。这一族故障共同的特征是：全部以2xx收场。
-
技术SEO一堆问题先修哪个？500站实测排出来的优先级
Site Audit跑出来500个问题不代表要修500个——技术SEO修复必须按业务影响排序，而不是按工具的问题计数。本文拆解ICE、RICE、PIF三套打分模型的实操差异，给出7类常见技术问题的真实ICE评分对照表，再补5个Quick Wins可复制模板和4个向老板汇报的真业务指标。
-
给内链加UTM参数为什么伤SEO？流量分析与抓取的取舍
很多团队习惯在站内链接上挂utm_source做点击归因，却没意识到这会让搜索引擎反复抓重复URL、让分析工具错记流量来源。这篇拆解追踪参数从抓取预算、归因、链接权重到AI访问的四重伤害，并给出把追踪迁移到DOM数据属性的完整落地步骤与验证方法。
-
TTFB怎么优化才不白费：多层缓存如何同时左右Core Web Vitals与Google抓取
聊页面速度，大家都盯着图片压缩和JS拆包，却忽略了最底层的TTFB——浏览器在下载任何资源之前，得先等服务器吐出第一个字节。保哥这篇专讲这块隐形地基：TTFB慢到底慢在从点击到首字节的哪一段，一个请求要穿过浏览器、CDN、全页缓存、对象缓存到数据库的几层缓存，全页缓存怎么和登录态、购物车这类动态内容共存，为什么缓存命中反而可能让Google抓到旧价格旧canonical，TTFB和LCP是什么关系，服务器响应快真能让Google多抓页面…
-
AI爬虫抓取量已超Googlebot 3.6倍：SEO策略要怎么变
2400万次请求数据揭示，ChatGPT爬虫抓取量已达Googlebot的3.6倍。本文深度解析AI爬虫生态格局，提供robots.txt配置、抓取预算优化、AI搜索可见性提升等实操策略。
