技术SEO

内容再好，爬虫抓不到、收录不进去也是白搭。这里深入技术SEO，从抓取预算、robots与sitemap、canonical与hreflang到JS渲染、日志分析和索引膨胀治理，帮开发和SEO协作把工程底子打牢。

配套专题 抓取与收录指南 这一页管的是上线前把抓取和收录做对

  • 把同一件事分别写进HTTP响应头和HTML，再交给真实浏览器裁决：字符编码两个方向各测一次，防嵌套做成六格对照，其中一格同时写了最严的老字段和较松的新指令。另一头拿674份配着响应头的真实页面逐项对账，统计响应头层各字段的实际覆盖率、meta里那些规范根本不承认的写法、以及站点规则文件里各类指令的接收方现状。文中给出三条线的层级顺序、三层规则的方向性、一张按层归位的对照表，以及四条能直接跑的核对命令与一段响应头变更监控脚本。

    响应头和meta打架的时候，赢的从来不是更严的那条

  • 把188个海外品牌站的首页在两个时间点各抓一次，337份可解析文档、17423条head声明，逐类统计那些语义上本该唯一的字段被写了几遍、值一不一样；再用一个最小的本地服务制造六组典型冲突，交给真实的浏览器内核解析，看它最终采纳了哪一条。文中给出重复率与冲突率的两次快照对照、内页与首页的差距、七类字段各自的裁决方式、被一个div赶出head的三条声明、编码声明写到十几万字节之后为什么仍然没事，以及三档整改优先级和一段能直接接进流水线的检…

    重复的meta标签，浏览器和搜索引擎各按各的规矩挑

  • 从116个海外品牌独立站的sitemap里各随机抽6条地址做实抓，把提交层、交付层、索引层三处的声明逐条比对。做法是先确认sitemap本身拿得到，再按固定随机种子抽样，一次请求同时取回状态码、跳转链、页面与响应头里的索引声明和canonical，最后对所有非200的地址换普通浏览器身份重抓一次做对照。文中给出一致率、各项失分分布、系统性与零星的分辨方法、六步自查顺序，以及五处差点搞错的判据。

    sitemap提交的地址，页面自己认不认账？

  • 把142个海外品牌独立站首页的最终响应逐字段拆开，按十二种形态归类，再对着规范逐条判它们的下场。做法是先切出跳转链最后一段2xx响应，再按字段名分组找同名重复，然后查缓存、防嵌套、Cookie到期这三对经典冲突，最后把内容安全策略里的关键字逐个过一遍。文中给出各形态的站数分布、平台指纹与自写部分的拆分、六步自查顺序，以及把合并误判成矛盾之后数字从69降到57的修正过程。

    HTTP响应头自相矛盾：142个站里108个在犯

  • 把143个站声明的sitemap两层全拉下来，435份文件、41万条地址，逐条解析修改时间字段，再按2小时22分、7分钟、4秒三种间隔各重抓一遍做前后比对；对声称刚刚改过的页面另做一次正文闭环，逐字比对标题、描述、H1与正文词集；最后用两种身份同时请求同一份文件，把测量顺序造成的假差异从身份差异里扣干净。文中给出覆盖率、精度、年龄七档分布、时间戳聚集度、索引层与子文件层的对账结果，一次把尺子量歪的完整复盘，以及一套可以在自己站上一分钟跑…

    sitemap lastmod记的是哪一刻？41万条实测

  • 按RFC 9309从零实现一遍匹配器，再用三种办法把157份robots.txt的合并效果逐条判出来：给每条规则生成一个一定能匹配的代表路径，做删除实验看这条规则删掉之后判定变不变，以及把规则随机洗牌五遍验证顺序到底有没有影响。文中给出撞车率、胜负分布、空转成因分类、三种解析器读法的分歧规模，以及一套五步自查顺序和两次量错口径的完整过程。

    robots.txt两条规则撞车，赢的不是先写的那条

  • 给robots.txt做一次分组体检的完整量法：先数通配组的Disallow条数，再数每个专属组的条数，两边做减法找出被漏掉的路径；接着把不会生效的Crawl-delay、Noindex、Host这类字段清掉；最后用测试工具按地址乘爬虫名做一个小矩阵逐个验证，把结果存下来当回归基线。文中给出157份真实robots.txt的实测数据、三种写法的效果对照表、五步自查清单，以及把平台默认模板接管过来之后要承担什么。

    robots.txt分组不继承：157个站的实测

  • 要判断一个站的承诺有多少是说给机器听的，有一套可以照着跑的量法。第一步把页面上人能读到的文字提出来，去掉脚本和样式只留正文，用一组模式匹配承诺类表述：免运费、免退货、多少天退货、多少天试用、多少天送达、多少年质保、终身质保、满意保证，各语言的常见说法都要覆盖。第二步在同一个页面的机器可读部分里找对应字段：配送详情、退货政策、退货天数、免运费门槛、处理时长、运输时长。两步结果交叉，就能算出只对人说、两边都说、只对机器说和两边都没说各有多少…

    配送和退货承诺，63个站说给人听，11个说给机器听

  • 把响应的不成文缺省测出来的完整做法：对同一个地址发三次请求，分别换掉语言偏好、去掉压缩声明、保持原样，再比对最终地址、页面语言标记、标题与正文体积这四项稳定证据；拿到变化维度清单之后逐项去核对Vary头，多了删、少了补。文中给出139个站的实测分布、判据从宽到严导致数字缩水3.8倍的完整过程、五分钟版与半天版两套清单，以及修复该落在哪一层。

    Vary响应头实测：说变的3个，真变的17个

  • 把一个页面对自己地址的所有声明抠出来做对齐，这件事有一套可复现的跑法。先取事实，用跟随跳转的请求拿到服务器实际服务的那个地址，别拿你输入的那个当基准；再从原始源码里取出规范网址、og:url、hreflang默认版本、结构化数据里的url这四处声明；然后做分层比对，第一层严格比字符串，第二层忽略末尾斜杠，第三层忽略www，记下它在哪一层变成一致，那一层就是问题的性质；最后比对站点地图，逐字符比。一个页面十分钟，全站按模板抽八到十个就够。

    canonical你说了不算：132个首页有23%自相矛盾

  • 一个页面拿不到，先别急着改内容。正确的顺序是把同一个地址换几种身份各要一次，逐项比较状态码、正文字节数和最终落点，两次结果不一样就说明问题出在送达层而不是内容层。本文给出七种身份对照的完整跑法，包括基线怎么从数据内部长出来、什么算真的拿到了页面、拒绝页可以用哪四类信号自动识别、声明层与送达层的两层对齐审计怎么在半小时内做完，最后是一份每天跑一分钟、覆盖五个地址三种身份的监测清单。

    robots.txt说允许，GPTBot仍有10个站进不去

  • 排查条件请求要按关卡来：先看响应头里有没有可以拿来协商的凭据，再连发两次看凭据稳不稳，然后带着凭据重发一次看回不回304，最后确认最后修改时间填的不是当前时刻。文中把这套顺序在211个国际化电商域名上走了一遍，逐关给出该看哪个头、判据定在哪、失败对应哪种成因，末尾附一张四种失败对应四种修法的对照表和一份三分钟自检。

    304状态码能省抓取预算，142个站只有52个回得出

  • 排查顺序比工具重要：先抓一次首页把标签剥干净数字符，判断这一页有没有把内容交出来；正文正常再进第二层，在字节里找按钮的名字、图片的替代文本、表单标签和地标区域；只有字节里找不到、而页面上确实有的，才需要打开浏览器看渲染后的无障碍树。文中把这三层在211个国际化独立站上走了一遍，逐层交代口径怎么定、基线从哪来、哪些样本必须先剔掉，末尾给出一张行业参照表、一份分诊流程和三个能在一个下午跑完的动作。

    AI爬虫读不到你的正文？132个独立站首页有28个是空壳

  • 排查展示层身份要按顺序来：先数首页声明了几个图标，再逐个请求确认返回的是能读出宽高的图片，然后核对形状与尺寸，最后修兜底路径；名字那一半则是先补WebSite结构化数据，再把og:site_name和标题尾段调成同一个词。文中把这套顺序在211个国际化电商域名上走了一遍，逐步给出每一步该看什么、判据定在哪、什么情况可以放过，末尾附一张九项核对表和一份发布流程挂钩清单。

    favicon要上广告位，211个站有152个拿不出图标

  • 盘点品牌名要按顺序来：先把站上所有会说出名字的位置列全，再定一个顾客口头在用的基线名，最后逐个语言版本做减法。多出来的词按去处分流，国家地区直接删掉，法律后缀移进legalName，另一种文字移进alternateName，母公司名交给关系属性。文中把这套顺序在112个域名上走了一遍，逐步说明每一步该看哪个字段、判据定在哪、什么情况该弃权，末尾附一张六列盘点表、一张别名分流表和一份三分钟自检。

    Google商家名称禁双语重复，112个独立站里17个在犯

  • Googlebot对单个网址只取前2097152个字节，超出的部分不会报错，只是不存在。本文逐字节量了46个真实电商与建站平台的页面：未压缩HTML中位数972274字节、均值1131569字节，4个页面已越过上限，7个用掉八成以上预算，其中lovevery一个组合装页离上限只剩23个字节。更值得看的是受伤程度完全不按超标幅度排：anker两个页面超标最多却一个链接都没丢，allbirds男款分类页只超27.49%，288个链接被切掉9…

    页面体积实测46个电商站，4个的商品链接谷歌根本没读到

  • 本文讲一类所有监控都看不见的故障：页面从服务器发出去之后、落进用户眼睛之前，被中间层改写了内容，而系统层面没有任何异常。一家手工陶瓷餐具跨境独立站的德语版退货率比英语版高6.8个百分点，退货理由里“与描述不符”占41%（英语站只有12%），参数表、图片、尺寸、翻译逐项查过全对，挂了大半年。真相是德语页面的语言标记还写着英语，德国买家的浏览器把它当外语又翻了一遍，参数表里那句“可用于洗碗机”被换成了一个意思更弱的同义说法，而改写后的德语语…

    浏览器自动翻译把yes改成forks，问卷数据却看不出异常