保哥笔记 — 文章列表 第 5 页

  • 一个页面拿不到，先别急着改内容。正确的顺序是把同一个地址换几种身份各要一次，逐项比较状态码、正文字节数和最终落点，两次结果不一样就说明问题出在送达层而不是内容层。本文给出七种身份对照的完整跑法，包括基线怎么从数据内部长出来、什么算真的拿到了页面、拒绝页可以用哪四类信号自动识别、声明层与送达层的两层对齐审计怎么在半小时内做完，最后是一份每天跑一分钟、覆盖五个地址三种身份的监测清单。

    robots.txt说允许，GPTBot仍有10个站进不去

  • 排查条件请求要按关卡来：先看响应头里有没有可以拿来协商的凭据，再连发两次看凭据稳不稳，然后带着凭据重发一次看回不回304，最后确认最后修改时间填的不是当前时刻。文中把这套顺序在211个国际化电商域名上走了一遍，逐关给出该看哪个头、判据定在哪、失败对应哪种成因，末尾附一张四种失败对应四种修法的对照表和一份三分钟自检。

    304状态码能省抓取预算，142个站只有52个回得出

  • 排查顺序比工具重要：先抓一次首页把标签剥干净数字符，判断这一页有没有把内容交出来；正文正常再进第二层，在字节里找按钮的名字、图片的替代文本、表单标签和地标区域；只有字节里找不到、而页面上确实有的，才需要打开浏览器看渲染后的无障碍树。文中把这三层在211个国际化独立站上走了一遍，逐层交代口径怎么定、基线从哪来、哪些样本必须先剔掉，末尾给出一张行业参照表、一份分诊流程和三个能在一个下午跑完的动作。

    AI爬虫读不到你的正文？132个独立站首页有28个是空壳

  • 把一个站上不归自己管的部分清点出来的完整方法：先扫首页与结算流程的外部域，逐条标注归属、用途和去掉之后的后果分四档；再把清单转成内容安全策略的来源白名单；最后挂一个每日快照差分，盯住外部域清单、页面标题和结构化数据块这三个低噪声字段。文中给出135个品牌站的依赖图谱、两次快照相隔两天半的变化率拆分，以及一次删掉九个域的清理复盘。

    第三方脚本实测：两天半里四分之一的站自己变了

  • 判断顺序建议改一改：先拿候选词的词集跟自己的站点地图比一遍，命中就说明这一页可能已经有了；没命中再去比搜索结果、建大纲、看结构位置。文中把这套顺序在87个电商站21.9万个网址上跑了一遍，给出重复的四种形态与各自的处理方式、合并时的五道检查，以及一份十步的照抄清单。

    一个词值不值得单开一页，87个站的站点地图先替你答了一半

  • 排查展示层身份要按顺序来：先数首页声明了几个图标，再逐个请求确认返回的是能读出宽高的图片，然后核对形状与尺寸，最后修兜底路径；名字那一半则是先补WebSite结构化数据，再把og:site_name和标题尾段调成同一个词。文中把这套顺序在211个国际化电商域名上走了一遍，逐步给出每一步该看什么、判据定在哪、什么情况可以放过，末尾附一张九项核对表和一份发布流程挂钩清单。

    favicon要上广告位，211个站有152个拿不出图标

  • 盘点品牌名要按顺序来：先把站上所有会说出名字的位置列全，再定一个顾客口头在用的基线名，最后逐个语言版本做减法。多出来的词按去处分流，国家地区直接删掉，法律后缀移进legalName，另一种文字移进alternateName，母公司名交给关系属性。文中把这套顺序在112个域名上走了一遍，逐步说明每一步该看哪个字段、判据定在哪、什么情况该弃权，末尾附一张六列盘点表、一张别名分流表和一份三分钟自检。

    Google商家名称禁双语重复，112个独立站里17个在犯

  • 读这两条线要按顺序来：先确认自己的品牌名在英语词表里是什么，再决定这两个数该打几折，最后才谈怎么用。跳过第一步，后面所有解读都建立在一个不知道大小的偏移量上。文中把这套顺序在169个DTC品牌名上跑了一遍，给出四个口径的分档结果、一张五列的品牌名附注表，以及一个三十分钟就能做完的手工对照测量。

    AI引用拆品牌词和非品牌词，这条线画在一句你看不到的话上

  • 排查多语言标注要按顺序来：先确认每个语言版本的规范网址自指，再看hreflang有没有成对声明，最后才轮到x-default和地区细分。顺序反了，前面的活儿全是在一批别名之间改关系。文中把这套顺序在211个国际站的抓取数据上走了一遍，逐步给出该量哪个数、阈值定在哪、什么情况才需要人介入，末尾附一张五列的对账表模板和一份八条自检清单。

    hreflang里写的那些语言版本，Google只把它们当规范页的别名

  • 内容安全策略的覆盖率是个骗人的指标。87个DTC与电商站的购物车页里，56个拿到真页面，47个带了这条响应头，但其中42条的长度落在49到175字节之间、内容一字不差，真正约束脚本来源的只有5个。文中给出长度分布、第三方脚本清单、完整性校验的真实归属，以及一份两小时能做出来的脚本基线。

    支付页CSP实测53个站：45个配了，只有5个管脚本

  • 谷歌把自己的抓取客户端分成三份清单，其中特例爬虫那一份里，AdsBot-Google、AdsBot-Google-Mobile、Mediapartners-Google和APIs-Google四条下面写着同一句话：全局用户代理会被忽略；Google-Safety更彻底，完全不看robots.txt。这意味着你那行星号覆盖的范围小于你以为的范围，而覆盖之外那几个恰好后果最直接。本文把日志里的用户代理与robots.txt里的令牌这两套字典…

    robots规则的星号对AdsBot无效，广告落地页照抓

  • Gmail从2024年2月起把退订拆成了两个互不相干的层：信头里的List-Unsubscribe与List-Unsubscribe-Post，以及正文里那个清晰可见的链接，官方原文用的是并列句，不是二选一。本文把这两层的失效方式逐条摆开：正文那层要经过HTML解析、样式应用、图片加载、暗色模式反色、屏幕适配这五个环节，任何一个出岔子链接就消失；信头那层零环节，唯一的失效方式是你没写。而找不到退订入口的人不会放弃，他会去点举报垃圾邮件，…

    一键退订必须写两层，少一层Gmail就把你整个域名限流

  • 做法是把每张表最多20行12列的单元格连同标签类型一起原样取下来，再写一段还原程序按四条判据逐张试：首行是不是全部为表头单元格、有没有跨行跨列、各行格子数是否一致、列名是不是既非空也非纯数字，任何一条不满足就归进对应的失败类型。单位不从采集端的正则读，改成从表格矩阵离线重算，因为括号写法那种形式会被常规正则整批漏掉。格子总数不超过两个的空壳表单独摘出，不进还原成功率的分母。

    表头去哪了？110张商品页表格，程序读得出的只有38%