行业榜单上的前1%，是400家里的4家还是51家？

摘要：一份行业榜单上写着“前1%”，读的人默认这三个字是从几百家里挑出来的。本文用一份公开可查的电商体验榜单做样本，把它连续三年的版本摊开逐项对账：同一年的名单里，“前1%”这个标签一共印了55次，而候选池按它自己的说法是400多家——1%只放得下4个位置。55次是怎么来的？19个行业乘3个终端，再加8个主题乘3个终端，格子先切好，标签再一格一个地发下去。其中7个行业只有一家获奖，也就是说那一格里的“前1%”和“第一名”是同一件事。顺着这条线还能翻出：同一家机构对自己有多少条准则给了四个数，其中一个能用加法还原；分数总量除下来对得上公开的335个站，却对不上自称的400家；三年名单的交集只剩一家公司。本文给出判断一份榜单能不能当尺子用的三句话，以及6个不花钱、不用埋点、这周就能做完的动作。

百分比这个东西有个很讨人喜欢的地方：它自带分母。你说“前1%”，听的人脑子里立刻会浮现出一个很大的池子和一个很小的尖儿，不用你解释，画面自己就出来了。可这个分母是隐形的，它从来不需要被念出来，而恰恰因为不需要念出来，它可以是几百，也可以是三家。

这件事是在给一个客户核对竞品资料的时候撞上的。对方拿来一页幻灯片，上面写着某家同行“拿了行业前1%的体验评级”，要求参照那家把自己的移动端改一遍。翻到原始出处才发现，那份榜单同一年里发出去51个“前1%”，而它自己写的候选池是400多家。两个数摆在一起，怎么算都差着一个数量级。

更有意思的是往前翻。同一个奖，2023年、2024年、2025年三份完整名单都还挂在网上，谁也没删，逐个名字对下来，2024年的60位获奖者里有57位在2025年的名单上找不到了。三年都在的，只剩一家公司。一个行业的体验水平不会一年换血九成半，所以变的一定是别的东西。

一份榜单里的“前1%”，最多能印几次？

先把两个数放在一起看

2025年那份名单，从头到尾数下来是51个获奖主体。同一页的开头写着，进入评选范围的电商网站有400多家，每一家都被人工按平均500多条准则打过分，这个工作量按它的说法要花两万多小时。这两个数字分别看都很正常，放在一起就开始别扭了。

400家的1%是4家。就算把“400多”往宽了算成450家，1%也就是4.5家，取整之后还是4家。而实际发出去的是51家，中间差了十二倍还多。这不是四舍五入能解释的距离，也不是“多几家并列”能兜住的量级——并列通常是两三家的事，不会一路并列到51。

更准确的说法是51÷400＝12.75%。如果拿这家机构公开可查的站点数335来当分母，那就是15.2%。无论用哪个分母，“前1%”这三个字都对不上它自己印出来的名单长度。差距不是几个百分点，是一个数量级，这种量级的偏差通常意味着两个数根本不是在回答同一个问题。

标签不是发给公司的，是发给格子的

把51个获奖说明逐条读完，答案就出来了。没有任何一条写的是“该站在全部400家里排进前1%”，一条都没有。每一条后面都跟着一个限定语——某某行业的桌面端、某某主题的移动端、某某类目的App端，限定语的位置固定，格式统一，显然是按模板生成的。

换句话说，这个“前1%”从来没有对着整个池子说过话。它每次说话的对象都是一个更小的集合，而这个集合有多小，页面上不写。读的人拿到的是标签，看不到的是那一格里到底站着几个人。行业奖项和排行榜本身也是一门生意，从申报到评审都有成本，这决定了格子不会切得太少。

这跟AI审计工具那个95%准确率的分母是自己划的是同一类毛病，只不过这次问题不在及格线怎么定，在池子被切成了多少份。及格线是一条横线，切片是很多条竖线，横线看得见，竖线看不见。

55次，不是51次

51是获奖主体数，不是标签数。有几家公司同时拿了不止一个奖，比如某家户外品牌一家就占了桌面端、移动端和App端三项，把每条说明里出现的“Top 1%”逐个数一遍，一共是55次。也就是说这一页上，“前1%”这个词组被独立地印了55遍。

55次里，挂着行业名的34次，挂着主题名的17次，说“整体”的4次。三个数加起来正好55，一次不多一次不少，这说明每一次颁奖都被明确归到了某一个格子里，没有一条是含糊的。能对上的加总是个好信号，它至少证明这份名单的内部结构是清楚的。

数完这一步，问题就从“他们是不是夸大了”变成了“这些格子是怎么切出来的”。前一个问题问不出结果，因为对方随时可以说“我们没说是全池的1%”；后一个问题能一路问到底，因为格子数是可以数的。

格子是这么切出来的

页面开头自己交代了切法：19个行业，外加按主题和终端切。终端有三种，桌面端、移动网页端、App端。主题从名单里数出来是8个——结账、商品页、商品列表与筛选、站内搜索、首页与类目、账户中心、订单跟踪与退货、全站功能，跟这家机构自己的研究板块划分是对齐的。

19个行业乘3个终端等于57格，8个主题乘3个终端等于24格，再加上“整体”这一类的3格，一共84格。84个格子，每格理论上都可以发一个“前1%”，实际发出去55个，剩下的29格那年空着。空格子不会出现在名单上，所以外人看不出哪些格子当年没人达标。

这就是55这个数的来源。它跟被评的网站有多好没关系，跟切了多少刀有关系。刀数决定标签数，这是一条纯算术的关系，跟评审严不严格无关，也跟那两万多小时的工作量无关。工作量决定的是每一格里的判断准不准，不是一共能发出去几个标签。

切得越细，标签越多，每个标签越轻

假设明年这家机构把行业从19个扩到25个，终端再加一个“平板端”，格子数立刻从84变成25×4＋8×4＋4＝136。名单长度大概率跟着涨，而每一个“前1%”背后的候选池同步变小。榜单看起来更丰富了，单个标签的稀缺性却被稀释掉了一半。

反过来，如果哪年他们决定只发“整体前1%”，那么400家里就真的只有4家能拿奖，含金量陡然上去，新闻稿却变得很难写——只有4个客户能拿去做宣传素材，剩下三百多家一无所获。任何一个做过内容分发的人都知道后一种方案不会被选中。这跟砍掉虚荣指标只盯真信号面对的是同一种拉扯。

所以切片数不是一个技术参数，它是一个产品决策。切多少刀，决定了这份榜单一年能生产多少个可供转发的荣誉，也决定了每个荣誉值多少钱。这两件事是此消彼长的，不可能同时最大化。

有7个行业，整格只有一家获奖

把34个行业奖按行业名归一遍，19个行业里有7个只出现了一家公司：汽车配件、B2B五金与机械、家具家居、房产、外卖与餐饮配送、电信运营商、玩具手工与爱好。七个格子，七家公司，一格一个，整整齐齐。

一家。也就是说在这7个格子里，“该行业前1%”和“该行业第一名”指的是同一件事，甚至可能连“第一名”都算不上——如果那一格里参评的本来就只有两三家，那这个奖更接近“该行业唯一参评者”。而参评了几家，页面上一个字都没写。

相比之下，服饰配件、航班机票、印品定制各有3家获奖。同一份榜单里，有的格子发3个“前1%”，有的格子发1个，而读者拿到的标签长得一模一样，字号一样，措辞一样。电商类目页本身就是按格子组织内容的，切法不同，结果就完全不同。

当格子里只剩三五家，前1%就是第一名

这句话听上去像抬杠，但它是可以验算的。一个格子里如果只有5个候选，那么“排名前1%”这个条件在数学上等价于“排名前0.05个”，也就是说严格意义上没有任何一家满足这个条件，包括第一名在内。

实际操作里当然不会这么算，通常的做法是：这一格里最好的那个，或者达到某条绝对分数线的那些，拿奖。这个做法本身完全合理，甚至是唯一可行的做法，问题只在于最后印出来的字仍然是“前1%”，而不是“本类目最佳”。

于是同一个词组，在一个有200家候选的格子里意味着“击败了198家”，在一个有4家候选的格子里意味着“这4家里你还行”。词是同一个词，信息量差着两个数量级，而这个差别不体现在任何一个可见的字符上。

第一名和前1%，在读者脑子里不是一回事

“某某行业第一名”这句话，读的人会本能地追问一句“一共几家参评”。这是个自然反应，因为“第一名”这个说法自带一个需要交代的分母，缺了它这句话就是不完整的，听的人会觉得少了点什么。

“前1%”不会触发这个追问。它已经把分母写在字面上了——1%，看起来分母是100或者更大，甚至更大才对。读的人不会再问，因为看上去已经答过了，追问反而显得没读懂。

这就是这类标签最微妙的地方：它用一个假的分母，替换掉了那个真正需要被追问的分母。写的人没撒谎，读的人也没偷懒，可信息还是在中间丢了一层，而且丢得悄无声息，没有任何一方会察觉。

标题上写的是“表彰前1%的站点”

2025年那篇的标题直译过来是“表彰前1%的站点”。这句话如果字面成立，那么这份名单最多应该有4个名字。它实际有51个，比字面允许的多出47个。

把标题、开头段、名单三处放在一起看，三处都没错：标题说的是奖项的定位，开头段说的是候选池的规模，名单说的是最终结果。三段话各自成立，也各自准确，合起来会让人得出一个错误印象。

这种错觉不需要任何一方作假就能产生，它只需要三段真话被排在同一个页面上，而中间那句解释它们怎么衔接的话没人写。写那句话对榜单方没有任何好处，所以它永远不会被写出来。

先算一遍，再决定信不信

验算这件事的成本极低。打开榜单页，数一下名单有多少行，找到候选池的规模，两个数一除。如果得到的比例比标签上写的大一个数量级以上，那就说明这个标签是按格子发的，不是按池子发的，后面所有的解读都要按这个前提来。

这一步大概花三分钟，比读完整份榜单快得多，也比事后发现抄错了对象便宜得多。给行业基准数据定参照值的时候，这个动作应该排在读正文之前，而不是读完之后再回头补。

算出来比例正常也不代表这份榜单就可靠，只是说这一层问题不存在，可以往下看别的。核对是一层一层剥的，不是一次做完的，剥完这一层还有分子分母同不同源、名单能不能核实这几层。把数据分析拆成指标体系与异常诊断两层也是这个思路，先确认口径再看数值。

这不是造假，每一格的算法都成立

必须把话说清楚：按格子发奖是一个非常正常的做法。行业不同、终端不同，直接放在一起排名反而不公平——一个只有商品页和订阅流程的软件站，和一个有全套结账、物流、退换货流程的综合商城，用同一把尺子量没什么意义。这跟类目导航改了三轮用户仍不知道自己在哪同属一类结构问题。

切片是为了让比较更有意义，这个出发点没问题，甚至可以说是负责任的做法。问题出在切完之后，标签上的百分比没有跟着切片一起改写。分母变了，写在标签上的那个数没变，两者之间的那道缝就是所有误读的来源。

所以这不是一个诚信问题，是一个表述问题。追问下去得到的答案会是“我们说的是各细分领域的前1%”，这个答案完全成立，无懈可击，而且答完之后什么都不会改变——下一年的榜单还会这么写。

问题的位置在读的人这边

榜单方按格子发奖、按格子表述，这套逻辑是闭环的。真正出问题的是这个标签离开原页面之后的那段旅程——它被截图、被写进幻灯片、被引用进竞品分析表，而那个限定语在第一次转述的时候就掉了。

“某某拿了行业前1%”这句话，从榜单页到会议室大概经过三个人，每经过一个人少掉几个字。到最后一个人手里，剩下的往往只有公司名和“前1%”这四个字，行业名、终端、年份全没了。

这跟基准报告只印发布日期不印观测日期是同一种损耗：不写在标签上的限定条件，转述两次就没了。区别在于那次丢的是时间，这次丢的是分母，而分母丢了之后连追问的入口都没有了。

把这一节收成一句话

看到“前X%”，先别看是谁拿的，先问这个X%是对着多少个对象说的。如果榜单上同时出现了几十个“前1%”，那么这个百分比几乎肯定是格子内的，不是池子内的，这一步判断不需要任何额外信息。

把标签数除以池子规模，得到的才是“拿到这个标签的实际难度”。51÷400＝12.75%，意味着参评的每8家里就有1家能拿到某种“前1%”，这跟“百里挑一”是两个世界，跟“千里挑一”更是隔着十万八千里。

接下来的问题是：这个池子本身有多大、由谁划定、里面的成员能不能被你亲手核对。那要从这家机构自己给出的数字开始查，而那些数字之间也对不上——同一件事，官网上有四个答案。

同一家机构说自己有多少条准则，为什么答案不止一个？

四个数，同一天，同一个官网

把这家机构的几个主要页面在同一天打开，找“我们一共有多少条体验准则”这个问题的答案，会得到四个不同的数：奖项页写的是“平均500多条”，导航栏写的是“700多条”，方法论页写的是794条，而基准图表里那个“整体体验表现”标着1254条。四个数，四个位置，没有一处交叉说明，也没有任何一页提到还有别的说法。

这不是不同年份留下的历史包袱，因为这四个页面是同时在线的，任何人现在打开都能看到。也不是某一页写错了，因为它们各自都能自圆其说，拆开看每一个都站得住。四个数字同时正确、同时在线、互不知情，这本身就是个值得停下来看一看的现象。

更要紧的是，这四个数里只有一个会被印到奖状上。奖项页那句“平均500多条”是外部转述时唯一会带上的数字，其余三个都留在了原地，没人会去查，也没人有理由去查。准则条数与分数条数是两笔账这件事，在这里又出现了一次，而且比上次更极端，因为这次是四笔。

1254这个数，可以用加法还原

基准图表把准则按终端分了三块：桌面端442条、移动网页端429条、App端383条。三个数加起来是1254，和上面那个“整体体验表现1254条”分毫不差。这说明1254不是一个宣传口径，是一个真实的加总结果，背后有一张能对得上的表。

继续往下拆，桌面端那442条还能再拆成八个板块：首页与类目34条、站内搜索28条、商品列表与筛选70条、商品页106条、结账110条、账户中心64条、全站设计与交互19条、会员计划11条。把这八个数加起来，正好442，一条不多一条不少。

两层加总都能对上，这在公开数据里是相当少见的待遇。它意味着这家机构的内部结构是清楚的、可复核的，也意味着任何人只要肯花五分钟按一遍计算器，就能验证这一层没有水分。这是好事，得先说清楚，后面所有的挑刺都建立在这个前提上。

794和1254的关系是去重

1254是三个终端加起来的条数，794是去重之后的条数。同一条准则如果在桌面端和移动端都适用，加总的时候算两次，去重的时候算一次。1254减794等于460，这460就是被重复计算的部分，占1254的36.7%，比例不算小。

所以794和1254都没错，它们回答的是两个不同的问题：794回答“一共写了多少条不一样的准则”，1254回答“一个站最多会被打多少次分”。前者衡量的是知识库的大小，后者衡量的是工作量的上限，两个问题连单位都不一样。

问题是这两个问题在外部转述时会被压成同一句话——“他们有几百上千条准则”。压完之后，你既不知道知识库有多大，也不知道工作量有多重，只剩下一个模糊的量级感。这跟用上一代分词器的口径估算token是同一种事故：尺子本身刻得很准，只是刻的不是你以为的那件事。

那“平均500多条”又是什么

奖项页那句“每个站被人工按平均500多条准则打过分”，用的是“平均”两个字。这说明不是每个站都被打满794条，也不是每个站都一样多——只做桌面端的站条数少，三端齐全的站条数多，平均下来落在500多这个区间。这个解释是唯一说得通的。

这个说法在逻辑上完全成立，而且比直接说“794条”更诚实。有意思的是，2024年那版写的是“按500多条准则打过分”，没有“平均”两个字，2025年才加上。一年之间只加了两个字，别的数字一动不动，连标点都没换。

两个字的差别看起来微不足道，实际上它把一个绝对陈述改成了一个统计陈述。前者可以被单个反例推翻——只要找到一个被打了300条的站；后者不能，因为平均值天然容纳离散。这类修改在法务和公关的口径校对里非常常见，改完之后表述更严谨，可核查性反而更低。该淘汰的那批老指标大多也是这么退场的。

2023年那版给的是一个区间

翻回2023年的版本，同一个位置写的是“每个网站按500到680条加权准则人工评测”。给的是区间，有上界也有下界，这是几个版本里唯一一次交代了上界。区间比“500多”信息量大得多，因为它同时告诉了你最少和最多，而“多”字后面可以藏下任何东西。

同一段还写着：候选池是234个美国和欧洲的高营收电商站，奖项基于数据库里超过215000个加权体验分数，整个过程花了超过10000小时。三个数都是具体的，没有一个带模糊后缀，234就是234，不是“200多”。

然后就出事了。这三个数被排在同一段话里，中间隔着不到三十个英文单词，它们可以互相验算，而验算的结果对不上。这一层不需要翻别的页面，也不需要任何背景知识，读完这一段就能发现。

215000除以234，等于918.8

如果234个站产生了215000个加权分数，那么平均每个站被打了918.8次分。而同一段话说，每个站用的是500到680条准则。918.8比上界680高出35.1%，比下界500高出83.8%，两头都对不上，而且差得不是一点半点。

能想到的解释有两个：要么某些站被在多个终端上重复评测，918.8是把终端也算进去的结果；要么215000这个数里包含了234个站之外的东西，比如往年留下的历史分数。两个解释都有可能，也都合理，页面上一个字都没提。

注意这里的关键不是“他们算错了”。更可能的情况是两个数来自两个部门、两个系统、两次不同的统计口径，各自都对。对读的人来说，结论是一样的：这两个数不能放在一起做除法。而做除法恰恰是外部引用时最常见的动作。关键词难度在各家工具之间差得很大，原因同样是分母不一样。

验算不是为了抓错，是为了知道哪个数能用

发现918.8这件事，本身不构成对这份榜单的否定。数据加总出现口径差异是极其常见的，尤其是当一个组织同时维护研究库、销售页面和公关稿的时候，三套口径来自三个部门几乎是必然的，谁都不算失职。

验算的意义在于告诉你：这一段里的三个数不能同时当精确值用。你可以用234来判断池子规模，可以用500到680来判断评测深度，但不能拿215000去反推任何东西，因为它跟前两个数不共享同一个口径，反推出来的每一个结论都会带着这个错位。

这跟校准第三方工具数据准不准的思路是一样的：先找出哪些数字之间存在算术关系，把它们摆在一起对一遍，对不上的那一组就标记为“不可交叉引用”。这个动作不需要任何工具，也不需要跟对方打交道。

275000这个分数总量，分母是335还是400

2024年和2025年两版都写着“基于超过275000个加权体验分数”。这个数比2023年的215000涨了27.9%，而候选池从234涨到“400多”，涨了71%。分数涨得比池子慢得多，说明每个站的平均评测次数反而下降了，这跟“我们评得更细了”的直觉相反。

275000除以400等于687.5，这跟“平均500多条”能对上一个大概，勉强算说得通。275000除以335等于820.9，跟方法论页那个794条只差3.4%。后一个吻合度高得不像巧合，尤其考虑到794这个数是从另一个页面上找到的。

反过来乘一遍更清楚：335乘794等于265990，跟275000只差9010，误差3.4%。而400乘500等于200000，跟275000差了75000，误差27.3%。两个候选组合摆在一起，哪一个是这个数的真实来源，一目了然。

分子来自公开的335个站，分母写成了400多家

方法论页写得很清楚：54轮人工基准评测，覆盖美欧335个高营收电商站，跨794条体验准则，产出175000多个实现示例和275000多个体验分数。这一段里，335、794、275000三个数是长在一起的，出自同一句话，共享同一个口径。

奖项页把275000搬了过去，却把站数写成了“400多家”，理由是候选池里还包括了付费审计客户。这个说法本身没问题——客户站确实也被评过——但那部分评测有没有计入275000，页面没说，也没有任何地方说过。

从算术上看，275000和335乘794高度吻合，和400乘500相去甚远。更可能的情况是：分数总量来自公开的那批站，而候选池的规模来自公开加客户的并集。分子和分母不同源，这是核对外部数据时最该警惕的一种错位，因为它不会在任何一处露出破绽，只会让所有基于它的除法都偏一点。

基准页给的是十万，不是二十七万

还有一个数字更奇怪。基准页开头写着“本图表汇总了100000多个体验评分”，同一个页面下方的页脚又写着“335个站的案例研究，用275000多个体验分数排名”。同一页，上下相距不到一屏，两个数差2.75倍，中间没有任何过渡。

上面用的词是ratings，下面用的词是scores。两个词在英文里都可以译成“评分”，中文里更是没法区分，而这家机构从来没有在任何一页解释过它们的区别。100000除以335等于298.5，275000除以335等于820.9，两个每站均值差了将近三倍。

298.5这个数接近什么？大约是桌面端442条的三分之二，或者说三个终端里最常评的那一到两个的量级。820.9这个数接近794。所以合理的猜测是：ratings统计的是某个较窄的口径，scores统计的是全量。这只是猜测，页面上没有答案。遇到这种情况，选工具先看它公开了多少口径比看功能列表有用。

示例数也是两个，差了将近十倍

同样的错位在“设计示例”这一项上又来了一次。导航栏和页脚都写着“18000多个结构化设计示例”，而方法论页写的是“175000多个实现示例”。两个数差9.7倍，用的词一个是design examples，一个是implementation examples。

这两个词的区别大概率是：前者指被整理成图库、可以浏览的截图条目，后者指评测过程中记录下来的每一次实现情况。一个是对外的产品，一个是内部的原始记录，数量差一个量级完全说得通，甚至可以说理所当然。

但对读的人来说，这又是一组不能混用的数。如果你想说“这家机构积累了十几万个设计案例”，那是错的；如果你想说“一万八千个”，那也没错但漏掉了背后的工作量。看到量级差得离谱的两个数，先假设它们回答的是不同问题。用词频权重给内容做体检时最容易踩这个坑，换个口径排序就翻过来。

四个数里，哪个能用

把这一节的账收一下。794是可以用的，因为方法论页把它和335、275000放在一起给出，三者能互相验算，误差在3.4%以内。1254也是可以用的，因为它能被442加429加383还原，而442又能被八个板块的数字精确还原。用透视表把分项加总核对几分钟就能看出哪一层对不上。

“700多”是个约数，做量级判断没问题，做除法就不行，因为“多”字后面的空间太大。“平均500多”只能用来理解评测深度，不能当分母。100000和275000之间必须二选一，选之前要先确定你要回答的是哪个问题，否则选哪个都是错的。

最不能用的是2023年那个215000，因为它跟同段落的234和680对不上。一个数字如果在它自己所在的那一段话里就无法自洽，那它在任何别的地方都不能当依据。这条判据不需要任何背景知识，只需要一台计算器和三十秒钟。

可加总的数字是最值得抓的

这一节里最有价值的发现不是哪个数错了，而是1254和442这两个能被还原的加总值。它们证明这家机构确实有一套结构化的内部账，也给了外部核对者一个可以下手的抓点，而这种抓点在公开材料里非常稀缺。

做竞品资料核对的时候，第一优先要找的就是这类“能加起来”的数字：分板块的条目数、分类目的站点数、分终端的覆盖数。把它们加一遍，如果加得出总数，这份材料的可信度就上了一个台阶；如果加不出来，差额本身就是下一个要问的问题。

反过来，如果一份材料从头到尾只给总数、不给分项，那就没有任何可以下手核对的地方。这时候能做的只有横向比对——找同一家机构的其他页面，看它在别处怎么说同一件事。这正是上面那四个准则数被找出来的方式，成本是打开四个标签页。给页面做加权评分体检也一样，先弄清权重是谁定的。

把这一节收成一句话

同一件事在同一家机构的官网上有四个数字，这不奇怪，也不一定说明谁在骗人。奇怪的是这四个数从来没有在任何一处被并列过，也没有任何一页解释它们的关系，而它们全都是公开的、随时可查的。

作为读的人，你要做的是给每个数字标上它能回答的问题，然后只在那个问题上用它。794回答知识库大小，1254回答单站评测上限，335回答可复核的池子规模，“400多”回答含客户的并集规模。标完之后，很多看起来矛盾的地方会自动消失。

分清楚之后，下一个问题就来了：这份名单一年换掉九成半，到底是被评的公司变了，还是这些数字背后的尺子变了。这个问题比前面几个都难回答，因为它需要三年的数据才能看出来，而三年的数据恰好都还在。

一年之内九成半的获奖者换掉了，是被评的变了还是尺子变了？

三年三份名单，长度分别是41、60、51

这个奖从2023年开始连续办了三年，三份完整名单现在都还挂在网上，页面结构几乎一样，谁也没有被删掉或改写。2023年41位获奖者，2024年60位，2025年51位。三年加起来152个席位，听起来是个不小的荣誉圈子。

但把名字拉出来去重就不是这个数了。三年一共出现过的不重复公司是129家，远小于152，说明确实有一部分公司连续拿奖。问题是这个“一部分”到底有多大，这需要逐个名字比对才知道，而比对结果比想象中难看得多。

做这件事的成本很低：三个页面的名单复制出来，去掉国家后缀和大小写差异，做个交集。十分钟能做完，而这十分钟能问出一个任何单年名单都答不出的问题——这份榜单到底稳不稳。竞品内容差距要逐项对账才看得出来，榜单也一样，得摊开两份才有对比。

2024到2025，交集只有3家

2024年60位获奖者，2025年51位，两年的交集是3家。三家。用集合的话说，并集108家，交集3家，重合度2.8%。也就是说2024年拿了奖的公司里，有57家在一年之后从名单上消失了，消失比例95%。

这三家是哪三家？一家做后端云服务的开发者平台，一家跨国快餐连锁，一家英国的餐饮设备供应商。三家分属完全不同的行业，看不出什么共性，更像是随机留下来的。如果连续获奖的是同一批头部大厂，那还说得通；三家毫无关联的中小玩家留下来，反而更难解释。

再把2023年那份加进来对：2023和2024的交集是17家，重合度20.2%；2023和2025的交集是6家。三年都在名单上的，只有一家公司。一家。这个数字放在任何一份“顶尖榜单”上都值得追问一句为什么。

一个行业不可能一年换血九成半

先排除一种可能：这不是因为电商体验水平在一年内发生了剧变。网站改版是以季度和年为单位推进的，结账流程重构一次要几个月，账户中心的信息架构调整更慢。一年之内九成半的顶尖玩家集体掉队，在业务上说不通。

也不是因为大批新公司涌入。候选池的规模两年之间没有变化，都写着“400多家”，连数字都一模一样。池子没变大，池子里的人没换，可名单换了九成半。池子没变、成员没换、名单换了，这个组合本身就指向了评法。

那就只剩两种解释：要么打分方式变了，要么切格子的方式变了。前者会让所有站的分数一起漂移，后者会让原本能拿奖的站掉进别的格子里去。这两件事在外部都看不见，但它们留下的痕迹能被数出来。

“整体”这一类的奖，从21个缩到4个

把三年的获奖说明里带“整体表现”字样的条目数一下：2023年17条，2024年21条，2025年只剩4条。这是一个断崖式的变化，而且它恰好能解释名单为什么会换血。

“整体前1%”是最难拿也最值钱的一类，因为它的分母是整个池子而不是某一格。2024年有21个这样的席位，等于池子被拆成了21份来发“整体奖”；2025年只发4个，回到了字面意义上的“400家的1%”。

这个变化本身是往严格的方向走的，值得肯定。但副作用是：2024年那21家靠“整体奖”上榜的公司里，绝大多数在2025年拿不到同样的位置了。名单换血的一大块，就是从这里来的。严格化是好事，只是名单波动会被外部误读成实力变化，就像老内容流量悄悄下滑常被误读成算法惩罚。

一家拿多个奖的情况也在减少

2023年41位获奖者里有14位拿了不止一个奖，占34.1%；2024年60位里有16位，占26.7%；2025年51位里只有4位，占7.8%。三年一路往下掉，掉得很干净。

这说明奖项的分配方式从“少数强者通吃”变成了“一格一个尽量摊开”。2025年那份名单里，47家公司各拿一个奖，只有4家拿了两个及以上。摊得非常平，平到几乎看不出层次。

摊平的直接后果是名单里能容纳更多不同的公司名。同样是55个标签，如果集中在20家手里，名单就只有20行；如果平摊到51家，名单就是51行。名单变长不等于获奖门槛变低，也可能只是分配策略变了。这两种情况从外面看起来一模一样。

行业名本身在改名和拆分

2023年有一个行业叫“宠物与爱好”，2025年这个名字不见了，取而代之的是两个行业：“宠物食品与护理”和“玩具、手工与爱好”。一个格子拆成了两个，格子数加一，而拆的那一刀落在哪里，只有这家机构自己知道。

2023年的“家居用品与家具”，到2024年变成了“家具与家居装饰”；2023年的“旅游与住宿”，到2024年变成了“旅行住宿”。名字改了，覆盖范围有没有跟着改，页面上没有说明。改名之后，同一个行业名在两个年份可能指的不是同一批公司，季节性关键词跨年迁移也有这个麻烦。

这类改动对跨年比较是毁灭性的。同一家宠物电商，2023年拿的是“宠物与爱好行业移动端前1%”，2025年拿的是“宠物食品与护理行业桌面端和移动端前1%”——听起来是连续两次获奖，实际上中间那个类目已经被拆过一次，两次的分母根本不是同一个集合。

同一份名单里，行业名的写法都不统一

2025年那份名单里，有一家公司的获奖说明写的是“Digital Subscriptions & SaaS”，另一家写的是“Digital Subscription & SaaS”，差一个复数s。2024年那份里，“Mass Merchant”和“Mass Merchants”两种写法同时出现。

还有词序问题。这家机构的基准页把一个行业叫作“Food Delivery & Takeout”，2025年的奖项页写成了“Takeout & Food Delivery”，两个词换了个位置。基准页叫“Product Lists & Filtering”，奖项页叫“Product List & Filtering”。

这些差异都很小，小到不影响阅读。但它们说明一件事：这份名单是人工整理的，不是从数据库里导出来的。如果是导出来的，同一个类目名不可能有两种写法。人工整理意味着口径依赖整理的人，而整理的人是会换的。

2025年的新面孔有43家

反过来数也很有意思。2025年那51位获奖者里，有43位在2023年和2024年的名单上都没出现过，占比84.3%。也就是说这份“顶尖1%”名单，八成以上是当年第一次上榜的。

一份榜单如果每年八成是新面孔，那它衡量的更像是“今年谁被评到了”，而不是“谁一直做得好”。真正稳定的头部通常有很强的惯性，因为体验优化是靠长期投入堆出来的，不是靠某一年突击。稳定的头部榜年度更替率通常在两三成。在AI引擎里做可见度竞品分析时，也要先分清抖动是真实变化还是采样波动。

当然还有另一种可能：这家机构每年都在扩大和轮换实际评测的对象，去年评过的今年不评，今年评的去年没评。这个解释同样成立，而且更符合一家研究机构的正常工作节奏。但它带来的结论是一样的——这份名单不能当趋势看。

消失的那57家去哪了

2024年名单上那57家在2025年消失的公司，包括好几个体量非常大的名字：北美最大的几家综合零售、几家全球服装品牌、几家主流旅行预订平台。这些名字大多是各自类目里体量最大的几家，投入和团队规模都在那儿，一年之内集体退步的可能性极低。

把它们跟公开的基准站点名单对一遍会发现，绝大多数仍然在那份335个站的名录里，案例研究页也还在，只是没再拿奖。这说明它们没有被移出评测范围，只是没有落进2025年的任何一个格子的头部。换句话说，它们并没有从这家机构的视野里消失，消失的只是那个能容纳它们的席位。

最可能的原因还是格子变了：整体奖从21个缩到4个，而这些大站原本大多是靠整体奖上榜的。格子一撤，人就掉下来了，跟他们自己做了什么没关系。这是切片决定名单的最直接证据。格子的存废由发奖方决定，这跟AI推荐名单被追问一句就少掉六成道理接近：边界不在被推荐方手里。

排名榜有一条现成的规矩，就写在这上头

2006年在柏林，一群做大学排名的机构和研究者开了个会，定下了一份16条的《高等教育机构排名的柏林原则》。这是目前唯一一份专门规范“排行榜该怎么做”的国际性公开准则，二十年过去了仍然是这个领域最常被引用的框架。

它的第9条正好说的就是这件事：要把各项指标的权重公开写出来，并且限制对权重的改动，因为“权重的变化会让使用者难以分辨一所机构的名次变动，究竟是源于其自身的实质差异，还是源于方法上的改变”。这句话写在2006年，针对的是大学排名，可它精准描述了二十年后一份电商榜单的处境。

把“机构”换成“电商网站”，这句话一个字都不用改。2024到2025的名单换掉了95%，而外部读者手上没有任何材料能判断这95%里有多少是网站自己的变化，有多少是格子和权重的变化。

柏林原则的另外几条，也全都戳在这

第3条要求“承认被评对象的多样性，把不同的使命和目标纳入考虑”，并且建议经常与被评对象和相关专家沟通。第6条要求“方法必须透明”，透明的范围明确包括指标的计算方式和数据的来源。这两条针对的都是“读的人凭什么相信这份榜”，而不是“这份榜排得准不准”。

第11条要求“尽可能使用经过审计和可验证的数据”，理由写得很直白——这类数据的好处之一是“它们在不同机构之间是可比、可兼容的”。第16条要求榜单的编制方式要能发现和纠正原始数据里的错误，并且要把已发生的错误告知被评对象和公众。

这四条加起来，基本上就是一份“读榜单时该查什么”的清单。反过来用：权重公开吗、方法透明吗、数据可验证吗、有没有勘误机制。四问全过的榜单很少，但至少能分出档次来。四问不必都过才能用，但要知道手上这份过了几问；做内容差距分析时把这四问抄过去也基本适用。

计量学里有一条更硬的判据

国际计量学词汇对“测量结果的计量相容性”有一条注释，说的是：如果对一个被认为恒定的量做了一组测量，其中某个结果与其他结果不相容，那么要么是测量本身不正确，要么是被测量在两次测量之间发生了变化。二选一，没有第三种。

把这条用到名单上：2024和2025的重合度只有2.8%，两次结果显然不相容。那么要么是评测方法在两年之间变了，要么是这400多个网站的相对水平在一年内真的发生了九成半的重排。

后者在业务常识上不成立，所以只剩前者。这个推论不需要任何内部信息，只需要两份公开名单和一条计量学定义。它也不指控任何人，它只是把“可能性”从两种收敛到了一种。

跨年比较要看三类字段

做跨版本对照的时候，不是所有字段都值得看。真正有用的是三类：名单类（谁在里面）、工作量类（做了多少活）、分布类（怎么分组）。这三类的共同点是，如果不重新做一遍，它们不会自己变。

名单类变了，说明要么被评对象变了，要么筛选规则变了。工作量类变了，说明确实重新做了一轮。分布类变了，说明分组方式动了刀，跨年比较从这一刻起就失效了。

剩下的那些字段——措辞、排版、配图、标题——变不变都不说明问题，改一次的成本几乎为零。上一次用这套方法对照两版基准报告的时候，结论是三类字段一格未动，那份材料是重发不是更新。这次不一样。

这次是名单动了，工作量没动

把三类字段套到这三份名单上，结果很清楚：名单类剧烈变动（重合度2.8%），分布类明显变动（行业数18到19、行业名改名拆分、整体奖21到4），而工作量类一格没动——400多家、平均500多条、两万多小时、275000多个分数，2024和2025两版完全一样。

这个组合有点特别。如果真的重新评测了一轮，工作量类应该跟着涨，哪怕只涨一点。如果什么都没做，名单不该换血九成半。两者同时出现，最可能的解释是：底层评测数据没有大规模刷新，变的是从这批数据里挑人的规则。

这个推论没法百分之百确认，因为外部看不到底层数据。但它指出了一个应该被问的问题——而不是接受“今年这些公司做得更好”这个默认解释。

被引用的时候，这些全都不见了

一份榜单被引用进竞品分析表的时候，带过去的通常只有公司名和“前1%”三个字。年份有时候带，行业名偶尔带，终端几乎从来不带，格子里有几家候选从来没人问过。

更要命的是跨年引用。有人会说“这家连续两年拿了行业前1%”，听起来分量很重，实际上两年的行业名可能不一样、格子里的候选可能不一样、整体奖的口径可能不一样。把竞品分析表做成能落地的行动清单的前提，是表里每一格的口径都经得起追问。

这跟孤岛页面检测的抽样口径决定你看到的孤岛是真是假是一个道理：口径不写清楚，结论就是不可复现的，而不可复现的结论不能拿来排优先级。

把这一节收成一句话

一份榜单跨年可比的前提，是名单类、工作量类、分布类这三类字段有据可查。查下来如果只有名单在动，那么变的很可能不是被评的对象，而是挑人的规则。反过来，如果三类字段全都稳定，那这份榜单的跨年比较才真正立得住。

这不是说这份榜单没价值。单年的名单仍然是一份有用的参考——它至少告诉你在某一格里谁做得不错，值得打开看看。它只是不能用来做趋势判断，不能说“某某连续三年入选所以最稳”。当年度快照用没问题，当趋势线用就不行。从竞品差评里挖差异化反而更稳，那批材料是连续产生的。

接下来要问的是第三个问题：如果连续两版的工作量数字一字未改，那么这些数字到底是每年重新算出来的，还是从上一版复制过来的。这个问题有一个很干脆的判别方法。判别方法很土：把两版的那几句话并排放在一起，逐字看过去。

工作量的四个数一年一格没动，是没重做还是没重写？

把两版的开头段并排放

2024年那版开头写着：进入评选的400多个电商网站，每一个都被人工按500多条体验准则打过分，这个过程需要超过两万小时的审计工作量。2025年那版写着：进入评选的400多个电商网站，每一个都被人工按平均500多条体验准则打过分，这个过程需要超过两万小时的审计工作量。

两句话摆在一起，差别只有“平均”这两个字。400多、500多、两万小时，三个数一个都没动。再往下一段，两版都写着“基于超过275000个加权体验分数”，也是一字不差。三处能对上的地方全都对上了，剩下的差异只有那两个字。

这种对照做起来非常简单：两个页面各自复制一段，粘进任何一个文本比对工具，差异会自己标出来。整个动作不超过五分钟，而它能回答一个单看一版永远回答不了的问题——这些数字到底是每年重算的，还是沿用的。这个动作最适合放在读正文之前，把搜索结果页存成可对账的时间资产用的是同一套思路：先留档，再比对。

四个数字零改动，三处措辞小改动

逐字比对的结果是：两版之间一共只有三处改动。第一处，“18个行业”改成“19个行业”。第二处，“500多条准则”前面加了“平均”两个字。第三处，“今年我们扩大了候选池”改成了“今年同样，候选池包括”。

除此之外，句式、语序、标点、链接位置全都一样。连“更多方法说明”那个链接放在哪个括号里都没变。这是一份被复制粘贴然后局部微调过的文本，不是重新写的一段。

文本被复用本身完全正常，年度稿件沿用上一年的模板是行业惯例，谁都这么干。真正需要注意的是：被复用的不只是句子，还有句子里的数字。而数字被复用，读的人是看不出来的。措辞是今年写的，数字可能是去年的，混在一起没有标记。只改修改日期不改内容的假更新是这件事的另一个版本。

唯一动了的数字是行业数

18改成19，这是两版之间唯一变动的数量。它跟名单是对得上的——2025年确实出现了19个不同的行业名。所以这个数是真的重新数过的，不是沿用的。

有意思的是，一个新增的行业叫“房产”。这个行业不在这家机构公开的32个行业分类里，也就是说它是为了某一家公司新开的格子，而那家公司恰好又不在公开的站点名单里。一个新格子被开出来，同时被一家外部查不到的公司填上，这两件事发生在同一年。

一个新增的行业、一家不可查的公司、一个新增的“该行业前1%”。三件事凑在一起，18变19这个改动就有了具体的形状。它不是抽象的扩容，是一个格子被新开出来，然后立刻被填上了。从18到19这一格的距离，正好是一家公司的宽度。

2023年那版给的全是精确数

回头看2023年那版，风格完全不同：234个站，215000个加权分数，500到680条准则，10000小时。四个数里三个是精确值，一个是区间，没有一个带“多”或者加号。精确值意味着有人真的数过，也意味着数错了会被人发现。

234这个数是可以数的。如果有人愿意，可以去把那份站点名录拉出来数一遍，看是不是234个。区间同样是可以检验的——只要找到一个被打了700条的站，“500到680”这个说法就被推翻了。

换句话说，2023年那版把自己置于一个可被证伪的位置上。这在公开材料里是需要一点勇气的，因为写下一个精确数意味着承担被人挑错的风险。

2024年起，精确数全变成了带加号的下限

到了2024年，234变成“400多”，215000变成“275000多”，10000变成“两万多”，“500到680”变成“500多”。四个位置，四次同样的转换：精确值或区间，一律换成带加号的下限。

下限值有一个非常特别的性质：它几乎不可能被推翻。“超过400家”这句话，只要实际有401家就成立，有4000家也成立。你没办法通过任何观察证明它是错的，除非能证明实际不足400家，而这需要拿到内部名录。

更关键的是，下限值永远不会过期。今年“超过两万小时”成立，明年只要没减少，这句话还是成立的，后年也是。一个带加号的数字可以原地不动地放很多年，而每一年它都是对的。

从精确数到下限数，是一道单向的门

这个转换一旦发生，通常就不会退回去了。原因很简单：写成精确值要承担核对成本和被挑错的风险，写成下限值两样都没有，而对外传播的效果几乎一样，甚至更好听。

没有哪个团队会主动从“超过400家”改回“402家”，因为这么改只有坏处没有好处。这是一条单向的门，走过去就不会回来，除非有外部压力逼着它回来。

所以在做材料核对的时候，值得专门看一眼：这家机构的早期版本有没有给过精确数。如果给过，那个早期版本往往是整条材料链里信息密度最高的一份，哪怕它已经旧了几年。越早的版本越敢给具体数。新鲜度机制会奖励更新，这个激励反过来也在鼓励把数字写得更耐放。

两万小时和一万小时之间

2023年写10000小时，2024年写“超过20000小时”，翻了一倍。这个变化是真实发生的还是口径变了？没法确认，但可以从别的数推一推。

2023年234个站、每站500到680条准则，取中位数590条，总打分次数约138000次。2024年“400多个站”、每站“500多条”，取500条算，总打分次数约200000次。打分次数涨了45%，工时涨了100%。

工时涨得比工作量快一倍，可能是因为新增了更复杂的评测项，也可能是因为2023年那个10000小时本身就是保守估计。两种解释都合理，页面上没有任何说明。评分类工具的数字该怎么看，第一条就是别拿两个不同年份的口径做增长率。

“超过”这个词，改变的是举证责任

“我们评了234个站”这句话，举证责任在说话的人身上——如果有人质疑，得拿出名录来。“我们评了超过400个站”这句话，举证责任转移到了质疑的人身上——你得证明不足400，否则这句话就站着。

这个转移不是文字游戏，它是实实在在的。在商业材料里，一个不可证伪的陈述和一个可证伪的陈述，法律风险和公关风险完全不在一个量级上。

作为读的人，能做的是给这两类陈述打上不同的标记。可证伪的数字可以进你的分析表，不可证伪的数字只能进你的印象里。进表的必须能被复核，进印象的只能用来判断量级。两类数字混在同一张表里，是分析出问题最常见的起点，把指标收敛到一份可信来源之所以难，一大半原因在这。

这跟“数据是哪年测的”是同一个问题吗

不完全是。上一次讨论行业基准报告只印发布日期不印观测日期的时候，问题出在时间维度：一份两年前的快照因为被重新发布一次，看起来像刚拍的。那次的结论是，被重新发布的是页面，不是数据。

这次的问题在可核性维度：一个数字从精确值变成下限值之后，它既不会过期，也不能被核对。前者是“你不知道它是什么时候的”，后者是“你没办法知道它是不是真的”。一个数字同时具备不会过期和不能被核对这两个性质，它就变成了一个永久有效的装饰。

两个问题会叠加，而且叠加之后特别难缠：一个带加号的数字，被沿用了两年，你既查不出它是哪年算的，也查不出它准不准。这时候唯一能做的是找它的早期版本，看那时候有没有给过精确数。找到了就用早期版本的数，找不到只当量级参考。仪表盘全是绿灯生意却没动，往往就是不同源的数字被拼在了一张看板上。

三类字段的判别法，这次给出了不同的答案

上一次用名单类、工作量类、分布类三类字段判别一份材料是“更新”还是“重发”，那次的结论是三类全没动，所以是重发。这次的结果是名单类和分布类都动了，工作量类一格没动。同一套判别法用在两份材料上给出了两种诊断。企业级SEO审计框架也强调结论要能追溯到具体检查项，而不是一个总评。

这个组合指向的是第三种情况：底层数据大概率没有大规模重做，但从这批数据里挑人的规则重新设计过。既不是纯粹的重发，也不是完整的更新，介于两者之间。换句话说，重做的不是评测，是分组。

判别法给出的不是一个是非题的答案，而是一个方向。它告诉你该往哪里追问，而不是替你下结论。三类字段的价值在于它能把“我觉得不太对”变成“这一类字段没动而那一类动了”。

为什么工作量类特别值得盯

名单类会因为很多原因变动，包括正常的业务变化，所以它变了不一定说明什么。分布类的变动通常有明确的产品理由，比如新开一个行业，也不算异常。

工作量类不一样。它描述的是“我们今年干了多少活”，如果真的重新干了一轮，这个数字没有理由跟去年一模一样。哪怕只是从两万小时变成两万一千小时，也说明有人重新算了一遍。工作量是三类字段里唯一一个不重做就不可能变的，所以它变不变最能说明问题。

一字不改，最可能的解释是这段话被整体沿用了。沿用一句话不算什么，沿用一句话里的数字，等于让去年的工作量替今年的工作量背书。这才是需要被看见的那一层。而背书这件事一旦发生，读的人是完全察觉不到的。

三份材料要一起看才有用

这一整节的所有结论，都依赖一件事：三年的版本都还能打开。如果2023年那版被删掉或者被覆盖成2025年的内容，“精确数变成下限数”这个转折就永远不会被发现。材料链的完整性，往往比材料本身的质量更决定你能查出什么。

所以看到一份年度材料，第一件事是搜一下有没有往年版本。搜法很简单：把网址里的年份改一改，或者在站内搜同名标题。这家机构三个版本的网址分别以无年份、2024、2025结尾，规律一眼就能看出来。

找到往年版本之后，重点不是读它，是拿它跟当前版本做逐字对照。用文本比对的方式看两份材料的差异，比通读两遍快得多，也不容易漏。

这不是在指控谁复制粘贴

再强调一次：年度稿件沿用模板是完全正常的做法，任何一家持续产出内容的机构都这么干，包括做得非常规范的机构。把上一年的稿子拉出来改几个字，是效率，不是懒惰。换成任何一家按年发年度总结的机构，做法大概率都一样。给工具栈做年度审计时翻自己去年的记录，多半也有沿用痕迹。

问题不在于复制粘贴这个动作，而在于复制粘贴之后，那些数字看起来仍然像是今年的。读的人没有任何线索能分辨哪些数字被重算过、哪些被沿用了，因为页面上只有一个日期，就是发布日期。一个日期承担了两件事：这段话是什么时候发的，和这些数字是什么时候算的。

这是一个结构性的缺口，不是某一家的疏忽。任何按年发布的材料都有这个缺口，区别只在于有没有人去做那次逐字对照。

把这一节收成一句话

看到一份带年份的材料，先把往年版本找出来，把工作量类的数字并排放一遍。全都一模一样，就说明这一段话被整体沿用了，那些数字不能当作“今年的工作量”来引用。

再看这些数字是精确值还是带加号的下限。如果早期版本给的是精确值、近期版本变成了下限，那么早期版本反而是更值得引用的那一份，尽管它更旧。

问完时间和工作量，还剩最实际的一问：这份名单里有多少家是你能自己打开、自己核对的。这一问的答案，往往比前面所有问题的答案都更能决定这份材料能不能用。

名单里有几家是你自己能打开核对的？

把获奖名单和公开站点名录对一遍

这家机构有一个公开的体验基准页，上面列着它评测过的电商站，每一家都有一张卡片，写着行业和被拆解的页面设计数量，点进去还有完整的案例研究。这份名录是公开的，不需要登录，任何人都能一家家看过去。

把2025年那51位获奖者的名字，跟这份公开名录做个交集，结果是40家能对上，11家对不上。对不上的意思是：这家公司拿了“某某行业前1%”，但你在这家机构的公开名录里找不到它，也看不到它的案例研究和分数。

这个比对花了不到十分钟：名录页复制下来，名单页复制下来，把国家后缀和大小写统一一下，跑个集合运算。比对本身没有任何技术含量，难的是想到要做这一步——大多数人拿到榜单只会看谁上榜了。真正的门槛不是技术，是有没有人想到把两份名单放在一起。B2B买家先问AI再做决定那件事里，进不进得了名单也取决于一份看不见的清单。

11家不可核的公司，拿了14个奖

这11家里有几家拿了不止一个奖。逐条数下来，它们一共占了14个“前1%”标签，而全部标签总数是55个。也就是说这份榜单上25.5%的奖项，外部无法用任何公开材料复核。

四分之一。这个比例不算小，尤其考虑到榜单本身的定位是“表彰顶尖1%”。当一个荣誉体系里有四分之一的获奖者查无实据，剩下四分之三的可信度也会被连累，因为你分不清手上这条属于哪一类。

更实际的影响是：如果你想照着榜单上的某家去学，恰好挑中的是这11家之一，那么你既看不到它的评分明细，也看不到它被拆解过的页面截图，能拿到的只有一个公司名和一句“前1%”。学什么、从哪学，全靠自己猜。猜的结果往往是照着看得见的那部分抄。看清AI在引用哪些域名之所以值钱，就是把一份看不见的名单变成了可数的。

不可核的原因写在页面上

页面自己交代了原因：候选池里除了公开基准的站点，还包括购买过体验审计服务的客户，只要这些客户的表现达到或超过基准站点，也可以参评。而客户的数据按保密协议不对外公开。

这个安排本身完全说得通，甚至可以说是必要的。客户花钱做审计，评测结果属于商业机密，机构没有权利把它挂出来。要求把客户数据公开是不现实的，也不合理。

问题不在于该不该保密，而在于保密的那部分和公开的那部分被混在同一份名单里，用同样的措辞、同样的排版发布，读的人分不出来。如果名单上给这11家加个标注，说明“该站数据不公开”，整件事的性质就完全不同了。成本是11个脚注。

房产这个行业，两头都查不到

2025年名单里有一条特别值得看：某家房产信息平台拿了“房产行业桌面端、移动端和App端前1%”，一口气三个终端全拿。这是名单里唯一一家三端通吃的公司。

然后去查这个行业。这家机构公开的行业分类一共32个，从服饰配件到宠物食品，从航班机票到在线学习，覆盖面很广，但里面没有“房产”。这个行业在它的公开体系里不存在。一个不在自己公开分类体系里的行业，是怎么产生出一个行业前1%的，页面上没有说明。

再去查这家公司，它也不在那份公开名录里。一个不在公开分类里的行业，一家不在公开名录里的公司，一个三端全拿的“前1%”。这条记录从头到尾没有任何一个部分可以被外部验证。

这条记录说明了什么，又没说明什么

它不说明这家公司体验做得不好，也不说明这个奖是编的。最可能的情况非常平淡：这是一家购买了审计服务的客户，评测确实做了，成绩确实不错，为了给它归类临时开了一个行业。

它说明的是另一件事：当一个格子可以为某个具体对象临时新开的时候，“该格子里的前1%”这个说法就失去了约束力。格子是后开的，里面只有一家，那么这家必然是第一名，也必然是“前1%”。

这不是阴谋，是流程的自然结果。任何按格子发奖的体系，只要格子的划分权在发奖方手里，就会有这种情况。区别只在于外部能不能看出来——这次能看出来，是因为公开的行业列表恰好也在同一个网站上。大多数榜单不会公开自己的分类体系，所以这类情况通常查不出来。页面上的结构化字段能被一次扒清，榜单的分类体系却没有对应的扒法。

公开名录自己也有个小对不上

那个基准页的大标题写着“335个顶级电商站按体验表现排名”。但把页面上的案例研究卡片一张张数下来，实际是334张。差一张。

334和335的差别当然无关紧要，可能是某个站的卡片渲染失败，可能是名录里有一家暂时下架，也可能是标题写的时候多算了一个。这一条本身不值得追究。

值得记下来的是这个动作本身：标题上的总数和实际能数出来的条目数，值得数一遍。大多数时候两者一致，偶尔不一致，而不一致的地方往往指向一段没写出来的说明。这个动作的成本是一次滚动加一次计数。

334张卡片能加出一个官网没有的数

每张卡片上都标着这个站被拆解了多少个页面设计，比如某家综合零售是90个，某家电子产品站是80个，某家软件公司只有18个。把334张卡片的数字全加起来，得到14504。

这个数在官网任何一个地方都找不到。均值43.4，最少的11个，最多的99个，跨度接近九倍。跨度这么大是合理的——一个有全套结账和会员体系的综合商城，能拆的页面本来就比一个只有订阅流程的软件站多得多。有了这个基数，以后任何关于拆解量的说法都有了参照。按页面模板抽样做电商SEO审计同样依赖准确的基数，基数错了比例全错。

加总值的意义不在于它是多少，而在于它可以被用来交叉验证别的数字。如果哪天这家机构说“我们拆解了两万个页面设计”，你手上就有一个可以对照的基数了。上一次手工加总卡片上的条目数也是这个思路，加总值往往是整份材料里最硬的那个数。

App端的覆盖率只有14.1%

那334张卡片还标着每个站被评了哪些终端。数下来：有桌面端的326家，有移动网页端的334家，而有App端的只有47家。47除以334等于14.1%。

三个终端全齐的只有39家，占11.7%；只做桌面和移动网页、没有App的有287家，占86%。也就是说App这个终端，在公开的评测体系里是个很小的补充，不是主战场。

而2025年的奖项里，带App的标签有8个。8个“App端前1%”，背后的公开候选池是47家。47家的1%是0.47家，四舍五入是0家。严格按字面算，App端根本不该有任何一家能拿到“前1%”。

8个App奖里有3个来自不可核的公司

再往下拆一层：这8个App相关的标签里，有3个属于那11家查不到的公司。剩下5个属于公开名录里的站，其中包括一家服饰品牌、一家快餐连锁、两家连锁超市。也就是说八分之三的App奖，来自外部完全看不见的那部分。

把两件事叠在一起看：候选池47家，其中拿奖的至少5家来自公开名录，加上不可核的部分，实际获奖率相当高。这跟“App端体验的顶尖1%”这个描述之间的距离，比行业奖那边还大。

这一层不需要指控任何人，它只是提醒一件事：越是覆盖率低的维度，那一格里的“前1%”越接近“参评了就有奖”。而覆盖率这个数据，需要自己去数才知道。数覆盖率的成本是把终端标注抄一遍，半小时能做完。让AI帮着做审计有三个前提，其中一条正是先确认数据覆盖。

柏林原则里有两条正好管这个

那份16条的排名原则，第11条要求“尽可能使用经过审计和可验证的数据”，理由写得非常直白：这类数据的好处包括它们已经被被评对象认可，而且在不同机构之间是可比、可兼容的。

第12条更狠一点，要求“纳入按科学的数据采集程序收集的数据”，并且明确写着：从不具代表性或有偏的子集中采集的数据，可能无法准确代表一个机构，应当予以排除。47家撑起的App端排名，恰好落在这条的射程里。

这两条不是法规，没有强制力，谁也不会因为违反它们被罚款。但它们提供了一套现成的提问框架，而且是二十年来这个领域里最被广泛接受的那一套。用它来对照一份商业榜单，比自己临时想问题靠谱得多。

金融监管里有一条真正带牙齿的规定

比原则更硬的是法条。美国证券交易委员会管投资顾问广告的营销规则里有专门一款讲“第三方评级”：广告里不得出现任何第三方评级，除非同时满足两个条件。

第一个条件是，投资顾问要有合理依据相信，用于准备这份评级的问卷或调查，其结构让参与者提供正面和负面回答同样容易，并且没有被设计成产出某个预定结果。这一条管的是评级工具本身有没有被做偏，跟评级结果好不好没有关系。换句话说，就算最终名次完全公正，只要问卷被设计成容易得出正面回答，这条评级就不合规。

第二个条件是清晰而显著地披露三样东西：评级作出的日期以及评级所依据的时间段、创建和统计该评级的第三方的身份、以及如果适用的话，该顾问是否为获得或使用这份评级直接或间接支付过报酬。三样，缺一不可。三样里最容易被省略的是第一样，也就是时间。

那三项披露，正好是读榜单的三问

把这三条翻译成日常语言：这份评级是什么时候做的、覆盖哪段时间；是谁做的；被评的人有没有给做评的人钱。三个问题，任何一份行业榜单都适用，跟金融没关系。

拿来对照本文这份榜单：第一问答案是发布日期有、依据的时间段没有。第二问答案清楚，是这家机构自己。第三问最有意思——候选池里明确包含付费审计客户，也就是说确实存在“付过钱的参评者”，而且这一点写在页面上，只是从来不会跟着标签一起流传出去。

需要说清楚的是：付费客户参评不等于花钱买奖，这两件事之间隔着很远。审计服务卖的是评测和建议，不是名次。但按金融业那套标准，“存在付费关系”本身就构成一个必须披露的事实，跟它有没有影响结果无关。

为什么金融业要管到这一层

因为投资顾问拿着“某某榜单前1%”去招揽客户，投资者据此把钱交出去，损失是直接的、可计量的、可诉讼的。监管的逻辑很朴素：既然这个标签会影响别人的钱包，那它的来历就必须写清楚。

电商体验榜单不涉及这么直接的资金流向，所以没有对应的监管。但影响链条其实是类似的：一家公司照着榜单上的对象改自己的产品，投入的是几个月的排期和几个人的工时，这笔钱同样是真的。排期和工时不会出现在任何一张财务报表上，但它们同样是花掉的钱。

差别只在于没人替你把关，所以这三问得自己问。自夸式榜单被搜索引擎点名那件事之后，很多人开始注意榜单的利益关系，但注意力大多停留在“这是不是软文”，而不是“这个标签的分母是什么”。分母这个问题比利益关系更基础，它连有没有利益关系都不用问就成立。挑反链分析工具也是先看索引库覆盖多少，再看功能。

可核性是分层的，不是有或没有

把这一节的账收一下。这份榜单的可核性可以分成四层：能查到公司名的51家，能在公开名录里找到的40家，能看到案例研究和分数的40家，能看到具体评了哪些页面的也是这40家。分层之后你会发现，可核性不是这份榜单的短板，短板在标签的表述上。

第一层到第二层掉了11家，占21.6%。后面几层没有再掉，说明公开的那部分做得相当完整——这一点应该给出正面评价，很多榜单连第二层都到不了。

做核对的时候，把每一条记录标上它属于第几层，比笼统地判断“这份榜单可不可信”有用得多。可核和不可核可以混在一份名单里，你要做的不是整体接受或整体拒绝，是逐条分类。

把这一节收成一句话

拿到一份榜单，第一步不是看谁上榜，是数一数上榜的对象里有多少家你能自己打开、自己核对。这个比例比榜单的名气重要得多，也比它的方法论描述重要得多。名气大的榜单反而更容易被引用得草率。五个维度打出来的一百分制审计分也一样，分数越像模像样，越少有人看判定规则。

核不了的那部分不必全盘否定，但要单独标出来，不要让它跟可核的部分混在一起进你的分析表。分析表里每一格都应该能追溯到一个可以打开的页面，追溯不到的那些格子，写上“未公开”三个字。未公开这三个字写出来，比留空强，因为它记录了你确实查过这件事。

问完可核性，还剩最后一个技术性的问题：这些被加起来的分数，加法这一步本身站不站得住。这个问题听起来很学究，但它决定了那个总分能不能当尺子用。

把一个个打分加起来算总分，这一步在计量上成立吗？

275000个分数是被加起来用的

这份榜单的每一句方法说明里都写着，奖项“基于超过275000个加权体验分数”。加权两个字说明这些分数不是简单堆在一起的，是乘上系数之后再汇总的。汇总之后得到一个综合表现值，站与站之间靠这个值排序，排在前面的拿奖。

这个流程听起来天经地义，几乎所有评分体系都这么干。给每一条准则打个分，按重要性配个权重，加起来得总分，总分排序出名次。做过评分模型的人闭着眼睛都能写出这套逻辑。正因为太熟悉，这套流程里的一个前提几乎从没被检查过。七维度加权模型把选词变成可排序的数字用的就是它，好用的前提是只拿它排序。

但是加权求和是一个代数运算，它对参与运算的数有要求。不是所有能写成数字的东西都能相加，这一点在计量学里有非常明确的界定，而且界定得比大多数人想象的严格。这个要求不是学究式的讲究，它决定了算出来的数能不能被拿去做比较。

计量学里有一类量，叫序量

国际计量学词汇给“序量”下的定义是：一种由约定的测量程序所定义的量，它可以按大小与同类的其他量建立全序关系，但这些量之间不存在代数运算。定义很短，关键在最后半句。定义里那句“不存在代数运算”，直接否掉了加法。

能排序，不能做代数运算。也就是说你可以说甲比乙大、乙比丙大，但你不能把甲和乙加起来，不能算甲乙之差，也不能说甲是乙的两倍。这些操作在序量上没有意义，不是不精确，是根本没定义。

词汇表在这条下面还补了一句注释：序量只能进入经验关系，既没有测量单位也没有量纲，序量之间的差和比没有物理意义。这句话是本文里最该被划下来的一句。差和比这两样，恰恰是所有对标动作最常用的两种运算。

它举的四个例子，很有意思

词汇表给序量举了四个例子：洛氏C标度硬度、汽油的辛烷值、里氏震级的地震强度、以及零到五级的主观腹痛程度。前三个是工程和地质领域的标准量，第四个是医学问诊里的疼痛自评。四个例子横跨材料、化工、地质和医学，覆盖面这么广不是偶然。

把这四个放在一起看，能看出一个共同点：它们都是“按一套约定的程序，把某种性质映射到一个数轴上”。映射之后数看起来很正常，可以比大小，可以画图表，可以做统计。

但没有人会把两次地震的里氏震级加起来说“总共发生了11.2级地震”，也没有人会把两个病人的疼痛等级相加。这两件事的荒谬是直觉可见的。而把两个页面的体验评分加起来，荒谬程度完全一样，只是不那么直觉可见。

里氏6级不是3级的两倍

里氏震级这个例子特别值得展开，因为它是最多人搞错的一个。里氏6级地震释放的能量大约是3级的三万多倍，不是两倍。差值3在这个标度上不代表任何固定的物理量。三万多倍和两倍之间的差距，就是把序量当可加量用的代价。

辛烷值也是同样的道理。95号汽油的抗爆性不是90号的1.056倍，这两个数之间的差值5也不对应任何固定的性能差距。数字只是标签，标签之间的间距不承载任何信息，这一点在所有序量上都成立。

体验评分的处境跟它们一样。一个站得80分、另一个得40分，不代表前者的体验是后者的两倍好，甚至不代表前者比后者好两个“单位”，因为这个尺子上根本没有单位这回事。没有单位就没有比例，没有比例就不存在几倍好这种说法。

体验准则的打分是什么类型

一条体验准则的评判通常是这样的：这个站的商品页有没有在图廊里放尺寸对照图，有没有把配送时效写在加购按钮附近，筛选器有没有支持多选。答案基本上是“有、没有、部分有”三档。三档之外偶尔还有不适用，那种情况直接不计入分母。

三档打分本身是个非常合理的做法，简单、稳定、不同的人评出来结果一致性高。这也正是能进入评分表的准则必须是不认识你的人也能判对错的那种的原因。三档是可判定性的产物。换句话说，为了让不同的人评出一致的结果，评判方式必须简化到三档。

问题出在下一步。把几百个三档判断加起来，得到的那个数究竟是什么？它是“符合的条数”的一种加权计数，而不是“体验好坏”的度量。计数和度量是两回事，前者能加，后者不一定能加。把计数当度量用，是评分体系里最常见也最难察觉的一步跳跃。

加权让事情更复杂了一层

如果只是数“符合了多少条”，那还好说，计数是可以相加的，加出来的数有明确含义。但一旦给每条准则配上权重，事情就变了——权重是根据“这一条有多重要”人为设定的，而“重要程度”本身也是个序量。两个序量相乘，结果在计量上没有任何定义可言。

用一个序量去乘另一个序量，再把结果加起来，得到的东西在计量上很难说清是什么。它不是没有用，它在实践中确实能区分出好坏，问题是它得出的那个数不能被当成一个可以做算术的量值来对待。

这跟把向量相似度0.89当成内容对齐程度是同一类错觉：一个数被算得很精确，精确不等于准确，更不等于它可以被拿去做减法和除法。

那这个总分还能不能用

能用，但用法有边界。它可以用来排序——这正是序量被定义出来的用途，排序是序量唯一被允许的操作。所以“这个站排第几”是一个有效的结论。

它不能用来做差值比较。“我们比行业头部低了23分”这句话没有意义，因为23这个差值不对应任何具体的东西。同理，“提升15分”作为一个目标也是空的，你不知道15分是三条准则还是三十条。把没有单位的差值写进目标，等于给团队一个无法验证是否达成的指标。用六维量表给内容打分定级时，级别之间的距离同样不该被当成可加的。

它也不能跨体系比较。两家不同的机构各自打出的体验分，哪怕都是百分制，也不能放在一起说谁高谁低。序量的数值只在它自己那套约定的程序内部有意义，离开那套程序就是一串没有单位的数字。

把序量当成可加的量，会得出什么样的结论

最常见的一种是“我们只要补齐这30条准则，分数就能追上对手”。这个推理默认每条准则的分值是可加的、独立的、等价的，而这三个假设通常都不成立。

第二种是“行业平均分是62分，我们68分，已经高于平均”。平均值对序量来说是个可疑的统计量，因为求平均需要做加法和除法，两个操作在序量上都没有定义。行业平均分这个说法到处都是，很少有人追问它怎么算的。可读性分数背后有六个不同公式，换一个公式同一篇文章的等级就变了。

第三种更隐蔽：把不同年份的总分画成折线图看趋势。如果中间准则集变过、权重调过，这条折线上的每个点都来自不同的尺子，连起来的那根线不表示任何东西。折线图说服力极强，也最容易掩盖口径变动。把可见性拆成七个维度之后再看趋势，比盯一个总分靠谱。

可比性在计量学里有个严格定义

同一份词汇表里还有一条叫“测量结果的计量可比性”，定义是：对于给定类别的量，其测量结果可溯源到同一参照时所具有的可比性。关键词是“同一参照”。

它举的例子是：地球到月球的距离和巴黎到伦敦的距离，这两个测量结果是可比的，因为它们都可溯源到同一个测量单位，也就是米。距离差着十几个数量级也没关系，可比性跟量级无关，只跟参照有关。这个例子选得很妙：两个量级差得极远的距离，照样是可比的。

反过来说，如果两个结果溯源到不同的参照，那它们再接近也不可比。这条定义把“可比”从一个模糊的感觉变成了一个可以检查的条件：找出参照，看是不是同一个。一个能被检查的条件，价值远高于一句听起来正确的原则。

三年三套准则集，参照不是同一个

把这条用到那三份名单上：2023年的评测用500到680条准则，2024年用500多条，2025年用平均500多条。这三套准则集是不是同一套？页面没说，但从条数的写法变化看，至少口径变过。从区间到“多”再到“平均多”，写法变了三次，本身就是信号。

更明确的证据是分数总量：2023年215000个，2024和2025年275000个。总量变了28%，说明参照体系确实动过。既然参照不同，那么三年的分数结果按定义就不可比，跟每一年评得多认真无关。分数总量是最难造假也最能反映参照变动的一个数。

这条推论的好处是它不依赖任何内部信息。你不需要知道准则具体改了哪几条，只需要知道“参照变过”这个事实，就足以判定跨年比较无效。可比性是个前置条件，不满足就不用往下算了。

参照本身还必须带时点

词汇表讲“计量溯源性”的时候有一条注释写得特别到位：对参照的说明必须包含该参照在建立校准链时被使用的时间，以及关于该参照的其他相关计量信息，比如校准链中第一次校准是何时做的。尺子的版本号和被测对象的时点，是两个独立的时间。

翻译过来就是：说清楚你用的是哪把尺子还不够，还得说清楚那把尺子是什么时候的版本。同一套准则集，2023年版和2025年版可能条目数一样、名称一样，内容却改过。

这就跟数据的观测时点接上了。上次讨论的是被测对象的时点，这次是尺子本身的时点。两个时点都不写在标签上，而只要有一个对不上，比较就不成立。两个时点里，尺子那个更隐蔽，因为它连一个日期都不会出现。

这不是在挑学术上的刺

有人会说：一份商业榜单不需要满足计量学标准，用户又不是在做物理实验。这个反驳有道理，绝大多数商业评分体系都不满足这些条件，照样在被广泛使用，而且确实有用。

计量学定义的价值不在于给榜单判死刑，在于给你一套现成的语言，把“我总觉得这个比较不太对”说清楚。说清楚之后，讨论才能从感觉层面进到具体层面。

而且这套语言是可操作的：找参照、看是不是同一个、看参照有没有带时点。三步查完，你就知道手上这两个数能不能放在一起，这比争论“这份榜单权不权威”有用得多。

什么时候必须较这个真

做内部汇报、给团队看个大概方向，不用较真，序量拿来排序完全够用。真正需要较真的场合有三个：把分数写进考核指标、把分差写进立项理由、把跨年趋势写进战略判断。前一类出错代价很小，后三类很大。关键词优先级用六维度三档矩阵定，就是为了避免把综合分直接当排期依据。

这三个场合的共同点是，那个数字会驱动资源分配。一旦有人根据“我们比对手低23分”批下三个月的排期，那23分就不再是一个参考值，它变成了一笔钱的依据。从参考值变成花钱的依据，这个转变通常没有任何人宣布过。

这时候就必须回答：这23分是怎么来的、它对应多少条准则、这些准则里有多少条是我们真该做的。拆解一个综合评分是怎么算出来的，本质上就是把序量还原回它背后的那些可判定的条目。还原到条目之后，讨论的对象就从一个数变成了一张待办清单。

还原回条目，是唯一靠谱的用法

一个体验总分最有用的地方，从来不是那个数本身，而是它背后那张明细表。明细表上写着哪些准则符合、哪些不符合，每一条不符合的都是一个具体的、可执行的待办。明细表的每一行都指向一个具体页面上的具体位置。

拿到明细表，总分就可以扔掉了。你需要的是那几十条“不符合”，以及判断这几十条里哪些跟你的业务真的相关。这个判断没有任何评分体系能替你做。相关性判断依赖你对自己业务的了解，这恰恰是外部评测最缺的。技术SEO一堆问题先修哪个，最终也是按业务影响排。

总分的作用是让你决定要不要打开明细表，明细表的作用是让你决定要做什么。把这两件事的顺序搞反，就会出现“为了提分而提分”的项目，那种项目通常做完了没人说得清收益在哪，因为提上去的那几分本来就不对应任何具体的用户行为。

榜单方其实也知道这一点

值得公道地说一句：这家机构的公开材料里，案例研究页面给的恰恰就是明细——哪个页面被拆成了几个设计、每个设计上标注了什么问题。这部分内容的质量相当高，远比那个名次有用。把最有价值的部分放在明细里，是这家机构做得对的地方。

换句话说，它自己也把重心放在明细上，那个总分和名次更多是一个入口和一个传播抓手。真正被过度使用的是标签，不是研究本身。

这也是本文一路强调的：问题几乎从来不出在原始材料上，出在标签脱离原始材料之后独自旅行的那一段。原始材料越扎实，脱落下来的标签传得越远，这两件事是成正比的，也是这类误读最不公平的地方。

把这一节收成一句话

体验评分是序量，能排序，不能做加减乘除。总分可以用来决定要不要细看，不能用来算差距、算平均、画跨年趋势线。

要判断两个分数能不能比，就查一件事：它们溯源到同一个参照吗，那个参照有没有标明是哪个时点的版本。两问都过才能比，有一问不过就只能各看各的。

到这里，一份榜单该查的四件事都齐了：分母被切成了几份、数字之间对不对得上、名单能不能核实、分数能不能做算术。剩下的问题是，查完之后该怎么办。查完之后怎么办，比查出什么更决定这件事有没有价值。

拿到一份行业榜单，第一件事该做什么？

一个照着榜单改了三个月的团队

有个做跨境箱包和旅行配件的独立站，登机箱、托运箱、双肩包再加上收纳配件那一套，主要打北美和澳洲，客单价在80到400美元之间，团队十几个人，前端加运营一共不到六个。他们的移动端一直是短板，加购率比桌面端低一大截。

年初的时候，负责运营的同事在一份电商体验榜单上看到，某家同类目的品牌拿了“行李与旅行用品行业移动端前1%”。这条信息被截图放进了季度规划，配的结论是：既然同类目里人家做到了顶尖，那就照着人家的移动端商品页改一遍。

立项通过得很顺利，因为理由太硬了——“行业前1%”这五个字在会议室里几乎不会被质疑。两个人排了三个多月的期，把移动端商品页从图廊到规格表到加购区重做了一轮。立项理由越硬，事后越没人回头质疑它的来源。把SEO当产品做的一个好处，就是每个立项都要写清楚假设。

三个月之后，数字没怎么动

改版上线之后跟了六周。移动端商品页的跳出率降了几个百分点，这个是实打实的收益，页面确实做得比原来利落。但加购率一直在正负一个百分点里晃，六周下来看不出方向。跳出率和加购率是两个不同层面的指标，前者动了不代表后者会跟着动。

转化那条线也没什么变化。团队最初预期的是加购率能有个两三成的提升，因为对标的是“顶尖1%”，落差应该很明显才对。结果落差没有兑现成提升。预期落差没有兑现，通常意味着对标的前提出了问题，而不是执行不到位。

这时候的常规反应是继续改：是不是抄得不够彻底，是不是还有几个细节没跟上。第二轮方案已经在写了，写到一半被一件很小的事打断。

一个新来的运营想看细节，结果打不开

新来的运营想找那家对标品牌的完整案例研究，看看它的结账流程是怎么设计的，好把第二轮的范围划出来。她在那家机构的公开名录里搜了半天，没搜到。

换了几个拼法、去掉后缀、按行业筛，都没有。最后确认：那家品牌根本不在公开的站点名录里，它的评分明细、案例截图、页面拆解，外部一样都看不到。名单上有它的名字，别的什么都没有。查不到明细的对标对象，抄的其实是外部能看见的那层壳。B2B产品详情页那十四个模块能照着做，是因为每块都写清了它解决哪层疑虑。

顺手她又做了一件事：把公开名录按类目筛了一遍，看这一格里到底有几家。同类目的公开站点，一共4家。

那一格里只有4家

4家。加上可能存在的、不公开的付费客户，撑死了六七家。也就是说所谓的“行业移动端前1%”，实际上是在一个不到十家的小池子里选出来的第一名。把“不到十家里的第一名”和“四百家里的前1%”放在一起，差距一目了然。

把这件事讲给团队听的时候，最直接的反应是：“那这跟'我们同行里有一家做得还不错'有什么区别？”没有区别。这就是那句话的真实含义，只是它被写成了“前1%”。

更麻烦的是第二层：那家品牌的客单价是他们的三倍多，SKU数量差着一个量级，供应链和履约体系完全不是一个模式。在一个四家的池子里，“第一名”很可能只是“最不像你的那一家”。品类和客单价不匹配的对标，抄得越像偏得越远。商品列表页上那个每千克单价就是例子：欧盟规则下必须现算，别的市场照抄反而多余。

五份材料，四份是零

复盘的时候把能拿出来的证据摊开数了一遍。榜单本身，关于那家为什么好，零行具体说明。流量分析，改版前后无显著差异，零条可归因的结论。搜索后台，没有任何词的表现出现拐点。

A/B测试做过一轮，样本量不够，结果不显著，零条可用结论。样本量不够的测试跑出来的结果不能用这件事他们是知道的，只是当时已经改完了，测试更像是补个手续。补手续式的测试，在复盘时是最没有说服力的一类证据。

第五份材料是客服工单。翻下来发现，从某个季度开始，“两件行李能不能分开寄到两个地址”和“超重了会怎么算钱”这两类问题的出现频率一直在涨，涨了半年多。这是唯一一份不是零的材料，而当时没有人在固定看它。

真正在变的东西，榜单上一条都没有

多地址配送和超重费用预估，这两件事在那份体验榜单的准则体系里几乎没有对应的检查项。原因不难理解：评测的时候，被评的那批站没有一家在做这件事，没人做的事就不会被写成准则。评测体系覆盖的是当时的行业现状，覆盖不了还没走到的地方。物流跟踪页把用户踢到第三方站这类问题，就是在没人做的时候没人写进清单。

这就引出一个比“榜单口径不清”更狠的推论：一份基于同行现状编出来的清单，永远只包含已经有人在做的事。真正的空白地带因为无人可比，天然不会出现在任何一张对照表上。这条推论比口径问题更根本，因为它不是执行问题，是结构问题。

照着榜单改，能保证你不掉队，保证不了你能领先。这两件事的性质完全不同，而立项的时候它们经常被混成同一句话——“对标行业顶尖”。不掉队和领先，需要两套完全不同的输入材料。退换货政策页既做信任背书又吃售后流量这种打法，不会出现在任何一张同行对照表上。

改法很土，一个人两天

后来的做法很简单。一个运营用两天时间，把榜单上同类目的对象逐个打开，按当前状态重新看一遍，同时数清楚每一格里到底有几个候选。做成一张两栏表：榜单说的，和今天看到的。两栏表的价值不在于内容多，在于它逼着人把每一格的分母写出来。

这张表做完之后，最有价值的不是“哪一条基线移动了”，而是“这一格里有几家”这一列。因为它直接决定了每个标签该被读成“前1%”还是“这几家里最好的一家”。有了这一列，榜单在会议室里的说服力会回到它该有的位置。技术SEO做到满分却不涨的复盘里，缺的也是这样一列写明前提的备注。

保哥后来把这个动作固定在了立项流程里：任何以外部排名为理由的立项，必须在申请单上写清楚那个排名所在的格子里有几个候选。写不出来的，就写“未标注”，不设审批，不设校验，只看填没填。这一行加下去之后，用外部排名当理由的立项少了一半以上。

重扫之后，榜单一条都没错

两天扫完，结论有点出乎意料：那份榜单里跟他们相关的条目，一条都没有被推翻。每一条在它自己的口径里都是对的，那家品牌确实在那一格里表现最好，这一点没有任何问题。结论没被推翻，反而让这次重扫的意义更清楚。体验报告里那两条没给达标率的建议也是这样，不是错，是它到不了那一层。

变的只有一件事：每一条结论前面都多了一个限定语——“在四家里”。加上这个限定语之后，原本“必须追上的标杆”变成了“值得看一眼的同行”，优先级立刻往下掉了两档。四个字的限定语，抵得过三个月的排期讨论。用户连点五个筛选之后已经忘了自己选过什么，跟标签脱离限定语之后的处境很像。

团队当时问了一句：“那我们这两天不是白做了吗？”答案是：白做的不是这两天，是之前那三个多月。这两天是唯一一次用正确的分母重新读了一遍那份材料。

还有一笔没人算的账

那三个多月里，两个人的排期被占满了。同一时期真正该做的多地址配送和超重费用预估，一格都没往前挪，因为没有人手，也因为它没有一个“行业前1%”这样的立项理由。被占满的排期不会报警，它只是安静地把别的事往后推。用户扫完一屏一个都没点开在报表里等于没发生，机会成本的沉默程度是一样的。

这笔账不会出现在任何一张报表上。改版做完了，页面确实变好看了，跳出率也确实降了，从交付的角度看这个项目是成功的。失掉的东西没有名字，也没有归属人。

机会成本从来不出现在报表里，可它才是这类误判最贵的部分。一次选错对标对象的代价，不是改版白改，是同期该做的事没做。同期该做没做的事，通常要等到下一个季度才会以别的形式冒出来。

六个动作，按拿到成本和可执行性排

下面这六件事，全都不花钱、不需要埋点、不占开发排期。排序的依据是两个维度相乘：拿到成本有多低，以及结论能不能直接变成一个动作。六件事按这个顺序做，前面几件的产出会直接减少后面几件的工作量，顺序颠倒过来则会重复劳动。

第一件：数格子。把榜单上跟你同类目的对象逐个打开，数清楚公开可查的有几家。不到十家，就把“前1%”读成“本类目最佳”。二十分钟，排第一是因为它一次性决定了后面所有解读的前提，而且是六件里唯一一件关起门自己就能做完的。

第二件：标可核性。给榜单上每一条记录标一个记号，能打开案例研究的打勾，打不开的写“未公开”。半小时。这一件的价值在于它把一份名单拆成了两份，而这两份该用的方式完全不同。拆成两份之后，可核的那部分才是能拿去排优先级的。内容审计要在留改并删转之间做决策，同样是先分类再动手。

剩下四件

第三件：除一遍。数一数榜单上一共发了多少个标签，除以候选池规模，得到实际获奖率。三分钟。如果算出来是百分之十几，那这份榜单的标签是按格子发的，后面所有引用都要带上格子名。

第四件：找往年版本对工作量。把网址里的年份改一改，找出往年版本，把候选池规模、准则条数、工时、分数总量四类数字并排放一遍。二十分钟。四个数一格没动，说明这段话被整体沿用了。四个数一格没动，就别把它当作今年的工作量来引用。

第五件：把总分还原成明细。找到榜单背后的条目清单，只留下跟你的业务真正相关的那几条，其余的不看。半天。这是六件里唯一需要动脑判断的，也是唯一能产出待办清单的。

第六件最便宜，也最难坚持

第六件：在任何写下外部排名的地方，强制带上格子名和年份。不是“某某是行业前1%”，而是“某某在2025年该榜单的行李与旅行用品行业移动端这一格里被评为前1%”。成本为零，难在坚持。格子名和年份加起来不到二十个字，却是整句里信息量最大的部分。图廊里那几张没露出来的缩略图同理，少掉的往往比看得见的更关键。

写不出格子名的，就写“未标注”三个字。这三个字必须真的写出来，不能留空——留空看起来像是忘了填，写上则是“查过了，对方没标”。这个区别在三个月后回头看的时候非常重要。查过和没查过，三个月后分辨不出来，除非当时写下来了。资深团队的技术SEO会失灵，很多时候就是因为当年的判断依据没留下记录。

副产品是：半年之后，反复出现“未标注”的那几个来源会自动浮出来，那就是你的资料体系里口径最模糊的地方。不需要专门排查，它自己会聚起来。自动浮出来的东西，比专门排查出来的更可靠，因为它没有筛选偏好。

卡在哪个环节最有效

这六件事如果没有一个固定的挂载点，做两次就忘了。最有效的挂载点是立项申请单和排期评审，不是竞品分析表——因为分析表是给自己看的，申请单是要过会的。

具体做法是在申请单上加一行必填：本次对标对象所在的那一格，当时有几个候选。不设选项校验，不设审批规则，判定标准只有“填了”和“没填”两种。前几批分别把类似的卡点挂在过组件库、验收用例模板、采购问卷、客服工单模板、发布检查清单和季度规划文档上，逻辑是一样的——卡在决策要花钱的那一刻，不卡在做研究的那一刻。

为什么必须是必填而不是建议？因为这一行的真正作用不是收集数据，是逼着提案的人在写申请之前去数一遍。数完之后，有一部分立项自己就撤了。撤掉的那部分立项，就是这一行必填带来的全部收益。

四条边界，先说清楚

第一条：数格子只对公开名录有效。付费客户那部分永远数不出来，所以你数出来的候选数是个下限，实际可能更多。这不影响结论方向，但影响措辞——应该说“公开可查的有4家”，不是“一共只有4家”。

第二条：格子很大也不代表那家值得学。一个两百家候选的格子里选出来的第一名，如果客单价和品类跟你差着量级，照样不该抄。选对标对象要看的是维度匹配，不是名次高低。名次高低回答的是“谁做得好”，维度匹配回答的是“谁的做法你能用”。受众分群有七个维度可选，选错维度分出来的群再漂亮也用不上。

第三条：还原明细只对给了明细的榜单有效。有相当一部分榜单只发名次不发条目，那种榜单除了知道谁在里面，什么都做不了。第四条：这套方法治的是“对象选错了”，治不了“方向选错了”——那需要的是客服工单和搜索词，不是榜单。

做完之后会发生什么，提前讲清楚

这套动作做完，榜单上的对标对象一个都不会减少，待办清单也不会变短。变的只有一件事：每个对标对象前面多了一个格子名和一个候选数。

而这个候选数会让其中一部分对象从“行业标杆”降级成“同量级同行”。第一次做完，常见的降级比例在三到四成之间。降级不代表那些对象不值得看，只代表它们不该独占三个月的排期。降级之后它们仍然值得看，只是不该再占用最好的那几个排期位。

这件事必须在动手之前说清楚。等两栏表做出来了再解释“其实标杆没那么标杆”，听起来全像是在给之前的判断找补。提前一句话讲明白，后面所有的沟通成本都省了。预期管理这件事，永远是提前一句话比事后十句话便宜。

把整篇收成三句话

第一句：看到“前X%”，先问这个百分比是对着多少个对象说的。如果一份榜单同时发出几十个“前1%”，那它一定是按格子发的，格子里有几个候选决定了这个标签值多少钱。

第二句：把这份材料里能互相验算的数字找出来对一遍，把能加总的分项加一遍，把往年版本翻出来比一遍。对不上的标记为不可交叉引用，加得上的当作可信度加分，一字未改的当作沿用。

第三句：数一数名单里有几条是你能自己打开核对的，核不了的单独标出来。这三句问完，一份榜单该有的分量就基本落定了，剩下的是打开明细，找出跟你真正相关的那几条。找出那几条之后，这份榜单的使命就完成了，剩下的是你自己的事。

常见问题解答

榜单上根本没写候选池有多少家，这种情况怎么估？

先找三个地方。第一个是榜单页自己的开头段，很多榜单会顺带提一句“从多少家中评选”，哪怕带着加号也是个下限。第二个是这家机构的方法说明页或者关于页，那里通常写着样本规模，而且往往比榜单页给的更具体。第三个是它有没有公开的对象名录——有的话直接数，没有的话看有没有按行业筛选的入口，把每个行业的条目数加一遍。三处都找不到，就按最保守的方式处理：假设那一格里只有你自己能想到的那几家同行，然后把“前1%”读成“这几家里最好的一家”。这个假设通常不会让你亏，因为切片型榜单的实际格子规模确实很小。

候选池里包含付费客户的榜单，还能不能用？

能用，但要拆开用。付费客户参评本身不构成问题，很多研究机构的商业模式就是这样，评测标准对客户和非客户是同一套的可能性也很高。真正的问题是外部无法区分名单里哪些条目属于哪一类，也看不到客户那部分的明细。实际做法是：把能在公开名录里找到的那些单独拎出来，这部分可以当作可复核的证据用；找不到的那些标注“数据未公开”，只当作一个线索，不作为对标依据。如果一份榜单里可核部分低于一半，那它更适合当行业动态读，不适合当基准用。这个判断跟机构的信誉无关，只跟你手上能拿到什么材料有关。

一份榜单只发一个整体第一，是不是就更可信？

可信度会高一些，但代价是可用性下降。只发一个第一名，意味着这个标签的分母确实是整个池子，不存在切片放大的问题。但对读的人来说，一个跟自己业务完全不搭界的第一名，参考价值往往低于同类目里的第三名。所以更好的判断方式不是看榜单发了几个奖，而是看它有没有把每个奖的分母写出来。发五十个奖但每个都注明了格子规模的榜单，比只发一个奖但什么都不解释的榜单有用得多。透明度和颗粒度是两件事，前者决定能不能信，后者决定用不用得上。两者兼有的榜单很少，遇到了要珍惜。

找不到往年版本，这套对照法是不是就用不了了？

还有两条退路。第一条是网页存档服务，把当前网址粘进去看历史快照，年度榜单这类页面被存下来的概率相当高，尤其是流量大的机构。第二条是找引用过这份榜单的第三方文章，那些文章往往会把当年的数字抄进正文，抄下来的数字虽然是二手的，但至少带着一个明确的时间戳。两条都走不通的话，就退而求其次：只用当前版本，并且把它当作一个单点观测而不是趋势的一部分。单点观测同样有价值，只是不能用来说“越来越好”或者“越来越差”。写结论的时候把这个限制写进去，比假装有趋势要诚实得多。

自己团队做内部评分体系，怎么避免踩序量这个坑？

最实用的办法是：总分只用来排序和触发动作，永远不写进目标。比如规定“综合分掉出前三就启动一次专项复盘”，这是合法用法；而“本季度综合分提升五分”就不是，因为五分不对应任何具体的事。第二个办法是把每条检查项的判定结果和总分一起存下来，任何人质疑总分的时候都能立刻还原到条目。第三个办法是权重一旦定下就锁一整年，中途要改必须同时保留旧权重的算法，两套并行至少一个周期。这三件事做到，评分体系仍然是序量，但它至少不会误导人，也不会在换了负责人之后变成一笔糊涂账。

对标对象已经定了、项目也在跑，还有必要回头数格子吗？

有必要，但目的变了。项目已经在跑的时候，数格子不是为了推翻它，是为了给它重新定优先级。如果数完发现那一格里只有三五家，那么这个项目从“追赶行业标杆”降级成“参考一个同量级同行”，相应的排期投入就该跟着调整——原本计划三个月的，可能一个月做完主干就够了。另一个价值是止损点：知道了对标对象的实际含金量，就能给项目定一个合理的观察期，到期没有起色就收手，而不是无限期地“再改一轮”。这两件事都不需要停下项目，一个下午就能做完。

把这些问题反馈给榜单方，他们会改吗？

大概率不会，而且这不完全是态度问题。按格子发奖、用“前1%”表述、把工作量写成带加号的下限，这几件事对发布方都是理性选择：格子多则传播广，下限值则风险低，措辞含糊则不必每年重算。改掉任何一条都会增加成本、降低传播效果，而收益只体现在极少数会去核对的读者身上。真正可能推动改变的是两种力量：一是被评对象集体要求标注分母，二是引用方开始在转述时带上限定语。后一件是每个读的人都能做的，也是本文唯一真正建议去做的事。指望发布方自律，不如把限定语写进自己的资料模板。

除了数格子，还有没有更快的判断办法？

有一个三十秒的粗筛：看这份榜单的获奖名单有多长，再看它宣称的比例。名单行数除以宣称比例，得到的就是它隐含的候选池规模。比如发了五十个“前1%”，那么隐含的池子应该是五千家；如果这家机构自己说只评了四百家，那么这个标签一定是切片内的。这个方法只需要两个数字，都在同一页上，不需要打开任何别的页面。粗筛通过之后再做后面那些细活，粗筛不通过就直接按切片型处理。它的准确率不是百分之百，但足以在会议开始之前给你一个判断。

权威参考资料