跨年数据能不能直接比?一条五年趋势线上有三处口径变更
本文目录
- 一条涨了22个点的曲线,为什么第一件事是数它有几格?
- 先把这条线原样摆出来
- 五个点,四段变化,前三段整齐得反常
- 但这一格恰好也是唯一换过题目的一格
- 两种解释都成立,而且分不开
- 数格子这个动作,为什么该排在第一位
- 连线这个动作本身就在做一个承诺
- 把曲线拆回一格一格,会问出什么问题
- 接缝这个词,比断点更贴切
- 三个问题,对应三种接缝
- 先说结论:三处接缝,影响加起来可以忽略
- 这件事跟做独立站有什么关系
- 本文的材料清单
- 为什么趋势线比单个数字更容易被误读
- 差值会同时吸收两端的所有问题
- 本文不打算论证的三件事
- 换成做站的语言,这件事长什么样
- 一个可以先记住的判据
- 三种最常见的趋势线,风险各不相同
- 那本文这套办法有没有它管不了的情况
- 这五个点,是同一句话问出来的吗?
- 把两版问法逐字摆在一起
- 一句定义句能改变多少人的答案
- 这不是我猜的,问卷里有旁证
- 这处接缝写在哪儿了
- 而报告正文那一句里没有任何提示
- 同一份报告里还有第二条换过问法的线
- 这条线的接缝比第一条更硬
- 再加上分母也换了
- 第三条线,加工得更多
- 三条线,三种披露强度
- 这说明的不是态度问题
- 一条可复用的判据
- 同一份报告里还有一组更隐蔽的并排
- 一半人问这几个,另一半人问那几个
- 正当归正当,读的时候要知道
- 换问法这件事,一般什么时候会发生
- 有一种做法能同时保住两头
- 这个做法在自家数据上更便宜
- 同一份问卷里,有的题给了不确定的出口,有的没给
- 没有出口的时候,那些人去哪儿了
- 这对那条趋势线意味着什么
- 这五个点,是用同一种方式问出来的吗?
- 原始分布表开头那段说明
- 变更的确切内容与原因
- 这次变更落在趋势线的哪一格
- 换一种方式问,答案真的会变吗
- 差得最大的是哪几类题
- 机制不难理解
- 那这条AI认知度的题受影响吗
- 十一年前那份实验报告的开头一句
- 一个必须说清楚的重要区别
- 混在一起就分不开了
- 一个不太舒服的推论
- 那189份电话问卷,自己也有个精度问题
- 这家机构后来又解释过一次这件事
- 顺带说说这次调查的其他质量动作
- 这些细节为什么值得看一眼
- 施测方式的接缝,在自家数据里对应什么
- 一个具体的判断顺序
- 原始分布表里还印着一些方括号,那是给程序看的
- 为什么要轮换
- 这些指令为什么值得看一眼
- 这五个点,是同一批人答的吗?
- 这不是五次独立的调查
- 面板的好处,机构自己说得很清楚
- 但面板有一个自带的副作用
- 把这句话和那道题放在一起
- 这是不是在说数据不可信
- 但那次检验查了哪几项
- 被检验的和没被检验的
- 另一个方向:这批人其实一直在换
- 两个方向相反的力,谁也没算过
- 顺带一提:同一份调查有两个应答率
- 为什么这两个数要一起看
- 这三个问题问完,得到了什么
- 加权能修的和修不了的
- 面板年龄是另一个调不了的维度
- 报酬这件事也在样本里留了痕迹
- 这份报告的三个文件,厚度差得很远
- 为什么原始分布表值得单独下载
- 自家数据有没有对应的东西
- 不用面板行不行
- 没有干净的选项,只有不同的代价
- 这三处接缝加起来,到底影响了多少个百分点?
- 不算出来,前面三节就只是找茬
- 能算的那一处:施测方式
- 把这个0.2放进上下文里看
- 所以第一处接缝的结论是:可以忽略
- 为什么那一段的增幅是7,跟前后一样
- 能给范围的那一处:题目措辞
- 范围怎么框
- 算不了的那一处:面板
- 三处加总:那个22值多少
- 三处接缝的账,摊成一张表
- 这笔账花了多长时间
- 那我引用的那个5.5,我自己核过吗
- 核完之后,这个5.5该怎么用
- 一条自查用的反问
- 同一份报告里还有一笔更该算的账
- 这个67%是加出来的
- 合并会掩盖内部的移动
- 还有一个反向的细节
- 最大的一处:总体平静,内部剧烈分化
- 5个点和29个点
- 这件事在自家数据里天天发生
- 报告自己也给了一个好例子
- 天花板效应本身也得算一笔
- 所以到顶这个解释也不牢靠
- 顺带一个反向的例子
- 欧盟统计局为这一件事发了21个代码
- 有一套体系专门处理接缝
- 先看这张表有多大
- 最基础的那个码
- 然后是一堆组合码
- 整张表里最有意思的一个码
- 为什么“不显著”也要单独发一个码
- 把这套规则套到那条AI趋势线上
- 第五格到底该标bd还是bdn
- 他们还会做一件更狠的事
- 差距不在能力,在制度
- 这套东西怎么用到自己的数据上
- 一句可以直接抄走的话
- 接缝是在传播链的哪一级掉光的
- 第三级和第四级
- 最讽刺的一点在这儿
- 这不是谁的错
- 把两套体系并排看
- 所以该改的是载体,不是态度
- 命名这件事的杠杆有多大
- 断点校正为什么大多数人做不起
- 所以真正的成本在于提前量
- 做不起校正的时候,退到哪一档
- 一条同比曲线,怎么让一个滑雪装备站排掉三个月?
- 先交代这个站的底子
- 那条被盯了四年的曲线
- 接下来三个多月做了什么
- 破局的人是新来的
- 雪季的定义改过一次,而且改得有道理
- 拉长的那两个月,恰好是自然搜索占比最高的两个月
- 反转在这儿:真实情况是在跌
- 五份材料,四份说不出话
- 那份没人看的材料:站内搜索里搜不到结果的词
- 为什么偏偏是这份材料没被筛过
- 真正在变的东西,那条曲线上根本没有位置
- 最扎心的一击
- 还有一层,跟本文前半段是同一个错
- 后来做了三件事
- 为什么这个坑要等到第四年才被发现
- 顺手做掉的那件事,让项目更难叫停
- 那份查询词表为什么没进过看板
- 后来他们是怎么把它接进流程的
- 这个品类还有一层特殊性
- 换个品类,同一个机制怎么出现
- 如果重来一次,最该做的是哪一件
- 那三件事后来的效果
- 看板上那几条竖线,效果比想象中大
- 拿到一条趋势线,先做哪六件事?
- 这六件事怎么排的
- 第一件:数格子,把每一格的日期抄下来
- 第二件:抄下每一格的定义原句,不是抄数字
- 第三件:算相邻两格的差值,盯那个不一样的段
- 第四件:给能算的接缝算一个量级
- 第五件:给自己的核心指标建一列断点日期
- 第六件:以后画趋势线时,把断点画成竖线
- 卡点挂在指标定义文档上
- 四条边界,说在前面
- 口径迁移必须提前打招呼
- 措辞比动作本身更重要
- 本批的两条额外体会
- 三句话判断一条趋势线能不能直接读
- 30秒粗筛:数一数这条线有几个点
- 这套判据对内部材料命中率更高
- 先查自己的,还有一个额外的好处
- 最后回到那条线
- 同一条线,两种用法,牢靠程度差得远
- 这套动作对哪些人最划算
- 哪些情况可以不查
- 写在最后
- 常见问题解答
- 我不做数据,只是偶尔引用行业报告,这套东西用得上吗?
- 怎么快速判断一份外部报告值不值得深查?
- 自家分析工具换过一次版本,历史数据还能用吗?
- 团队里没人愿意维护指标文档,怎么让这件事活下来?
- 同比和环比,哪个更容易撞上接缝?
- 发现历史数据有接缝,值不值得回头重算?
- 让AI工具帮我读报告,它能发现这类接缝吗?
- 竞品数据和市场规模数据,接缝问题是不是更严重?
- 权威参考资料
摘要:一条五年趋势线,美国人说自己对AI了解很多的比例从26%涨到48%,整整22个百分点。每一个数都是真的,出处能查、样本量有、误差范围写得清清楚楚。但这条线上有三处接缝:最后一格换了题目措辞,中间一格换了施测方式,五个点还都来自同一批被反复问了五年的人。本文把这五个时点逐一查回原始问卷,把三处接缝的影响自己算了一遍(算完是0.2个百分点,可以忽略),再拿欧盟统计局那套专门标注断点的代码表逐格比对,最后给出判断一条趋势线能不能直接读的三句话,以及6个当天就能做完的自查动作。
有一类图表,看一眼就懂,懂完就想转发。
一条从左下角走到右上角的折线,五个点,跨五年,标题写着某项比例从26%涨到了48%。你不需要看方法说明,不需要问样本量,甚至不需要认真读纵轴。这条线的意思已经全部传达完毕了:这件事在变多,而且变得很快。篇幅与阅读节奏怎么量,字数统计工具怎么用那篇给过一把尺子。
问题恰恰出在这里。一条趋势线传达的全部信息,都压在点与点之间的落差上。单看48%这个数没什么用,26%这个数也没什么用,有用的是那个22。而落差这个东西有个很不讲道理的性质——它会把两端所有的误差原封不动地吸进来,还会把两端所有口径上的差别一并吸进来,然后混成一个数字交给你。
本文要拆的就是这么一条线。它来自皮尤研究中心2026年6月发布的一份AI调查报告,是我能找到的公开材料里方法披露做得最好的那一档:完整问卷公开、逐题原始分布公开、加权流程公开、连剔除了7个填答异常的人这种事都写在了方法说明里。我选它不是因为它有问题,而是因为如果连这种披露水平的材料都会在传播中丢掉关键信息,那问题就不在披露上。
一条涨了22个点的曲线,为什么第一件事是数它有几格?
先把这条线原样摆出来
这道题在原始问卷里的代号是AI_HEARD,问法很简单:你对人工智能听说或读到过多少?三个选项:很多、一点、完全没有。算法侧的波动怎么读,Google算法波动怎么追踪那篇分过几个流派。
五次调查的结果,选“很多”的比例分别是:2022年12月26%,2023年8月33%,2024年8月40%,2025年6月47%,2026年2月48%。报告正文的描述是:说自己听说过很多的那部分人,过去五年里大幅增长,今天大约占成年人的一半,而2022年是26%。
五个点,四段变化,前三段整齐得反常
把相邻两次的差值算出来,会看到一件挺有意思的事:+7、+7、+7、+1。
前三段一模一样,都是7个百分点。最后一段掉到1个点,是前三段的七分之一。三年匀速上升,第四年几乎停住。
如果你是做增长的,看到这种形状第一反应通常是“到顶了”。这个解释完全说得通——认知度这类指标本来就有天花板,96%的人已经至少听说过一点AI,剩下的空间确实不多了。
但这一格恰好也是唯一换过题目的一格
这就是本文要讲的那件事。2026年这次调查,把题目改了。
2026年之前,这道题的完整问法是:人工智能被设计用来学习人类通常做的任务,比如识别语音或图片。你对AI听说或读到过多少?2026年这版,前面那句解释被删掉了,直接问:你对人工智能听说或读到过多少?
删掉的是一句定义。原来的问法先告诉你AI是什么,再问你了解多少;新的问法直接问。而增幅从7掉到1,正好发生在这一格。定义变化怎么影响词表,品牌词和非品牌词为什么要当两件事做是个好例子。
两种解释都成立,而且分不开
现在有两个解释摆在桌上。一个是认知度到顶了,一个是删掉定义句让一部分人不再觉得自己“听说过很多”。
这两个解释可能都对,可能只对一个,也可能一个对七成一个对三成。从这份数据本身,没有任何办法把它们分开——除非同一次调查里用新旧两版问法各问一半人,而这次没有这么做。
我想强调的不是“所以这个数不能信”。这个数没问题。我想强调的是那个22,以及那个从7掉到1的转折,含义比图上看起来复杂。而图上什么提示都没有。
数格子这个动作,为什么该排在第一位
拿到一条趋势线,大多数人的第一个动作是看方向,第二个动作是看幅度。我建议插一个动作在最前面:数一数这条线上有几个点,然后确认每个点各自是一次什么样的测量。
这个动作听起来笨,但它的好处是不需要任何判断力。有几个点是客观的,每个点对应哪次调查也是客观的。你不需要先怀疑什么,只需要把这条线从一条连续的曲线,还原成几次彼此独立的测量。
连线这个动作本身就在做一个承诺
折线图上那几根线段,在视觉上是一个非常强的承诺:这些点是可以连起来的。
点与点之间那段没有数据的空白,被一根直线填上了,看图的人会自然而然地认为,中间那些没测过的时刻也在这条线上。更重要的是,连线暗示了这几次测量是同一件事的不同时刻,就像温度计在不同时间的读数。
可温度计有个前提:它一直是同一支温度计。趋势线没有这个前提,也不承诺这个前提,但它的画法让人以为有。工具本身的口径会随代际漂移,Token估算工具刻的是上一代口径是个近例。
把曲线拆回一格一格,会问出什么问题
还原成独立测量之后,可以问的问题一下子具体了很多。每一格分别是什么时候测的、问的是哪句话、用什么方式问的、问的是哪批人、样本多大、误差多少。
这些问题里的任何一个,只要在某两格之间答案不一样,那两格之间的落差就不再是纯粹的变化量了。它是变化量加上口径差,而且这两部分在数字上是分不开的。
接缝这个词,比断点更贴切
我用“接缝”这个词来称呼它。断点听起来像数据断了、缺了一段,但这里的情况不是缺失——数据是完整的,五格都有值,看上去严丝合缝。
接缝的意思是:这里有两块料是拼起来的。拼得好的接缝几乎看不出来,而看不出来恰恰是问题所在。缺一格你会立刻发现,接一格你永远不会发现。
三个问题,对应三种接缝
后面三节分别问三个问题:这五个点,是同一句话问出来的吗;是同一种方式问出来的吗;是同一批人答的吗。
这三个问题对应三种性质完全不同的接缝:问法变了、测法变了、被测的人变了(或者没怎么变,而这也是问题)。三者可以单独出现,也可以叠在一起,而这条线三样都占了。三层拆解的写法可以对照AI搜索的归因数据有两层今天就能自己测。
先说结论:三处接缝,影响加起来可以忽略
我把话提前放这儿,免得读到一半以为我要论证这份数据不可信。我把三处接缝的影响自己算了一遍,能算出量级的那处大约是0.2个百分点,只有这次调查抽样误差的13%。
换句话说,最后结论是:这条线可以读,那个22基本上是真的。但这个结论是算出来的,不是默认的。谁算的、算完是多少、写在哪儿,是本文后半段的重点。
这件事跟做独立站有什么关系
关系比看起来大。做站的人每个月都在读趋势线:自然流量同比、转化率环比、行业报告的年度对比、广告后台的账户走势。这些线全都有接缝,而且大部分接缝比调查问卷的更粗糙。
埋点改过一次、统计工具换过一代、口径从会话改成用户、某个子域名中途并进来了、某个爬虫过滤规则上线了——每一件都会在曲线上留下一格接缝,而且没有任何一份文档会像皮尤那样把它写在脚注里。我在GA4直接流量突然暴增的六类成因排查那篇里拆过其中一类,那篇讲的是怎么找原因,这篇讲的是更前置的一步:怎么先意识到这里有条接缝。
本文的材料清单
为了让每一句话都能被核对,先把用到的材料列出来:这份报告的正文PDF(83页)、原始分布表(14页)、完整问卷(17页)、方法说明网页,以及皮尤2015年做的一次施测方式对照实验、2024年关于面板变更的官方问答、欧盟统计局的观测状态代码表。
全部是公开可取的一手材料,链接在文末。本文里所有的计算,原材料里一个都没算过——它们提供的是原始数字,加减乘除是我自己做的。
为什么趋势线比单个数字更容易被误读
一个孤零零的百分比,人们反而会警惕。看到“48%的人对AI了解很多”,很多人的第一反应是问:哪来的、问了多少人、什么时候问的。
可一旦这个数被放进一条线里,警惕心就消失了。因为线本身看起来就像一个解释——它告诉你这件事在往哪个方向走,而方向感一旦建立,具体某个点是多少反而不重要了。
这是趋势线的价值,也是它的代价:它把审视的重心从“这个数对不对”移到了“这个方向对不对”,而方向恰恰是最不容易被质疑的东西。
差值会同时吸收两端的所有问题
还有个纯技术的原因。假设第一格和第五格各自都有一点点偏差,方向随机,那么单看某一格,偏差影响不大;可一旦做减法,两端的偏差会叠加进同一个结果里。
更麻烦的是口径差。口径差不是随机的,它有固定方向——某个改动如果让数字系统性偏高,那它在每一次测量里都偏高同样的量级,不会互相抵消。
于是就出现了一个不太符合直觉的局面:一条线上每个点都相当准确,而这些点之间的差值可以相当不准确。
本文不打算论证的三件事
为了不让后面读起来像在扒粪,先把不做的事情说清楚。
本文不论证这份调查有问题——它的方法披露在我见过的公开材料里属于最好的一档。不论证这条趋势线不能用——最后的结论是能用。也不论证发布方有意隐瞒——三处接缝里有两处是他们自己写出来的,我是从他们的材料里读到的。
本文只论证一件事:即使发布方尽了披露义务,接缝仍然会在传播链上掉光,而这是载体的问题,不是人的问题。姊妹篇调研数据里没有一个非会员拆的是另一种口径错位。
换成做站的语言,这件事长什么样
把上面这一段翻译成做站的场景,大概是这样。
你打开分析后台,看一条自然流量的年度对比曲线,三年一路向上。你不会去想:这三年里我们换过一次统计工具、加过一次机器人过滤规则、把一个二级域名并进了主资源。这三件事每一件都会在曲线上留下一格接缝,而后台不会告诉你。
你也不会想到,去年某个月的数据之所以好看,是因为过滤规则那时还没上线。这些事都记录在某处,只是从来没有出现在那条曲线旁边。
一个可以先记住的判据
如果这一节只带走一句话,可以是这句:凡是要用差值下结论的地方,都得先确认两端是同一支尺子量的。同类的口径陷阱在SEO决策为何老踩坑那篇里也列过一组。
同比、环比、改版前后对比、A/B两组对比、竞品对标,全都是差值。差值用得越多的团队,越需要一份口径变更记录,而现实往往相反——越是重度依赖数据的团队,指标改得越勤。
三种最常见的趋势线,风险各不相同
顺手把常见的几种形状分个类,后面查起来有个先后。
第一种是同源同期的连续测量,比如同一套埋点每天记录的流量。这种线接缝最少,风险主要来自采集侧的技术变更。第二种是同一机构的定期调查,本文这条属于这种,风险来自问法、方式、样本框三处。第三种最危险:把不同来源的数拼成一条线,比如前三年用行业报告的数、今年用自家后台的数,这种线的接缝几乎是必然的,而且往往连拼的人都没意识到自己拼了。这类拼接在内容差距分析里也很常见。聚合口径下的取舍见关键词排名已死那篇的实测。
第三种在竞品分析和市场规模测算里极其常见,而它恰恰是唯一一种连发布方都无法标注接缝的类型——因为拼线的人和产数的人不是同一批。
那本文这套办法有没有它管不了的情况
有,而且得说清楚。这套办法处理的是已知的、有记录的口径变更。它对三种情况完全无能为力。
一是没有任何记录的变更,比如某位同事顺手调了一个过滤条件,没告诉任何人。二是渐变型的漂移,比如用户构成随着投放策略慢慢变化,没有哪一天算是断点。三是测量对象本身的含义变了,比如“移动端”这个词在2015年和今天指的不是同一批设备。
第三种最难,因为定义一个字没改,改的是这个词在现实里指向的东西。这类问题只能靠对业务的熟悉度去发现,没有任何机械的检查能抓到它。
这五个点,是同一句话问出来的吗?
把两版问法逐字摆在一起
先做最笨的一件事:把新旧两版题目原样抄下来,放在一起看。
2022年到2025年那四次,问的是:人工智能被设计用来学习人类通常做的任务,比如识别语音或图片。你对AI听说或读到过多少?2026年这次,问的是:你对人工智能听说或读到过多少?
差别只有前面那句话。它不是修辞上的润色,它是一句定义。旧版在提问之前先给受访者交了个底:我们说的AI是这个意思。新版没交底,把“什么算AI”这件事留给了受访者自己。
一句定义句能改变多少人的答案
设想一个真实的场景。一位不太关注科技新闻的中年人被问到这道题。
旧版的问法里,他先读到“识别语音或图片”。他会想起手机相册能按人脸分类,想起说“打开客厅灯”音箱会应;这些他都熟。于是他更可能选“听说过很多”。新版直接问“人工智能”,他脑子里浮现的可能是新闻里的机器人、或者别人在聊的那个聊天软件,都不是他天天在用的东西。于是他更可能选“听说过一点”。
这不是他的了解程度变了,是题目替他划的范围变了。同一个人,同一天,两个问法,两个答案。
这不是我猜的,问卷里有旁证
同一份问卷的下一道题很能说明问题。它问:用几个字说说,想到AI时你首先想到的是哪一类?这是一道开放题,答案由研究者事后归类。
结果第一位是“聊天机器人”,占29%;然后是机器人与科幻8%、图像与视频7%、生成式AI与大模型6%、搜索引擎3%、虚拟助手2%。而旧版题目里作为例子给出的“识别语音或图片”,在2026年受访者的自发联想里只排到很后面。开放题归类的思路和一个页面到底能排多少个关键词那份研究相通。
换句话说,旧版那句定义指向的东西,和今天人们心里的AI已经不是同一个了。删掉它有充分的理由,甚至可以说是该删。但该删和删了之后趋势线还能不能直接连,是两件事。
这处接缝写在哪儿了
写了。在原始分布表第1页的页脚,一条小字脚注,编号1,内容就是把旧版问法原样列了出来。
要看到它,你得先知道有原始分布表这个东西,然后从报告页面找到它的下载链接,下载一个14页的PDF,翻到第一页,看到那道题,注意到题目末尾有个上标1,再把视线移到页面最底部。这条路径上任何一步断掉,你都看不到这条脚注。
而报告正文那一句里没有任何提示
报告正文对这条趋势线的表述是:说自己听说过很多AI的那部分人,在过去五年里大幅增长,今天大约是成年人的一半,而2022年是26%。
这句话完全正确。26%是真的,48%是真的,五年是真的,大幅增长也是真的。它唯一没说的是,这两个数不是同一句话问出来的——而这件事在同一份报告的另一个文件里写得清清楚楚。
同一份报告里还有第二条换过问法的线
更值得琢磨的是另一条。这份报告最显眼的位置——第一页的关键要点第一条——写着:大约一半的美国成年人现在会使用AI聊天机器人,比2024年夏天大幅上升。
这句话末尾挂了个脚注:2026年之前,这道题问的是“你是否曾经使用过AI聊天机器人”,而且只问了那些至少听说过一点聊天机器人的人。
这条线的接缝比第一条更硬
硬在哪儿?题干的时态和体裁一起变了。旧版问“你曾经用过吗”,问的是累计经历;新版问“你现在会用吗”,问的是当前习惯。
这两个问题的关系是有方向的:一个人现在会用,那他必定曾经用过;反过来不成立。逻辑上,“曾经用过”的比例应该大于等于“现在会用”的比例。
而数据是:2024年33%,2026年49%。前一个是“用过”,后一个是“会用”,涨了16个百分点。这当然可以解释——两年过去了,用的人确实多了很多,涨幅大到把口径差盖住了。但这16个点里有多少是真涨、多少是换题带来的,同样分不开。
再加上分母也换了
不止时态。旧版只问“至少听说过一点聊天机器人”的人,2024年那次,有28%的人一点都没听说过,他们压根没被问到这道题。
报告在做趋势对比时,把2024年那个数按全体成年人重新算了一遍,得到33%。这是个正确且必要的处理,皮尤还专门在原始分布表里给这段标了“供对比的趋势”这样一行字。但重算这个动作意味着:图上那两个点,一个是直接问出来的,一个是算出来的。
第三条线,加工得更多
还有一条关于ChatGPT使用率的趋势:2023年7月18%、2024年年初23%、2025年年初34%、2026年2月44%。
这条线的脚注写着:2026年之前,这道题问的是那些至少听说过ChatGPT的人,此处按全体成年人呈现,并对往年调查中的分半设计作了处理。
也就是说,这条线的前三个点各自经过了两道加工:换分母、合并分半样本。加工是对的,不加工反而没法比。但四个点里有三个是加工过的,一个是直接问的。
三条线,三种披露强度
把这三条线放在一起,会看到一件我认为比任何单条接缝都更值得记住的事。
聊天机器人那条,脚注挂在报告第一页的第一个要点上,位置最显眼。ChatGPT那条,脚注在原始分布表里,还配了一行醒目的“供对比的趋势”。而AI认知度那条,正文里只字未提,脚注孤零零在原始分布表第1页的页脚。
三条线性质相同,都是换了口径的跨年对比;同一家机构、同一份报告、同一天发布、大概率同一批人写的。披露强度却相差很远。
这说明的不是态度问题
我特意强调这一点,因为很容易读成“皮尤对某条线遮遮掩掩”。不是的。这家机构是美国民意研究协会透明度倡议的创始成员,它把原始问卷、逐题分布、加权流程、剔除样本数全都公开了,这个披露水平在整个行业里属于最高的那一档。
更合理的解释是:写报告的人对哪条线的接缝更在意,取决于那条线在报告里有多重要。聊天机器人使用率是这份报告的头条发现,所以格外小心;AI认知度只是背景铺垫,一句带过。注意力是有限的,而接缝的严重程度跟它在报告里的地位并不相关。
一条可复用的判据
由此得到一条我觉得很好用的判据:一份材料对接缝的披露强度,跟这条数据在这份材料里的重要程度正相关,跟接缝本身的严重程度不相关。
推论是:越是被顺手拿来当背景的那条数据,接缝越可能没人提。而你要引用的,往往恰恰是背景数据——因为头条发现大家都知道,背景数据才显得你读得细。这个坑我在一套数据驱动的假设检验打法那篇里从另一个角度碰到过,那篇讲的是自家数据的自欺,这篇讲的是外部数据的接缝。
同一份报告里还有一组更隐蔽的并排
换问法只是接缝的一种。同一份报告里还有一处,性质不一样,隐蔽程度更高。
报告给出了几个聊天机器人各自的使用率:ChatGPT 44%、Gemini 24%、Copilot 17%、Meta AI 14%、Grok 8%、Claude 6%。四五个数并排,读起来像一张干净的市场份额表。
但翻开原始分布表会看到,这几个数不是问同一批人问出来的。
一半人问这几个,另一半人问那几个
具体是这样:ChatGPT那道题问了全部5119人。Claude、Copilot、Character.ai这三个,只问了随机分出来的第一组,2555人。Gemini、Meta AI、Grok这三个,只问了第二组,2564人。
这在问卷设计里叫分半设计,是完全正当的做法——问卷长度有限,把候选项拆成两半分别问,可以在不加长问卷的前提下多问几个品牌。抽样口径怎么影响结论,孤岛页面检测的抽样口径那篇有个更直观的例子。
正当归正当,读的时候要知道
分半不影响每个估计值的无偏性,两组都是随机分的。但它影响精度:样本量差了一倍,误差范围大约差1.4倍。
也就是说,那张并排的表里,ChatGPT那个44%比其他几个数更结实一点,而表格的排版让六个数看起来精度完全一样。
这处细节报告正文里没有提,原始分布表里标得清清楚楚,标的方式是在每个品牌上面写一行“问第一组”或“问第二组”,后面跟着括号里的样本量。要看懂它,你得知道分半是什么意思。
换问法这件事,一般什么时候会发生
回到题目措辞。跨年调查改题目,通常出于三种理由,每一种都很难反驳。
第一种是原来的措辞过时了,比如本文这条线里那句“识别语音或图片”,放在2026年已经不能代表人们心里的AI。第二种是发现原来的问法有歧义,一部分人理解错了。第三种是想问得更细,把一道题拆成两道。
三种理由全都指向“新问法更好”,而更好和可比是两件事。改题的人考虑的是这次问得准不准,很少有人在改的那一刻想到三年后有人要拿它做同比。
有一种做法能同时保住两头
方法是有的,叫并行测试:在改版的那一次调查里,随机一半人用旧问法、一半人用新问法。
这样能直接测出两版之间差多少个百分点,既拿到了更好的新问法,又拿到了新旧之间的换算系数,历史数据可以据此回算。
代价是那一次调查的样本被劈成两半,每一半的精度都下降,成本还要多花一笔。所以它通常只在最核心的几个指标上做,而本文这条AI认知度的线,显然不属于那几个。
这个做法在自家数据上更便宜
有意思的是,同样的做法搬到自家数据上,成本反而低得多。
改埋点、换统计工具、调整指标定义的时候,让新旧两套口径并行跑一段时间,这在技术上通常不难——多写一份数据而已,不需要把用户劈成两半。
并行一两个月,就能拿到一个换算系数,历史数据全部可以回算,那条曲线就真的接上了。这件事的难点从来不是技术,是没人在改口径的那一刻想到要这么做。实验设计的功效问题见SEO实验设计与统计功效。
同一份问卷里,有的题给了不确定的出口,有的没给
还有一处口径差异藏在同一份问卷内部,跟跨年无关,但机制是同一个。
我把这份问卷里的题过了一遍:三十道题里,只有十二处给了受访者一个显式的“不确定”选项,这些位置上选“不确定”的比例从1%到19%不等。
而本文那道AI认知度的题,没有给这个出口。它的选项只有三个:很多、一点、完全没有。选项设计怎么影响结论,30个A/B测试方案里有实操层的对照。
没有出口的时候,那些人去哪儿了
给了出口的题里,走这个出口的人相当可观。比如问AI对社会的影响,13%选了不确定;问AI推进速度,16%;问AI会不会让个人信息更不安全,也是16%。
这些比例说明,面对这类问题,一到两成的人是真的没想好。
那么在没给出口的那道题上,这批人怎么办?他们必须在“很多、一点、完全没有”里挑一个。而“一点”这个选项是最不需要承担立场的那个,绝大多数会落在这里。
这对那条趋势线意味着什么
意味着这道题的“一点”那一档,天然会比其他题更臃肿——它同时装着真的了解一点的人,和不知道怎么答的人。
对趋势线的影响倒是不大,因为五次调查这道题的选项设置是一致的,臃肿的部分五次都臃肿,做减法时会抵消掉。
但它对单个数字的解读影响很大。“48%的人说自己了解很多”这句话背后,另外那48%选“一点”的人里,有多少是真的了解一点,多少是没想好,这份数据回答不了。这也是为什么本文一直在说,接缝影响的是差值,选项设计影响的是水平值,两者要分开看。
这五个点,是用同一种方式问出来的吗?
原始分布表开头那段说明
还是从原样抄开始。原始分布表第1页,在题目正式开始之前,有一段说明文字,其中两句是这么写的。
第一句:本次调查主要在线上进行,其中一部分访问由真人电话完成。第二句:该面板在2016年10月至2024年6月之间进行的调查全部为线上完成,无家庭网络的成年人由项目提供平板与流量。
把这两句放在一起,意思就出来了:2024年年中,这项调查的施测方式变了。
变更的确切内容与原因
这件事有官方说法。2024年6月,皮尤发过一篇关于这个面板的问答,受访的是面板的高级管理人员,其中一段专门讲这次变更。
大意是:过去八年里,他们通过给没有网络的家庭提供流量和平板,把这部分人纳入进来;但时间长了发现,这个办法在覆盖线下美国人这件事上并没有达到他们期望的效果;所以他们认为,提供一个电话选项会是一次改进。
这是个明显正确的改动。它的目的是让样本更接近真实人口,特别是那些不上网、或者不习惯在网上填问卷的人。类似的取舍在排名追踪要不要每天扫里也出现过。
这次变更落在趋势线的哪一格
把时间对一下:变更发生在2024年年中,而那条五年趋势线的五个时点是2022年12月、2023年8月、2024年8月、2025年6月、2026年2月。
第三格(2024年8月)已经在变更之后。也就是说,前两格是纯线上问出来的,后三格是线上加电话问出来的,接缝落在第二格与第三格之间。
而那一段的增幅是7个百分点,跟前后两段一模一样。这一点后面还要再说,因为它恰恰是判断这处接缝要不要紧的关键线索。
换一种方式问,答案真的会变吗
会。而且这件事有人认真量过——量的人就是皮尤自己。
2015年,他们做过一次专门的实验:把3003个人随机分成两组,一组由真人电话访问,一组自己在网页上填,问同样的60道题,看两组答案差多少。结果是平均差5.5个百分点,中位数5个点,最大的差到18个点,最小的完全没差。
差得最大的是哪几类题
差异最大的三类,很值得记住。
第一类是让人评价自己家庭生活和社交生活质量的题,分别差了18个和14个百分点,电话组报告的满意度明显更高。第二类是关于社会歧视的题,电话组更倾向于说某些群体面临很多歧视。第三类是给政治人物打分,网页组给出“非常不喜欢”的比例明显更高。不同来源的抓取行为差异,AI Agent抓取日志解码拆过8类UA。
另外还有几条:电话组更可能说自己经常和邻居聊天、社区是个极好的居住地、自己健康状况极好;网页组则更可能承认过去一年里有过买不起食物或看不起病的时候。
机制不难理解
把这些差异排在一起,规律一眼就出来了:有个真人在电话那头听着的时候,人会把自己说得体面一点。
生活美满、邻里和睦、身体硬朗,这些话对着人说很顺;承认买不起药、承认非常讨厌某个人,对着人说就没那么顺了。自己一个人对着屏幕填,就自在得多。
这个现象在调查方法里有个名字,叫社会赞许性偏差。它不是受访者在撒谎,是同一个问题在不同场合下,人对它的理解和回答尺度会自动调整。
那这条AI认知度的题受影响吗
“你对人工智能听说或读到过多少”——这道题恰好落在社会赞许性最敏感的那一类里。
对着一个真人承认“我对这个东西完全没听说过”,比在网页上点一个选项要难。理论上,电话组选“听说过很多”的比例会偏高。测量方式换了结果就变,关键词排名监测为什么对不上是另一个版本。
这是个推测,不是结论。皮尤那个实验的60道题里没有这一类,我没有直接证据。我把它写出来,是因为下一节要算的那笔账需要一个方向假设,而这个方向是有依据的推测,不是随口一说。
十一年前那份实验报告的开头一句
这里有个值得停一下的细节。2015年那份实验报告的开篇,在解释为什么要做这个实验时,第一句列出的问题是:当访问方式发生了变化,如何继续追踪随时间变化的趋势。
十一年后,同一家机构真的改了访问方式,也真的在继续追踪跨越这次变更的趋势。而这份2026年的报告里,没有一处回到十一年前自己提出的这个问题。
我不认为这是遗忘。更可能的情况是,提出问题的人和使用数据的人不是同一批人,而问题一旦被提出并归档,就很容易被当成已经解决了。这个现象在公司里也一模一样:某个坑被人写进过复盘文档,三年后新人踩了同一个坑,文档还在。
一个必须说清楚的重要区别
但2015年那个5.5个百分点,不能直接搬到2026年这次调查上,原因很重要。
2015年那次是随机分配的:3003个人被随机分成电话组和网页组,所以两组人本身没有系统差别,测出来的差异干净地归因于访问方式。
2026年这次是自选的:面板成员在加入时自己选择用什么方式接受调查,选电话的那批人,恰恰是不上网或者不习惯线上填答的人。他们和线上那批人在年龄、受教育程度、居住地上本来就不一样。
混在一起就分不开了
所以在2026年这次调查里,电话组和网页组的答案如果有差别,这个差别里既有访问方式的影响,也有人群本身的差异,两者完全混在一起。
更绕的是,人群差异正是他们加电话的目的——就是为了把这批以前够不着的人纳进来。你不可能一边说“加进来的这批人跟原来不一样,所以样本更准了”,一边又说“他们跟原来一样,所以趋势还能直接连”。这两句话不能同时成立。
一个不太舒服的推论
把这件事说到底,会得到一个我觉得挺有意思、也挺让人不舒服的结论。
让样本更准的那个改动,恰恰让趋势变得不可比。准确性和可比性在这个位置上是互相冲突的,只能选一个。想让趋势永远可比,就得永远用同一套办法,哪怕它已经过时;想让每一次测量都尽量准,就必须允许方法演进,而演进就会留下接缝。
这不是谁做错了。这是这类测量的固有代价,跟从业者的水平没关系。同样的两难在做站的时候天天发生:埋点规则要不要跟着业务改?改了历史数据就不可比;不改,新业务就测不准。我在SEO数据分析怎么入门那篇里给过一条口径变更的登记流程,思路是一样的:不阻止变更,只要求变更留下痕迹。
那189份电话问卷,自己也有个精度问题
顺着施测方式这条线,还有一处值得看。这次调查里,电话完成的是189份。
189份对整体估计影响很小,前面算过。但如果有人想单独看电话组的结果——比如想知道不上网的那批人对AI怎么看——189份的误差范围会大得多,大到很多细分结论都做不了。
这就形成一个略显尴尬的局面:加电话是为了纳入这批人,纳入之后他们在总数里的分量小到几乎看不见,单独看又因为样本太少看不清。这不是设计缺陷,是小群体在抽样调查里的固有处境。
这家机构后来又解释过一次这件事
2019年他们发过一篇短文,专门解释为什么电话和网上问出来的答案会不一样,讲的就是社会赞许性那套机制。
把这几份材料按时间排一下会看到一条挺完整的链:2015年做实验测出差异,2019年发短文解释机制,2024年宣布加入电话选项并说明理由,2026年发布跨越这次变更的趋势线。工具报表的故障与替代方案见GSC链接报告集体故障怎么应急。
前三步都做得很扎实,第四步跟前三步之间断了——不是有人偷懒,是这四件事分属四个不同的项目,中间隔着好几年和好几拨人。
顺带说说这次调查的其他质量动作
为了不让本文显得只挑毛病,把方法说明里那些做得好的地方也列一下,它们同样是可核对的。
受访者有5到15美元的答题报酬,金额按人群触达难度分档,越难触达的给得越多。数据回来之后做了填答质量检查,专门找那种大量跳题或者永远选第一个选项的人,据此剔除了7位受访者,剔除发生在加权和分析之前。
加权在1%和99%两个分位上做了截尾,防止个别极端权重把结果带偏。这些细节写在方法说明里,任何人都能查到。
这些细节为什么值得看一眼
因为它们提供了一个参照系:当一份材料连剔除7个人这种事都写出来的时候,它没写的那些东西,多半是真的没做,而不是做了不说。
反过来也成立。一份连样本量都不给的材料,你没法判断它是没做还是不说,而这两种情况在使用时的处理方式完全一样:都只能当行业动态读。
施测方式的接缝,在自家数据里对应什么
调查里的施测方式,换成做站的语言就是数据采集方式。
对应的接缝有一大把:从某代统计工具换到下一代、从客户端埋点改成服务端、加了一层同意管理导致部分用户不被统计、CDN前面加了缓存导致一部分请求不到源站、机器人识别规则更新了一次。
这些改动每一件都有正当理由,每一件都会让曲线上出现一格接不上的地方,而且它们的共同点是:改的时候大家关心的是新方案准不准,几乎没人问历史数据还能不能接着用。
一个具体的判断顺序
遇到自家曲线上有一段变化异常,我的排查顺序是:先问那段时间有没有改过采集,再问有没有改过定义,最后才去找业务上的原因。
这个顺序跟直觉相反——大多数人会先想业务原因,因为那才是自己关心的事。但采集和定义的变更查起来快得多,几分钟就能排除,而业务原因的排查动辄几天。先排除便宜的那一类,是纯粹的效率问题。排查顺序的思路和Google抓取报告怎么读那篇一致。
原始分布表里还印着一些方括号,那是给程序看的
翻原始分布表的时候会看到一些方括号包着的大写英文,夹在题目和选项之间。那是问卷编程的指令,通常不会出现在任何面向读者的材料里。
比如问AI影响那道题上面写着:轮换1到5号选项的正反顺序,把6号和99号固定在最后。意思是,一半受访者看到的选项是从“非常正面”排到“非常负面”,另一半正好倒过来,而“不确定”和“未作答”永远在最后。
为什么要轮换
因为选项顺序会影响回答。人有个稳定的倾向,会更多地选靠前的选项,尤其在选项多、又读得快的时候。轮换一下,这个倾向就在两个方向上互相抵消了。
还有几道题写着随机排列条目,意思是那一组品牌或者设备的先后顺序,每个人看到的都不一样,免得排在第一个的品牌白捡便宜。
这些指令为什么值得看一眼
不是因为它们有问题——恰恰相反,它们是这份问卷做得讲究的证据。值得看的原因是另一个:这类设计决定了数字长什么样,而它们只出现在最底层的那份文件里。
顺着这个思路可以问一句:如果一份材料连原始分布表都不提供,那么它的选项有没有轮换、条目有没有随机、有没有给不确定的出口,你一概不知道,而这几件事每一件都能改变几个百分点。能不能拿到原始材料,是10条UX最佳实践清单那篇的核心判据。
这也是判断一份外部材料能不能当基准用的一条实用标准:能不能拿到它的原始问卷。拿不到,最多当线索。
这五个点,是同一批人答的吗?
这不是五次独立的调查
第三个问题最容易被跳过,因为它连“变没变”都不是,而是“本来就是这样”。
这五次调查的受访者,来自同一个长期面板。这个面板大约1万人,2014年建立,成员同意长期定期接受调查,机构通常每月发出一到两份问卷,每次抽其中一部分人来答。
换句话说,这条五年趋势线上的五个点,很大程度上是同一群人在五年里被问了五次,而不是五次各自新抽一批人。
面板的好处,机构自己说得很清楚
先把好处说足,不然后面的话会显得像在挑刺。
面板的第一个好处是应答率高:受邀的成员通常有九成以上会完成问卷,比打给陌生人的电话调查高出一个数量级。第二个好处是不用重复问基础信息,年龄性别种族问过一次就够了,问卷可以省下来问正事。第三个好处最独特——它能看到同一个人的态度在几年里怎么变,这是每次新抽样永远做不到的。收录侧的实测口径见网站收录速度3平台300站实测。
第四个好处是招募方式。他们用的是按地址抽样,从邮政投递序列文件里随机抽住址寄信,这份文件据估计覆盖了九成到九成八的人口;抽中的住户里,由生日最近的那位成年人参加。这套办法比让人自愿报名的那种面板干净得多。样本怎么挑决定了结论管谁,AQL验货报告写着通过是个工业侧的例子。
但面板有一个自带的副作用
坏处这家机构也自己说了,而且用词很直白。在那篇官方问答里,被问到面板有没有缺点时,回答大意是:面板成员会答很多问卷,答多了就熟悉了,这有好有坏;好处是老手更清楚该怎么答;坏处是他们可能会对我们经常问到的话题变得更感兴趣、更了解,或者因为长期参与而在别的方面发生变化,以至于不再像一批新抽出来的人那样作答。
这个现象他们称为面板固化。长期跟踪同一批对象的代价,MCP加SEO实战12个月里也遇到过。
把这句话和那道题放在一起
现在请把上面那句原话,和这条趋势线要测的东西放在一起读。
官方原话说:面板成员可能会对经常被问到的话题变得更感兴趣、更了解。
而这条趋势线测的是:你对人工智能听说或读到过多少。
过去五年,这批人至少被问了五轮AI相关的问题,每轮问卷里都有一大串AI的题目——用不用聊天机器人、用哪几个、家里的恒温器是不是AI的、搜索结果顶部的AI摘要看不看。答完这些题的人,很难说自己对AI的了解跟答题之前完全一样。
这是不是在说数据不可信
不是。这里必须非常小心,因为这个推理很容易滑向一个过头的结论。
面板固化是否真的影响了估计值,是个需要实证的问题,不能靠推理断定。而这家机构确实做过实证:那篇问答里提到,他们在2021年专门查过面板固化,结论是没有发现它导致估计不准。
所以正确的说法不是“这条线被面板固化污染了”,而是“这条线上有一个已知的、被检验过的风险因素”。这两句话的分量差得很远。
但那次检验查了哪几项
值得多看一眼的是检验范围。按官方说法,那次检验覆盖的是新闻消费、谈论政治、政党倾向和投票这几项,结论是没有发现面板固化导致这些估计不准。
另外还有一句:他们确实观察到,加入面板导致选民登记率有小幅上升。
请注意这一项的性质。选民登记不是一个态度,是一个行为——而且是一个因为被反复问到而真的去做了的行为。它是这次检验里唯一被抓到的效应,也恰好是最接近“因为被问而发生改变”这个机制的那一项。
被检验的和没被检验的
把这两件事并排放:被检验的四项是新闻消费、谈论政治、政党倾向、投票;没有一项是“你对某个新技术了解多少”这类知识与关注度题。
党派倾向这种东西极其稳定,一个人的政治立场不会因为多填了几份问卷就改变;而“我对AI了解多少”这种自我评估,恰恰是最容易被“最近有没有人跟我聊过这个话题”推动的那一类。
结论只能到这一步:这项风险被查过,查过的范围里没问题,而这条线所属的题型不在查过的范围里。再往前一步都是我在编。
另一个方向:这批人其实一直在换
还有个反方向的因素,同样值得算进来。
这个面板不是五年不动的。它每年招募一次新人,而且每年会针对性地补充某些被低估的群体:2019年多招西语裔成年人,2022年多招黑人成年人,2023年多招亚裔成年人,2024年多招的是年轻人、没有大学学历的人,以及包括穆斯林和犹太裔在内的部分宗教少数群体。
另外还有自然流失——有人退出,有人不再应答。所以五年下来,这批人既在被反复提问所塑造,也在不断换血。
两个方向相反的力,谁也没算过
于是这条线上同时有两股方向相反的力:老成员因为反复被问而可能高估自己的了解程度,新成员因为刚进来而没有这个效应。
每年补进来的又不是随机的一批人,是特意挑的某些群体,而这些群体在AI认知度上跟总体不一定一样。加权会把人口结构调回正确比例,但加权调的是他们是谁,调不了他们在这个面板里待了多久。
这两股力谁大谁小,公开材料里没有任何数据能算,我也不打算硬猜。把它写出来的价值不在于得出结论,而在于说明这条线上还有一层没有人量过的东西。
顺带一提:同一份调查有两个应答率
还有个数字很值得看。方法说明里写着,这次抽了5854人,5119人应答,本轮应答率87%。这个数字非常漂亮,比市面上绝大多数调查都高。
紧接着下一句写着:把招募环节的不应答和面板流失一并算进去,累计应答率是3%。
两个数都是真的,分母不同:87%的分母是“已经在面板里、这次被邀请的人”,3%的分母是“最初被寄信邀请加入面板的人”。两者相差29倍,84个百分点。
为什么这两个数要一起看
如果只看87%,你会觉得这是一份几乎没有无应答问题的调查;如果只看3%,你会觉得这批人特殊得没法代表任何人。两个印象都不对,而任何一个单独拿出来都能撑起一个印象。
把它们放在一起才说得清:这是一批经过随机抽样邀请、但最终由愿意长期参与的人组成的样本,加权把人口结构拉回来了,拉不回来的是“愿意长期参与”这件事本身。
而这家机构把两个数都印出来了,这一点在同行里并不常见。多数材料只会印那个好看的。
这三个问题问完,得到了什么
三问的答案汇总一下:题目换过(第五格)、施测方式换过(第三格起)、人是同一批被反复问了五年的人(全程)。
三处接缝,分别落在这条线的不同位置,性质各不相同。而它们在图上没有任何标记,在正文里只有其中一处的另一条线被提过。
下一步就该问那个真正重要的问题了:这些接缝,加起来到底值多少个百分点。
加权能修的和修不了的
说到面板,一定会有人问:不是有加权吗,加权不就把这些问题解决了吗。
加权确实很强。它把样本里各类人群的比例,按人口基准调回到应有的水平——年龄、性别、种族、受教育程度、地域,包括投票记录和公民身份这些,都可以校准。
但加权有个前提:它只能调那些你知道正确答案的维度。人口普查告诉你全国35岁以下的人占多少,所以年龄可以调。没有任何一份统计告诉你,全国有多少人愿意长期参加问卷调查,所以这个维度调不了。
面板年龄是另一个调不了的维度
同样调不了的还有一个:某个人已经在这个面板里待了多久。
加权可以保证这批人在人口结构上像全国成年人,但保证不了他们在“被问过多少次AI问题”这件事上像全国成年人——全国成年人的这个数字是零,面板成员的这个数字是五年五轮起步。指标口径的单一事实源问题见SEO数据分析的指标体系。
这两批人在人口结构上可以完全一致,在这个维度上则完全不同。而加权对此无能为力,因为它压根不知道该往哪个方向调。
报酬这件事也在样本里留了痕迹
还有个细节值得一提:报酬按触达难度分档,越难触达的人给得越多,从5美元到15美元。
这个设计的用意很明确,是为了把那些通常不爱参与调查的群体拉进来,属于正经的方法改进。但它也意味着,样本里不同人群参与的动机结构是不一样的。
这件事影响大不大,我不知道,公开材料里也没有数据能算。把它写出来仍然有用:它提醒的是,一份样本里可以有很多层结构,而你能看到的只有写出来的那几层。
这份报告的三个文件,厚度差得很远
还有个数字挺说明问题。这份材料一共三份文件:报告正文83页、完整问卷17页、原始分布表14页。
原始分布表只占三份合计的12%左右,而本文前面三节的关键证据——两处脚注、施测方式说明、分半样本量——全部来自这14页。
正文的83页里有大量图表、分人群拆解、结论段落,读起来顺畅得多。信息密度最高的那份文件,恰好是最薄、最难读、也最少有人下载的那一份。
为什么原始分布表值得单独下载
原始分布表这个东西,在国内的资料体系里几乎见不到,值得专门说一下它是什么。
它把问卷里每一道题的完整选项和各选项的百分比,按问卷实际顺序原样列出来,包括那些报告正文一句没提的题,也包括“不确定”和“未作答”这两类。报告正文引用的每一个数,都能在这里找到它的原始出处。
它还会标出每道题问的是谁:全部人、还是满足某个条件的人,后者会写清楚条件和样本量。本文所有的发现,没有一个来自正文,全部来自这份表。
自家数据有没有对应的东西
有,而且大多数团队已经有了,只是没当回事:原始事件表。
看板上的每一个指标,最终都能追到某张原始表的某几行。区别在于,看板是加工过的、口径固定的、方便读的;原始表是没加工的、难读的、但能回答“这个数到底是怎么算出来的”。
习惯是:当一个数字和你的预期严重不符时,别在看板上换维度看,直接下到原始表上数几行。多数情况下答案在那儿,而且是十分钟能拿到的答案。这一步和日志分析一步步挖真相里的下钻思路相同。
不用面板行不行
既然面板有固化的风险,那每次新抽一批人不就完了?这个问题值得正面回答,因为答案不是显而易见的。
每次新抽样确实没有固化问题,但它有别的代价。应答率会低得多——打给陌生人的电话调查,愿意接的人比例已经低到让人心惊,而愿意接的那批人本身就特殊。面板起码能保证被邀请的人九成会答。
成本也完全不同。每次重新招募、重新问一遍年龄性别种族,几年下来的花费比维护一个面板高得多,而省下来的钱可以换成更大的样本量和更细的分组。
没有干净的选项,只有不同的代价
所以这里没有正确答案,只有一组权衡:面板换来了高应答率、低成本、可追踪个体变化,代价是这批人不再像一批新抽的人。
每次新抽样换来了样本的新鲜度,代价是低应答率、高成本,而低应答率带来的偏差,很可能比固化带来的偏差还大。
这类权衡在做站时也一样:长期跟踪同一批用户能看到真实的行为演变,但这批人会因为被跟踪而变得不典型;每次看新用户很干净,但看不到任何演变。凡是需要看变化的地方,都得在这两者之间选一个,而选哪个都会在数据上留下印记。长期跟踪的取舍在SERP历史快照与演变追踪体系里有更长的时间尺度。
这三处接缝加起来,到底影响了多少个百分点?
不算出来,前面三节就只是找茬
指出一条数据有问题是很容易的事,容易到有点廉价。真正决定这些指摘有没有价值的,是下一步:把影响算出来,然后接受算出来的结果,哪怕结果是“可以忽略”。
这一节就干这件事。三处接缝,一处能算,一处能给出范围,一处算不了,逐个来。
能算的那一处:施测方式
方法说明给了两个数:线上完成4930份,真人电话完成189份,合计5119份。电话部分占3.69%。
再取皮尤自己那次实验的结果:两种方式之间的差异,平均5.5个百分点。方向按上一节的推测取电话组偏高。
那么这处接缝对总估计的影响大约是:5.5乘以3.69%,等于0.20个百分点。
把这个0.2放进上下文里看
0.2大不大?跟同一份方法说明里的另一个数比一下就知道了:这次调查全样本的抽样误差是正负1.6个百分点。
0.20只有1.6的13%。也就是说,这处接缝带来的偏移,被淹没在这份调查本身的随机波动里,连露头的机会都没有。
再往极端算一次:假如这道题的模式效应达到那次实验里的最大值18个百分点(那是评价家庭生活质量那种极端题的水平,AI认知度不太可能到那个程度),影响是0.66个百分点,仍然小于抽样误差。
所以第一处接缝的结论是:可以忽略
写到这儿我得诚实一点:算出这个结果的时候,我是有点失望的。前面铺垫了那么长,最后算出0.2,像是白忙一场。
但这恰恰是这套动作最该被记住的地方。“可以忽略”是一个结论,不是一个前提。它需要三个数(4930、189、5.5)和一次乘法才能得到,而这三个数分散在两份相隔十一年的文件里。
更要紧的是:在算出来之前,你无法知道它是0.2还是6。两者的处理方式完全不同,而它们看起来一模一样——都是“这里换过施测方式”这么一句话。
为什么那一段的增幅是7,跟前后一样
还有个独立的旁证支持这个结论。施测方式的接缝落在第二格与第三格之间,而那一段的增幅是7个百分点,跟前面一段、后面一段完全相同。
如果模式变更带来了显著的抬升,这一段应该会比相邻的段更陡。它没有。这不能算严格的证明——真实增长和口径影响完全可能互相抵消,恰好凑出一个7——但它跟前面那个0.2的计算结果方向一致,两条独立的线索指向同一个结论,可信度比只有一条时高不少。
能给范围的那一处:题目措辞
第二处就没这么好办了。想算出删掉那句定义句的影响,唯一严格的办法是并行测试:同一次调查里,随机一半人用旧问法、一半人用新问法,两边一减就是答案。
这次没有做。所以这个数算不出来。
但可以框一个范围出来,用的是前后段的增幅。前三段各涨7个点,最后一段涨1个点。
范围怎么框
假设一:如果AI认知度的真实增长在2025到2026年间仍然保持每年7个点的节奏,那么实测只涨了1个点,差掉的6个点就得由题目变更来解释。这是措辞效应的上界。
假设二:如果认知度确实已经到顶(96%的人至少听说过一点,天花板效应是真实存在的),那么真实增长本来就该接近0,题目变更的影响就是0。这是下界。
所以措辞效应落在0到6个百分点之间。而这个区间没法再收窄了——收窄它需要的那次并行测试,已经错过了。
算不了的那一处:面板
第三处彻底算不出来。要算面板固化对这道题的影响,需要的是一次专门设计的比较:新入面板的成员和老成员在同一道题上的答案差多少,再按面板年龄结构加权。
这个数据只有机构自己手里有,公开材料里没有。我能做的只有一件事:把它标成未知,而不是标成没有。
这两者的区别在实践中相当重要。标成“没有”,这条线就干净了;标成“未知”,这条线上就永远留着一个待办事项,等哪天有了新材料再回来看。
三处加总:那个22值多少
把三处的结论并起来:第一处0.2,可忽略;第二处0到6之间,无法收窄;第三处未知,方向可能双向。
那个22个百分点的总涨幅里,至少16个点是硬的,最多6个点存疑,另有一个方向不明的未知量。
所以这条线的最终判定是:可以读,可以引用,甚至可以拿去做决策。“过去五年AI认知度大幅上升”这个结论稳稳成立。会被削弱的只有一句话:那个从7掉到1的转折,不能直接读成“认知度到顶了”。
三处接缝的账,摊成一张表
| 接缝 | 落在哪一格 | 能不能算 | 量级 | 处理方式 |
|---|---|---|---|---|
| 施测方式改变 | 第3格起 | 能,一次乘法 | 约0.2个百分点 | 可忽略,小于抽样误差 |
| 题目措辞改变 | 第5格 | 只能框范围 | 0到6个百分点 | 该格不用于判断拐点 |
| 面板长期固化 | 全程 | 不能 | 未知,方向可能双向 | 标为未知,等新材料 |
这笔账花了多长时间
说个实在的:从决定要算,到算出0.2,全部时间加起来不到一小时。这类判断力属于SEO专家的8项核心能力里最难替代的一项。
大头是找材料——原始分布表在报告页面的哪个位置、方法说明里线上和电话各多少份、十一年前那份实验报告的平均差是多少。真正的计算就一步乘法,用手机自带的计算器就能做完。
相比之下,那条趋势线一旦被误读,代价是按月计的。本文后半段有个具体的例子,一个团队照着一条同比曲线排了三个多月的活。
那我引用的那个5.5,我自己核过吗
问得好,而且必须回答。一篇讲“别人的数字有接缝”的文章,自己引用的数字如果不核,就是双标。
把那个5.5按本文的三个问题过一遍:什么时候测的——2014年7月到8月施测,2015年5月发布,距今已经十一年多。怎么问出来的——3003人随机分配到电话和网页两组,这一点很干净,是真正的实验设计。问的哪批人、哪些题——60道该机构常问的题,覆盖社会态度、政治评价、生活状况,不包含任何一道“你对某项新技术了解多少”这样的题。
核完之后,这个5.5该怎么用
三问过完,结论是:这个5.5只能当量级用,不能当精确系数用。
十一年过去,人对着屏幕和对着真人说话的差别可能已经变了;60道题里没有本文这一类;而且它测的是随机分配下的纯方式效应,跟自选分组的情况不完全对得上。
所以前面那个0.2,正确的读法是“大约零点几个百分点”,而不是“0.20个百分点”。它足以支持“可以忽略”这个判断,不足以支持任何更精细的说法。这个区别看着小,但它决定了这个数能不能写进正式报告。
一条自查用的反问
最后留一句可以随身带的反问:当你说某个口径变更“影响不大”的时候,你是算过,还是觉得?
这两种情况在会议室里说出来的话是一模一样的,都是“这个影响不大,可以往下走”。区别只在于说话的人心里有没有一个数。而这个区别,是唯一能把一次判断和一次猜测分开的东西。
同一份报告里还有一笔更该算的账
接缝算完了,但同一份材料里还有另一类需要动手算的东西,性质不同,值得放在这一节一起说,因为它们共用同一个动作:把一个合起来的数拆回原样。
报告里有这么一句:67%的美国人对政府有效监管AI没什么信心,比2024年的62%略有上升。
这个67%是加出来的
翻到原始分布表,这道题的完整选项是五档加两类:非常有信心1%、比较有信心4%、有一些20%、不太多41%、完全没有26%、不确定7%、未作答接近零。净值和分层的差别在GEO三层可见性指标拆解里也出现过。
41加26等于67。报告里那个67%,是把“不太多”和“完全没有”两档合并出来的。
这个合并完全正当,几乎所有调查报告都这么做,不合并的话一句话里得塞五个数,没法读。但合并会抹掉一件事:这67个人里,有41个是“不太多”,26个是“完全没有”,态度强度差着一档。
合并会掩盖内部的移动
更要紧的是跨年对比。2024年那次的两档是41%和21%,合起来62%。
两年之间,“不太多”这一档一动没动,还是41%;整个5个百分点的上升,全部来自“完全没有”那一档,从21%涨到26%。
这两种说法在事实上等价,在含义上差很远。“不信任的人多了5个点”听起来是温和的漂移;“不信任的人没变多,但其中态度最强硬的那批多了5个点”,说的是另一件事。
还有一个反向的细节
另外,2026年选“不确定”的是7%,2024年是9%。两年之间,“不确定”少了2个点。
而这两个点的人去哪儿了,数据说不了。他们可能变成了“不太多”,也可能变成了“有一些”。合并出来的那个67%,分母里是包含这些“不确定”的人的,所以“不确定”比例的变化本身也会推动这个净值。
这不是错误,这是净值这个指标的正常行为。只是读的时候得知道,一个净值可以在两档实质选项都没动的情况下变化。
最大的一处:总体平静,内部剧烈分化
这份报告里还有一处对比,是我读下来最有冲击力的一处。
同一个“对政府监管没信心”的指标,两年之间总体从62%涨到67%,动了5个点。
而按党派拆开看:共和党及倾向共和党的人从70%降到61%,掉了9个点;民主党及倾向民主党的人反向上升了20个点,到74%。
5个点和29个点
把这两个方向的移动加起来,两党之间的相对变化是29个百分点。而总体的读数只动了5个点,只有党派极差的17%。
原因很简单:两党人数相当、方向相反,绝大部分互相抵消了。总体那个温和的加5,是一次剧烈分化的加权平均。
如果只看总体那条线,会得出一个完全错误的画面:公众对政府监管AI的信心在缓慢下滑。真实情况是,两个阵营朝相反方向各跑了一大截。
这件事在自家数据里天天发生
这个机制换个场景就眼熟了:全站转化率纹丝不动,拆开看是新客在跌、老客在涨;或者整体客单价持平,实际是低价品在涨量、高价品在掉量。拆开看才发现方向相反,社媒指标拆成四层漏斗是同一类操作。
总量层面的“稳定”,非常经常是两股相反力量正好抵消的结果。而抵消得越干净,曲线看起来越平静,越没人想到要拆开看。
所以那条判据可以再加一句:不只是变化异常的那一段要查,异常平静的那一段同样要查。平静有两种,一种是真没事,一种是两件大事打了个平手。
报告自己也给了一个好例子
公道地说,这份报告在另一个地方做了件很规矩的事,值得学。
凡是只问了“使用聊天机器人的人”的题,原始分布表里都给了两套数字:一套以使用者为分母,一套以全体成年人为分母。比如用聊天机器人搜索信息这件事,在使用者里是86%,换成全体成年人是42%。双分母并列的写法,DTC私域社群5维指标看板里也用过。
两个数都印出来,读的人就不容易搞错。这是我见过处理分母问题最省事也最有效的做法:不解释,直接把两个都给出来。自家做数据周报,完全可以照抄这个格式。
天花板效应本身也得算一笔
前面提过一句“认知度到顶了”,这个解释值得算一算,不然它也只是一个感觉。
这份调查里,说自己对AI完全没听说过的比例,五年下来是15%、10%、6%、5%、3%。换句话说,2026年已经有96%的人至少听说过一点。
剩下能往“听说过很多”这一档流入的池子,主要来自“听说过一点”那48%。池子还很大,天花板远没有到——真正到顶的是“至少听说过一点”这个指标,它已经96%了,而“听说过很多”才48%。
所以到顶这个解释也不牢靠
这就有意思了。前面说过,那个从7掉到1的转折有两个解释:到顶了,或者换题了。
现在把数算完会发现,到顶这个解释本身也缺乏支持——可流入的池子还剩将近一半的人。它没有被排除,因为流入速度完全可能自己慢下来;但它也没有像看上去那么理所当然。
两个解释都不牢靠,这个结论听起来令人沮丧,实际上很有用:它意味着这一格不该被用来支持任何结论,无论哪个方向。承认这一点,比强行选一个解释要诚实得多。
顺带一个反向的例子
同一份材料里还有一条线走势完全相反,可以当对照:说自己对AI聊天机器人听说过很多的比例,2024年是28%,2026年是44%。
两年涨16个点,而且这道题两次的问法和选项完全一致,中间也没有跨越施测方式的变更。这条线短,但它比那条五年的线干净得多。
线短不等于不好用。两个点、口径一致、跨度合适的对比,往往比五个点、跨越三处接缝的曲线更值得信。这一条我觉得很多人会觉得反直觉,但它是本文所有分析里最直接的一个推论。短周期实验的设计见AI引用怎么实测那篇的30天对照。
欧盟统计局为这一件事发了21个代码
有一套体系专门处理接缝
前面几节像是在自己发明一套办法。其实不用发明——这件事在官方统计领域早就被系统地解决过,而且解决得相当彻底。
欧盟统计局维护着一份叫做观测状态的代码表,通过公开接口就能取到全文。它的用途是:每一个发布出去的数字,除了数值本身,还可以挂一个状态码,说明这个数处于什么状况。
先看这张表有多大
我把这份代码表原样取下来数了一遍:一共42个码。
其中含有“时间序列断点”这个词的,有21个,正好占一半。含有“定义与前不同”的,也是21个。两者兼有的,有10个。
停一下想想这个比例。一份专门用来描述“这个数字处于什么状态”的官方代码表,一半的码是在说“这一格跟前面接不上”。这说明在需要长期发布数据的机构眼里,接缝不是偶发事故,是最常见的状态之一,常见到必须给它准备一整套编码。
最基础的那个码
最短的码是单个字母b,含义就是“时间序列断点”。用法有明确规定:这个标记要挂在断点之后的第一个时间期上。
这个规定值得多看一眼。它没有说“在文档里说明一下”,也没有说“在图注里提一句”,而是要求把标记挂在那个具体的数据点上。数据传到哪儿,标记跟到哪儿。
然后是一堆组合码
b只是起点。往下有一长串组合:bd是断点加上定义与前不同;be是断点加上该值为估算;bf是断点加上该值为预测;bp是断点加上该值为初步数;bu是断点加上该值可靠性低;bi是断点加上该值由统计局或接收机构填补;bm是断点加上该值缺失且按定义不可能存在。
还能继续叠:bdep就是定义与前不同、有断点、该值为估算、且为初步数,四层含义压在四个字母里。
整张表里最有意思的一个码
但真正让我停下来的是这个:bn,含义是“时间序列断点,不显著”。
还有一个更完整的版本,bdn:定义与前不同、有断点、不显著。
请把这个码的含义读慢一点。它说的是:这里确实有一处断点,我们评估过,影响不显著,你可以照常使用这个数——而这句话,我们要用一个专门的代码郑重地告诉你。
为什么“不显著”也要单独发一个码
因为“可以忽略”是一个判断,而判断必须有人做、有人署名。
如果“影响不显著”的处理方式是什么都不标,那么它和“压根没人看过这里”在数据上就长得一模一样。读数据的人无法分辨这两种情况,只能默认后者不存在。
发一个bn出去,等于发布方说:这里我看过了,我判断可以忽略,责任在我。整个体系的重心在这里——不是防止断点发生,而是防止断点无人认领。
把这套规则套到那条AI趋势线上
现在做一件挺有意思的事:拿这套为官方统计设计的规则,去标注一份2026年的调查报告。逐格来。
| 时点 | 数值 | 这一格发生了什么 | 按这套规则该挂什么码 |
|---|---|---|---|
| 2022年12月 | 26% | 基准,纯线上施测 | 无 |
| 2023年8月 | 33% | 与前一格同问法、同方式 | 无 |
| 2024年8月 | 40% | 施测方式改为线上加电话 | b(断点) |
| 2025年6月 | 47% | 与前一格同问法、同方式 | 无 |
| 2026年2月 | 48% | 题目删去定义句,问法改变 | bd或bdn(定义不同、断点,是否不显著取决于评估) |
五格里有两格该挂码。而实际挂着的是零格——不是被隐瞒了,是折线图这个载体压根没有挂码的位置。
第五格到底该标bd还是bdn
这个选择很能说明问题。bd是“定义不同、有断点”,bdn多一层“不显著”。
要标bdn,得先证明不显著;而按上一节的计算,题目变更的影响落在0到6个百分点之间,范围里既包含可忽略也包含相当可观。所以严格地说,现有材料只够标bd,不够标bdn。
要够到bdn,需要那次没有做的并行测试。一个代码的严格程度,能反过来指出缺了哪份材料——这是我没想到的用法。
他们还会做一件更狠的事
标记只是第一步。在欧盟的劳动力调查里,遇到重大修订造成的断点,除了打标记,还会尽可能提供经过断点校正的数据,也就是把新旧口径之间的差异估出来,回头把历史数据换算成新口径,让整条线重新可比。
这件事成本很高,需要一段新旧口径并行运行的时期。但它给出了一个清楚的层次:最好的做法是校正,次一等是标记,最差的是既不校正也不标记。
大多数商业数据和行业报告,稳稳地待在第三档。
差距不在能力,在制度
我不认为这是水平差距。写调查报告的人完全知道题目改过,他们自己把脚注写出来了。
差距在于有没有一个位置能容纳这条信息。统计局有一个字段,任何一个数取出来都自带状态码,转到哪儿都跟着;报告只有一个页脚,页脚不跟着数字走。
换成做站的场景一模一样:数据看板里有没有一个地方,能让某条曲线的某一格自带一行“这里改过埋点”?多数看板没有这个位置。没有位置,这条信息就只能靠人的记忆传递,而人是会离职的。
这套东西怎么用到自己的数据上
不需要照搬42个码。三个就够用:改过定义、改过采集方式、改过口径范围。
做法可以粗到极点:在指标文档里给每个核心指标加一列“断点日期”,值就是一个日期加一句话。埋点改过写日期,工具换代写日期,子域名并进来写日期。只要它跟指标定义存在同一个地方,就比写在某次周报里强一万倍。
再进一步,是在看板上把这些日期画成竖线。成本不高,效果立竿见影——一条竖线穿过曲线,比任何文字说明都更能让人在读同比之前停一下。这个思路和数据分析师与SEO对账清单那篇讲的埋点变更登记是一回事,那篇管流程怎么跑,这篇管为什么非跑不可。
一句可以直接抄走的话
如果这一整节只留一句,我会留这句:接缝不可怕,无人认领的接缝才可怕。
官方统计体系花了几十年,最后落到的不是“不许有断点”,而是“断点必须有人签字”。这个思路可以原样搬进任何一个团队,而且不需要任何工具支持。
接缝是在传播链的哪一级掉光的
说了半天标记该挂在哪儿,不如实地看一遍这条信息在传播中是怎么消失的。这条链有四级,我逐级查了。
第一级是原始分布表:三处接缝里有两处写在这里,位置是页脚小字,编号脚注。第二级是报告正文:一处接缝的脚注被提到了第一页最显眼的关键要点上,另一处只字未提。监测口径本身也会失真,Prompt Tracking的4大误区拆过一类。
第三级和第四级
第三级是英文媒体转载,第四级是中文科技媒体的报道。跨语言转述里的口径漂移,十种语言里十份口径一致的资料拆得更细。
我找了几篇中文报道来看,其中一篇的写法很典型:标题直接用了使用率49%这个数,正文里写着美国成年人的聊天机器人使用率从33%攀升至49%,后面跟着一串数字——ChatGPT 44%、Gemini 24%、Copilot 17%、Meta AI 14%,还有67%对政府监管缺乏信心。
然后是这篇报道里没有的东西:没有样本量,没有调查时间,没有任何方法说明,也没有给出原报告的链接。
最讽刺的一点在这儿
请注意被搬走的是哪几个数。
33%到49%那条,正是发布方在报告第一页的第一个要点上专门加了脚注的那条——脚注说得清清楚楚:2026年之前这道题问的是“你是否曾经用过”,而且只问了听说过聊天机器人的人。
那几个聊天机器人并排的数,正是分半设计、样本量差一倍的那几个。67%那个,正是两档合并出来的净值。三处需要注解的地方,三处全被原样搬走,注解一处没跟上。
这不是谁的错
我不认为写这篇报道的人有什么问题。他做的事情是:从一份83页的英文报告里挑出对读者最有用的几个数,翻译,成文。这个工作本身是有价值的,没有它,中文读者接触不到这份研究。同一个问题在不同语言里给出不同结论,见同一个问题问十种语言。
而脚注天生就不是用来传的。它挂在页面底部,靠一个上标数字跟正文关联,一旦内容被摘出来重排,这个关联就断了——不是被删除,是根本没有被搬运的机制。
把两套体系并排看
现在把统计局那套和报告这套并排比,差别一目了然。
| 对比项 | 观测状态码 | 报告脚注 |
|---|---|---|
| 信息挂在哪 | 数据点本身 | 页面底部 |
| 取数时会不会带上 | 会,是数据的一个字段 | 不会 |
| 机器能不能读 | 能 | 不能 |
| 转载会不会丢 | 不会,除非主动丢弃 | 必然丢 |
| “已评估、可忽略”怎么表达 | 有专门的码 | 只能写一句话,或者不写 |
关键差别就一条:一个跟着数字走,一个不跟着数字走。剩下的所有区别都是这一条的推论。
所以该改的是载体,不是态度
这就是本文最想说的那个结论。
你没法要求每一个转述数字的人都去读原始分布表,这个要求不现实,也不该提。能改的是让这条信息变成数字的一部分,而不是数字旁边的一段说明。
在自家数据里,这件事的成本低得惊人:指标名后面直接带上口径版本,比如某个指标写成“自然搜索新客占比(口径v2,2024年10月起)”。名字会跟着数字走,说明不会。这个改动不需要任何工具支持,改一下报表的列名就行。
命名这件事的杠杆有多大
把限定语焊进名字里,是我见过性价比最高的一个习惯。锚文本层面的同类问题见屈折语站的锚文本报告。
因为一个名字在被复制、被截图、被转述、被塞进PPT的时候,是整体搬走的。而说明文字在同样的过程里会被逐层剥掉,剥到最后只剩一个光秃秃的数。
想让某条信息活下来,就得让它在语法上成为必需品。“同比涨了5个点”可以随口说;“口径v2的同比涨了5个点”,说的人自己会先卡一下——而卡这一下,就是全部的目的。
断点校正为什么大多数人做不起
前面提到欧盟劳动力调查会做断点校正,把历史数据换算成新口径。这件事听起来很美好,但它的前提值得摊开说,因为这直接决定了普通团队能不能学。
要算出新旧口径之间的换算系数,必须有一段两套口径同时运行的时期。没有并行期,就没有任何办法知道差多少——这不是技术问题,是逻辑问题,你不可能从只用一把尺子量出来的数据里,推断出另一把尺子会量出什么。前后测的设计要点见提示词级前后测实验框架。
所以真正的成本在于提前量
并行期必须在改口径的时候就安排好。改完之后再想补,永远补不上。
这就是整件事最难的地方:需要在“决定要改”和“开始改”之间,插进一个通常没人想到的动作。而做这个决定的时候,注意力全在新口径好不好上,历史数据还能不能接是一个完全不在视野里的问题。
好在自家数据的并行成本比调查低得多。多写一份数据而已,存储便宜得可以忽略,麻烦的只是记得要写。所以这件事在自家场景下几乎是纯纪律问题,不是资源问题。回滚与并行的成本账,Headless CMS上线半年回滚复盘算过一次。
做不起校正的时候,退到哪一档
如果并行期已经错过了,那校正就没戏了,只能退到第二档:标记。
标记的成本接近零,而它保住了最关键的那部分价值——读数据的人知道这里不能直接减。他可能因此把两段分开看,可能去找别的证据,也可能干脆放弃这个对比,但至少他不会拿一个混着口径差的数字去排期。
第三档才是现状:既不校正也不标记,让曲线看起来严丝合缝。这一档的问题不在于数据不准,而在于它把不确定性伪装成了确定性,而后者比前者危险得多。把不确定性说清楚这件事,流量下降不等于SEO失败那篇也绕不开。
一条同比曲线,怎么让一个滑雪装备站排掉三个月?
先交代这个站的底子
去年冬天保哥帮一个做冬季运动装备的团队复盘,他们卖雪板、固定器、雪鞋、雪镜和护具,主要打北美和阿尔卑斯周边市场,客单价从80美元的护具到600美元的整套板件都有。公司二十来人,管站点和运营的五六个。
这个品类有个跟别处不太一样的地方:一年里的生意几乎全压在几个月里。所以他们每年做一次雪季复盘,比大多数团队都认真——因为一年只有一次机会看清楚。
那条被盯了四年的曲线
复盘里最核心的一条曲线,是雪季内自然搜索带来的新客占比。四年的数字大致是这样一条线:先涨了3个点,再涨3个点,然后只涨了1个点。
形状很干净:连续两年稳定上升,第三年几乎停住。
会上的读法当场就定了:自然搜索这条路走到头了,剩下的增长得靠付费买。这个判断听起来完全合理,任何一个看到这条曲线的人大概都会这么说。
接下来三个多月做了什么
两个人排了三个多月:重做付费落地页、重整投放账户结构、按品类重新做素材、把预算往付费那边挪了一大块。
活儿本身做得不差,落地页确实比原来好。但结果是付费的投产比没什么改善,自然搜索那个占比也继续平着。钱花出去了,曲线没动。
破局的人是新来的
转折点很不起眼。一个新来的运营要排下个雪季的内容日历,需要知道去年雪季的起止日期,就去翻了指标文档。
然后她发现一件事:今年这份文档里写的雪季,和前年那份不是同一段时间。
她把这事发到群里,问了一句很朴素的话:那我们这四年的数,是按同一段时间算的吗。
雪季的定义改过一次,而且改得有道理
查下来是这样:前两年,雪季定义是11月到次年3月,就是北半球的滑雪季。第三年他们开了南半球市场,那边的雪季正好反过来,于是把统计窗口往两头各拉了一个月,改成10月到次年4月。
这个改动完全正当,甚至可以说是必须的——不改,新市场的生意就落在窗口外面,整个复盘都是错的。
问题只出在改完之后没做的那件事:历史数据没有按新窗口重算,而且这次改动没有出现在复盘材料的任何一页上。
拉长的那两个月,恰好是自然搜索占比最高的两个月
这里是全案最关键的一处。新加进来的10月和4月,是雪季的头尾,属于淡季。
淡季有个特点:付费广告基本不投,因为转化差、买流量不划算。付费不投,这两个月的新客里自然搜索的占比就特别高。
把这两个月并进分母之后,整个雪季的自然搜索占比被抬上去了。那个第三年的加1,有相当一部分不是自然搜索变好了,而是窗口变长带来的。
反转在这儿:真实情况是在跌
顺着这条线往下算,结论就掉了个头。
如果把第三年的数按原来的11月到3月重新算一遍,自然搜索占比不是持平,是在往下走。窗口拉长恰好把这个下滑托住了,让它在图上看起来像是到顶了。
而团队三个多月的活,是照着“到顶了”这个判断排的。真实情况是自然搜索本身在退,该做的是去查它为什么退,而不是加大付费。
五份材料,四份说不出话
后来把手上的材料摊开重看,五份里有四份根本没有信息量。
复盘PPT里没有一行提到统计窗口改过;流量分析看不出改版前后有显著差异;那阵子跑的A/B测试样本量不够,报告上写着无法得出结论;广告后台的曲线也没有任何拐点。
只有第五份材料一直在说话,而没有人固定看它。
那份没人看的材料:站内搜索里搜不到结果的词
第五份是站内搜索的零结果查询词表——用户在站内搜索框里输入、而站上没有对应结果的那些词。
这份表里,关于固定器和雪鞋能不能配的问法,从某个季度开始一直在往上走,涨了两个多季度。各种问法都有,都是在问一双鞋和一副固定器能不能装在一起。零结果词的价值在零搜索量关键词到底有没有用那篇里也谈过。
没有人固定看这张表。原因也不难猜:它是一堆文本,进不了看板,做不成趋势线,也没法在周会上投到大屏上说这周涨了几个点。
为什么偏偏是这份材料没被筛过
把五份材料的性质排一排,会看到一件事。同样的盲区在KPI仪表盘全是绿灯那篇里是从指标侧切的。
流量分析、广告后台、A/B报告、复盘PPT,这四份的共同前提都是“这个人已经在你的商品结构里走到了某一步”——他看到了某个页面、点了某个广告、进了某个实验分组。它们记录的全是用户在你已有的东西里表现如何。
只有零结果查询词的前提相反:它记录的是用户想要、而你没有的东西。它的偏移方向和前四份正好相反,所以它才补得上前四份的盲区。
真正在变的东西,那条曲线上根本没有位置
顺着那些搜索词查下去,真正在动的是产品端的一件事:滑雪鞋的鞋底型号这几年在换代。售后侧的观察边界,账户中心的体验报告里有2条没给达标率讲得更细。
市面上逐渐普及的一种新底型,走路更舒服,但它和老式固定器不一定装得上,需要固定器支持对应的兼容规格。买家自己往往分不清手里这双鞋是哪种底,也不知道要看固定器上的哪个标识。
而这个信息,在他们站上散落在商品描述的第三段和参数表深处。那条自然搜索占比的曲线,永远测不到这件事——它测的是人从哪儿来,测不了人来了之后卡在哪儿。
最扎心的一击
把四年的数按统一窗口重算,花了不到两天。重算完之后,那四个数一个都没有被推翻——每一个在它自己的窗口里都是对的,变的只是第三年那个数前面多了一句“按新窗口”。
就这一句话,把“自然搜索到顶了”变成了“自然搜索在退”,把三个多月的排期方向整个掉了个头。
团队里有人问:那这两天不是白做了吗。答案是:白做的不是这两天,是之前那三个多月。而那三个月里,鞋底兼容这件事一格没往前挪,机会成本不出现在任何一张报表上。
还有一层,跟本文前半段是同一个错
这个案例最值得说的地方在最后。
他们批评的是外部数据不标注口径变更;而他们自己那条曲线的口径变更,也没有任何人标注。改窗口的人知道自己改了,做复盘的人不知道,看复盘的人更不知道——不是隐瞒,是这条信息在流转过程中没有一个能挂住它的地方。
这跟前面那份调查报告的处境一模一样:写脚注的人尽了责,但脚注这个装置本身就不跟着数字走。
后来做了三件事
复盘之后落地的三件事都不大。
第一件,指标文档里给每个核心指标加了一行断点日期,改过什么、哪天改的,一句话。第二件,看板上把这些日期画成竖线,读同比的时候会先撞上它。第三件,把零结果查询词表按周自动汇总一份进周会,只看变化最大的那几条。同类年度盘点的做法见AI工具栈年度审计。闭环怎么搭,AI引用率监控闭环4步实战给过一版流程。
另外产品那边把鞋底兼容做成了一张对照表提到主图区下方,加购时检测到型号不匹配会给提示。这几件事,没有一件来自那条被盯了四年的曲线。
为什么这个坑要等到第四年才被发现
回头看这个案例,最值得琢磨的不是他们踩了坑,是坑埋了整整一年才被踩出来。
改窗口那年,曲线还在往上涨,涨了1个点。涨着的时候没有人会去查口径——查口径这个动作,几乎只在数字变难看的时候才会被触发。
而这次的口径变更恰好是往上抬的,它把一次下滑抬成了持平。持平这个形状,既不好看到让人高兴,也不难看到让人查账,正好落在最不会被追问的那个区间。
顺手做掉的那件事,让项目更难叫停
还有个细节在很多类似的项目里都出现过。
那三个多月里,他们顺手把一批历史广告素材的命名规范统一了,这件事本身很有用,团队也一直觉得该做。于是每次有人隐约觉得这个方向是不是不太对的时候,都会想到“至少素材规范理顺了”。
投入越多越舍不得停,而顺手做掉的那些有价值的小事,会让这种舍不得更有底气。叫停的最佳时机恰恰在最早期,那时候沉没成本最小,但那时候也最没有证据支持叫停。
那份查询词表为什么没进过看板
值得多问一句:零结果查询词这份材料一直存在,为什么没人固定看。
技术上完全能取到,站内搜索的日志里就有。问题在于它是一堆文本,不是一个数。文本进不了看板,做不成趋势线,也没法在周会上说“这个指标本周涨了几个点”。
更现实的一层:看板上的每一格都需要有人为它的涨跌负责,而一列杂乱的搜索词没法分配给任何人。于是它就一直躺在那儿,谁都能查,谁都不查。
后来他们是怎么把它接进流程的
解法比想象中简单。他们没有给它做仪表盘,而是每周自动导出变化最大的十几个词,贴进周会文档的最后一页。
不设指标,不设目标,不追责。唯一的规则是每周必须有人念一遍。
这个做法之所以能活下来,是因为它没有试图把文本变成数字。把定性材料硬塞进定量流程,通常两边都做不好;让它以定性的方式待在流程里,反而活得下去。
这个品类还有一层特殊性
冬季运动装备有个别处少见的特点:一年只有一次校准机会。
做快消或者日用品,一个判断错了,一两个月就能从数据上看出不对。做雪季生意,一个方向排错了,得等到下一个雪季才知道,而那时候已经过去一整年。
所以这类品类对口径的要求反而更高——可校验的次数越少,每一次判断的分量就越重,而判断的依据几乎全部来自跨年对比。偏偏跨年对比又是最容易出接缝的地方。
换个品类,同一个机制怎么出现
这个坑不是滑雪装备独有的。凡是生意有明显季节性或者周期性的品类,都会遇到同一件事:统计窗口的定义会随着业务扩张而变,而窗口一变,所有跨期对比都换了分母。
开了新市场、加了新渠道、把某条产品线并进来、把某个海外站点合并进主报表,每一件都在改窗口或者改范围。这些改动全都是业务在往前走的证据,也全都是曲线上的接缝。扩张期的口径问题在出海独立站怎么选niche市场里也绕不开。
业务扩张和数据可比在这里是天然对立的,跟前面说的准确性与可比性的冲突是同一件事的另一副面孔。
如果重来一次,最该做的是哪一件
把这个案例复盘到底,如果只允许改一件事,我会选:改窗口的那一刻,在复盘模板里加一行字。
不是重算历史数据——那件事成本高,而且当时也未必想得到要重算。就是一行字:本次统计窗口为10月至次年4月,与前两年的11月至次年3月不同。
这行字不解决任何问题,但它会让第二年做复盘的人在读那条曲线之前先看到它。整个案例里,从这一行字到那三个多月的排期,中间就只隔着这一次提醒。
那三件事后来的效果
补一句后续,免得这个案例停在教训上。
鞋底兼容对照表提到主图区下方、加购时检测型号不匹配给提示,这两件加起来大约三周。下一个雪季,固定器和雪鞋这两个类目从加购到下单的转化明显好转,买错规格导致的退货也降下来了。
指标文档里那一列断点日期,第一次填的时候查出了四处以前没人记录的口径变更,其中两处的时间点连当事人自己都记混了,是翻代码提交记录才确认的。这件事本身就说明,靠记忆传递口径变更是不成立的。
看板上那几条竖线,效果比想象中大
最意外的是那几条竖线。加上之后,会上讨论同比数字的方式变了——以前是先说涨跌,再有人问原因;现在是先看有没有撞上竖线,再说涨跌。会上怎么把发现推成行动,销售团队SEO协作7动作账本是另一种落法。
顺序换了一下,讨论的质量差很多。因为一旦先看到竖线,那句“同比涨了多少”就没法脱口而出,说话的人必须先交代自己用的是哪一段。
这三件事没有一件来自那条被盯了四年的曲线,全部来自一份没人固定看的搜索词表和一次翻文档的偶然。
拿到一条趋势线,先做哪六件事?
这六件事怎么排的
下面六件按两个维度相乘排序:拿到成本有多低,以及结论能不能直接变成动作。前四件加起来大约50分钟,第五件半天,第六件成本为零但最难坚持。
全部不需要预算、不需要埋点、不需要开发排期,其中前三件关起门自己就能做完。
第一件:数格子,把每一格的日期抄下来
10分钟。打开那条曲线,数清楚有几个数据点,把每个点对应的测量日期抄成一列。注意抄的是测量日期,不是发布日期——这两个经常差好几个月,而图上标的往往是后者。
排第一是因为它一次性决定了后面所有动作的对象,而且完全不需要判断力:有几个点是客观的,日期在不在也是客观的。
某一格查不到测量日期,这件事本身就是结论。别在那儿纠结,直接在那一格写“日期未标注”,然后往下走。
第二件:抄下每一格的定义原句,不是抄数字
20分钟,六件里最见功夫的一件。
把每一格背后那个指标的定义原句抄下来:调查数据抄题目全文,自家数据抄指标文档里的定义。抄定义不是抄数字——数字你已经有了,抄一遍毫无收获;定义才是解释数字为什么变的地方。
这一件的产出常常是刺眼的:两格之间的定义句只差几个字,而那几个字正好改变了分母。前面那个滑雪站的例子里,改动就是把两个月份并了进来,写在文档里只有一行。
第三件:算相邻两格的差值,盯那个不一样的段
5分钟,纯算术,收益却出奇地高。
把相邻两格一减,得到一列变化量。然后只看一件事:有没有哪一段跟其他段明显不一样。
本文那条线是7、7、7、1,突变段一眼就能挑出来。滑雪站那条是3、3、1,也一样。增幅突变的那一段,是接缝最可能藏身的地方——它未必真有接缝,但先查它的性价比最高。
第四件:给能算的接缝算一个量级
15分钟,六件里唯一需要动脑的,也是唯一能把“我觉得有问题”变成“影响大约是零点几个点”的一件。
算法可以极粗。找出受影响的那部分占多大比例,再乘上一个合理的影响幅度,得到量级。要的是零点几还是好几个,不是小数点后两位。
本文那个例子就是一次乘法:电话完成的部分占3.69%,方式差异按5.5个点算,结果0.2。算完发现可以忽略,这个结论跟算完发现很严重同样有价值——区别在于前者能让你放心往下走,而不是带着一个悬着的疑问做决定。
第五件:给自己的核心指标建一列断点日期
半天,六件里唯一能产出一张待办清单的。
把自己的核心指标列出来,逐个问一句:这个指标的定义、采集方式、覆盖范围,最近三年改过吗,哪天改的。改过就记一行日期加一句话,没改过就写“未变更”,不要留空。哪些指标该留该换,2026该淘汰的9个SEO指标给过一份对照。
留空和写“未变更”看着差不多,实际差很远:留空像是忘了填,写上是“查过了,没改”。这个区别在半年后回头看的时候,价值是全部。
⚠️真正花时间的不是查,是跟人确认。埋点改过一次这种事,往往只有当时那个开发记得,而他可能已经在别的项目组了。
第六件:以后画趋势线时,把断点画成竖线
成本为零,难在坚持。
在任何一张跨期对比图上,把已知的口径变更画成一条竖线穿过去,旁边一句话说明改了什么。不需要工具支持,截图之后用画图软件划一条也行。
这件事的作用不是提供信息,是在读图的人张嘴之前,先让他停一下。一条竖线挡在那儿,“同比涨了多少”这句话就说不利索了,而说不利索恰恰是目的。
卡点挂在指标定义文档上
这套动作要长期活下来,得挂在一个具体的文档上。我选的位置是指标定义文档,也就是通常说的数据字典,每个指标条目下加一行必填:本指标的定义、采集方式或覆盖范围最近一次变更的日期与内容。
不设选项校验,不设审批,判定只有两种:填了和没填。
选这个位置的理由很硬:改口径的人,一定会来改这份文档。他可能不写周报、不发群公告、不更新看板说明,但他必须把新定义写进数据字典,否则下游没法算。这是整条链路上唯一能保证“改的人”和“这行字”必然相遇的地方,在这里加一行,是成本最低的拦截点。
四条边界,说在前面
第一,这套动作只对有定义可查的数据有效。连指标怎么算的都说不清楚的数据,不存在接缝问题,因为它整条线都不能用。
第二,定义没改不等于测的是同一件事。定义一个字没动,采集侧的实现悄悄变了,同样会产生接缝,而这种接缝更难查。
第三,它治的是“这个变化里有多少是真的”,治不了“这个指标该不该是核心指标”。后者要靠对生意本身的判断,跟数据口径没关系。
第四,标出了接缝不等于修好了。标记只是让人知道该谨慎,真要让整条线重新可比,得做回算,而回算需要一段新旧口径并行的时期。
口径迁移必须提前打招呼
做完这六件事之后会发生什么,最好提前跟团队说清楚,否则容易被理解成在拆台。
可以用的曲线一条都不会少,能支撑决策的结论也不会变少。变的只是一部分曲线上会多出几条竖线,几个同比数字前面会多一句“按新口径”。
而这几句话会让一部分“持续增长”降级成“口径调整后的持续增长”,让一部分“已经到顶”翻案成“其实在退”。第一次做完,核心指标里被打上断点标记的通常在三到四成之间;第二次会明显少,因为改口径的人已经养成了顺手记一笔的习惯。
措辞比动作本身更重要
这一点在会议室里的分量,可能超过前面所有内容。
说“这条曲线不可信,口径都变过”,效果基本是零。因为这是在评价一份材料,而材料是某个同事做的,评价材料等于评价那个人的活干得怎么样,接下来半小时就跑偏到“这份数据到底靠不靠谱”上去了。怎么把结论翻译成业务语言,CMO看不懂SEO报告那篇专门讲过。
换成这句:“这四个数不是按同一段时间算的,我按同一段重算了一遍,第三年那个数是这样。” 这句话里没有任何评价,只有一个动作和一个结果,而且动作是自己做的。听的人不需要承认任何事情,会议自然转向“那按新的算法,我们该怎么办”。
本批的两条额外体会
第一条有点反直觉:越是形状漂亮的曲线,越该先查。
锯齿状、上下乱窜的曲线,没人敢直接拿它下结论,天然就带着怀疑。而一条平滑的、匀速上升的、最后微微收口的曲线,看起来就像一个完整的故事,所有的信息都压在差值上,也就意味着所有的接缝都藏在差值里。漂亮的形状会替你把判断做完,这正是它危险的地方。
第二条:时间跨度越长的曲线越值钱,也越该查,可现实里恰恰相反。
标着“十年数据”的图看起来最权威,转发时最有底气。但十年里发生过至少一次口径变更的概率,接近百分之百——工具换代、组织调整、业务边界变化,哪一样都够改一次口径。越长的线,越不可能是同一支温度计量出来的。
三句话判断一条趋势线能不能直接读
六件事之外,还需要一个更快的判断,用于决定要不要花那50分钟。三句话,按顺序问。
第一句:这条线上每个点的测量日期,图上标了吗。第二句:这条线跨越的时间里,指标定义或采集方式改过吗,改动记在哪。第三句:相邻两段的变化幅度里,有没有明显不一样的那一段,它是不是正好落在改动附近。
三问全过,这条线可以直接当基准用;过前两问,可以当线索用;第一问就答不上来的,只能当行业动态读,也就是知道有这么回事,但不拿它排期、不拿它做预算。
30秒粗筛:数一数这条线有几个点
如果连三句话都嫌慢,还有一个更粗的筛子,30秒能做完,而且完全不需要判断力。
数一数这条线上有几个数据点。两个点的不叫趋势,叫一次对比;三个点勉强能看方向;五个点以上而没有任何一格标注过口径说明的,直接降一档使用。
这个粗筛的好处是,它不需要你先怀疑什么,也不需要你打开任何链接。点的个数要么在要么不在,口径说明要么有要么没有。
这套判据对内部材料命中率更高
最后提醒一件事:上面这些动作,用在外部报告上效果不错,用在自家的历史数据上,命中率会高得多。
原因很直接。外部报告至少有个发布方在维护口径的一致性,改了通常会写一句;自家的指标是随着业务一路改过来的,改的人各不相同,绝大多数改动从来没有被记录过。
再加上一条:外部报告你只是引用,错了顶多结论跑偏;自家数据是直接拿来排期和分预算的,错一次的代价按月计。所以真要挑一个地方开始做,应该从自己这边开始。
先查自己的,还有一个额外的好处
从自己这边开始,还有个附带收益:亲手在自家数据上撞过一次接缝的人,再去看外部报告的口径说明时,眼光完全不一样。
没撞过的人,看到“本指标口径于某年某月调整”这句话,会觉得这是一句无关紧要的免责声明。撞过的人会立刻想到:那我要用的这两个数,一个在调整之前一个在之后吗。
这个转变没法靠讲道理完成,只能靠自己踩一次。所以这套动作最好的推广方式,不是在会上讲一遍,是先自己做完一遍,把结果拿出来给大家看。
最后回到那条线
本文拆了半天的那条趋势线,最终结论是可以用的:五年之间,美国成年人里说自己对AI了解很多的比例确实大幅上升,那个22个百分点里至少16个点是硬的。
唯一被削弱的是那个从7掉到1的转折。它可能意味着认知度到顶了,也可能只是因为题目里少了一句定义,而这两者用现有的公开材料分不开。
如果你要用这条线来论证“AI认知度已经饱和、可以停止投入科普型内容”,那你的论据正好落在最不牢靠的那一格上。如果你只是要说明“AI在过去五年迅速进入了大众视野”,那这条线足够结实,随便用。
同一条线,两种用法,牢靠程度差得远
这个对比值得单独记一下,因为它解释了为什么“这条数据可不可信”是个提错了的问题。
同一条趋势线,用来说明大方向时非常可靠,用来判断某个具体转折点时非常脆弱。可不可信取决于你打算用它回答哪个问题,不取决于这份数据本身的质量。
所以正确的问法不是“这份数据靠谱吗”,而是“我要用它回答的那个问题,落在这条线的哪一段上”。落在整体走势上,放心用;落在某一格的拐点上,先查那一格。
这套动作对哪些人最划算
最后说说谁最该做这件事,因为它不是对所有角色的价值都一样。
最划算的是要拿数据去申请资源的人。你拿一条曲线去要预算、要人、要排期,那条曲线上的接缝就是你方案里的地雷,而且是别人替你踩出来的——某个同事随口问一句“这两年口径一样吗”,整个方案就得停下来。自己先查完,比被人问住强得多。预算口径的对账见财务SEO协作7动作账本。
其次是刚接手一摊数据的人。接手时是唯一有正当理由把所有指标定义翻一遍的时刻,过了这个窗口,再去问“这个指标怎么算的”就会显得像在质疑前任。交接期该补哪些能力,乙方干了十年转甲方那篇有一份踩坑清单。
哪些情况可以不查
反过来,也有不必查的时候,说清楚免得把这套动作变成新的负担。实战里哪些坑值得先躲,国内GEO 5个月11个项目的真实复盘列过一批。
只是想知道大方向的,不必查。数据只用来汇报不用来决策的,不必查。改动本身半天就能上线、错了随时能回滚的,不必查——查的成本超过错的成本,就没必要。值不值得算这笔账,内容ROI到底怎么算是同一种权衡。
判断标准很简单:这条线要用来支撑一个多大的决定。支撑一句话,随便用;支撑三个月的排期,先花50分钟。
写在最后
这篇拆了一条五年的趋势线,最后的结论是它可以用。这个结论可能让人觉得虎头蛇尾,但我认为它恰好是最重要的部分。
做这行久了会发现,真正稀缺的不是发现问题的能力,是算完之后接受结果的能力。找出三处接缝很容易,算出影响是0.2个百分点然后老老实实说“可以忽略”,反而需要一点克制。
整套东西说到底只有一句话:差值是有前提的,而前提得有人去确认。确认完可能什么都不用改,但确认这个动作本身,是把一次判断和一次猜测分开的唯一办法。
常见问题解答
我不做数据,只是偶尔引用行业报告,这套东西用得上吗?
用得上,而且只需要用第一件和第三件。引用一个跨期对比的数字之前,看一眼这条线有几个点、每个点标没标测量日期,再看一眼相邻两段的变化幅度有没有明显不一样的那一段。全程不到5分钟,不需要打开任何附件。这一步能拦掉的主要是一类具体错误:把某个转折点当成趋势拐点写进方案。至于影响量级的计算,只有当你要拿这个数支撑一个多月以上的排期时才值得做。判断标准不是你懂不懂数据,是这个数要替你扛多大的决定。
怎么快速判断一份外部报告值不值得深查?
看它给不给原始问卷或者原始分布表。给了,说明发布方愿意让人核对,深查通常能查出东西;不给,那么选项怎么设置、分母是谁、有没有轮换顺序,你一概不知道,深查也查不出所以然,直接降档当行业动态用就行。另一个更快的信号是样本量和调查时间在不在,这两样连正文都不写的材料,基本可以不用花时间了。判断标准不是它写得多严谨,是它留没留下可核对的入口——愿意被核对本身就是最强的质量信号。
自家分析工具换过一次版本,历史数据还能用吗?
分两种情况。如果只是用来看大方向,比如判断自然流量这两年整体是涨还是跌,跨版本比较通常没问题,因为量级差异远大于口径差异。如果要用来算具体的百分比变化,比如汇报同比增长多少,那就得先确认这两个版本对会话、用户、来源的定义是不是一致,特别是会话的切分规则。稳妥的做法是把换版本那个时间点标出来,分成两段各自看趋势,而不是跨过它做一次减法。实在要给一个跨版本的数,记得在数字后面注明用的是哪一版口径。
团队里没人愿意维护指标文档,怎么让这件事活下来?
别让它成为一件独立的事。最有效的办法是把断点日期这一行挂在已有的必经流程上,比如上线工单或者需求评审模板,改口径的人本来就要填这个表,多一行字的阻力最小。另外不要设审批和校验,判定只有填了和没填两种,一旦引入审核就会有人绕开。真正让它活下来的是第一次的收益:第一次填的时候通常能查出好几处以前没人记录的变更,把这几处拿到会上说一遍,后面就不用再推了,因为大家亲眼见过它拦下了什么。
同比和环比,哪个更容易撞上接缝?
同比。因为它跨越的时间长,一年里发生口径变更的概率远高于一个月。而且同比在使用上更权威——大家默认它已经排除了季节因素,所以对它的追问反而更少。环比的问题通常是季节性干扰,那是另一类问题,而且比较容易被察觉,因为大家都知道旺季淡季不能直接比。跨度越长的对比越该先查口径,这一条基本上是通用的。真正危险的组合是同比加上一个漂亮的整数增幅,那种数字最容易被直接搬进汇报材料。
发现历史数据有接缝,值不值得回头重算?
大多数情况不值得。重算需要一段新旧口径并行运行的数据,如果当时没有留,现在算不出换算系数,硬算就是在编。更划算的做法是把断点标出来,分段看趋势,并且在下一次改口径的时候安排一到两个月的并行期。真要重算,只对那些还会被反复引用的核心指标做,比如年度汇报里必出现的那两三个。为一条以后不会再看的曲线做回算,收益接近零,而且很容易做着做着就把重点搞丢了。
让AI工具帮我读报告,它能发现这类接缝吗?
能发现一部分,但要看你喂给它什么。如果只把报告正文给它,它读到的和你读到的一样多,脚注在另一个文件里,它也看不到。如果把原始分布表一起给它,它对找出题目措辞变化、样本量差异这类明面上的线索是相当在行的。真正它替代不了的是最后那步判断:这处接缝对我的具体问题有没有影响。这一步需要知道你打算拿这个数干什么,而这件事只有你自己清楚,也是整套动作里唯一不能外包的一环。
竞品数据和市场规模数据,接缝问题是不是更严重?
严重得多,而且是最难处理的一类。这类数字经常是把不同来源的数拼成一条线,前几年用一家机构的口径,后几年换了另一家,中间还可能插进一段自己估的。拼线的人和产数的人不是同一批,所以连发布方都没法标注接缝。实用的做法是只用它来判断量级和方向,不用它算增长率,更不要把它写进目标。如果确实需要一个可比的序列,宁可用一个覆盖窄但口径稳定的来源,也别用覆盖全但拼接过的。
权威参考资料
本文标题:《跨年数据能不能直接比?一条五年趋势线上有三处口径变更》
本文链接:https://zhangwenbao.com/trend-line-break-in-series-comparability.html
版权声明:本文原创,转载与引用请注明作者与原文链接。许可协议: CC BY 4.0
← 上一篇
10条UX最佳实践清单,9条查得到出处,8条数字对不上下一篇 →
没有了