用户调研换一个主语,同一批人的答案差了16个点
本文目录
- 同一份问卷里相邻的两道题,只差一个主语
- 那份问卷问了5119个人
- 第三页上挨着放了两道题
- 题干的差别只有三个词
- 连选项顺序都被锁成一样
- 对社会那道题的五档答案
- 对自己那道题的五档答案
- 把正面和负面各自加起来
- 净值从负24变成负8
- 掉得最狠的不是温和那一档
- 正面那两档涨得比较均匀
- 中间那一档也在掉
- 有人会说这是说不准变多稀释出来的
- 把说不准剔掉重算一遍
- 剔除之后的差距反而更大
- 把两道题并排放在一张表里
- 皮尤自己只写了两个词
- 一个现象被看见,和它被算出来,是两回事
- 这条缝隙就是本文的起点
- 为什么问到自己的时候,人们反而更说不准了?
- 说不准这一档从13涨到了19
- 这个方向和常识是反的
- 先确认这不是一次偶然
- 19行里的说不准全部上升
- 上升幅度从2个点到9个点
- 涨得最少的那三组有个共同点
- 涨得最多的那四组也有个共同点
- 这条规律在DTC调研里非常致命
- 剔掉犹豫的人会发生什么
- 第一个解释:关于社会的答案是现成的
- 第二个解释:自己的事没有现成答案
- 第三个解释:说不准也是一种回避
- 中间那一档的钱去哪了
- 这笔账只能做到这一步
- 为什么这个边界必须讲清楚
- 把说不准按基线排一遍
- 说不准率是个被浪费掉的指标
- 它该被当成信号读
- 怎么在自己的问卷里把这一格用起来
- 顺手记一条可用的判据
- 到这里为止只证明了一件事
- 那16个点能在多少个人群里重复出来?
- 皮尤给了两张格式完全一致的交叉表
- 把净值那一列补出来
- 19行的差值全部为正
- 先扣掉一个样本太小的组
- 可是这18行是有重叠的
- 找三套互不重叠的切分
- 三套切分全部同向
- 族裔那一套值得单独说一句
- 一个能重复的偏差才配拿来做校正
- 差值的中位数正好是16
- 极差是11个点
- 收入那三档值得单独画一条线
- 那这条线该怎么用在自己的样本上
- 有两个组跨过了零线
- 符号翻转意味着什么
- 谁的落差最大,谁的最小
- 三条线指向同一个方向
- 这条规律可以写成一句话
- 对独立站运营来说这是个坏消息
- 16对你的问卷来说是下限
- 那到底该扣多少
- 这一节到此为止的结论
- 分母换一套,同一批人的渗透率为什么缩水4.69倍?
- 换一个方向问同一件事
- 先问家里有没有这件东西
- 再问这件东西是不是AI款
- 有这件设备的人里,AI款的比例
- 皮尤把同一批答案按全体成年人又印了一遍
- 三个缩水幅度并排放
- 缩水多少完全由底座决定
- 验算一遍,乘法对得上
- 由此得到一个不用原始数据的换算法
- 排序没变,倍数变了
- 为什么这件事要紧
- 皮尤做对了一件几乎没人做的事
- 大多数报表做的是相反的事
- 子样本的误差也跟着变大
- 放到独立站的报表上
- 再举一个更常见的
- 怎么在自己的报表里补上这一行
- 还有第三种分母,它藏在时间里
- 时间窗口这一层最容易在跨期比较时出事
- 顺便说一个反例
- 前四节做完了一件事
- 美国广告法为什么不允许你只印一个数?
- 这套规则的名字叫代言与证言使用指南
- 255.2专管消费者代言
- 第一句话就把举证责任定死了
- 用户证言本身不算证据
- 真正的关键在(b)那一段
- 接下来是本文最想引用的那半句
- 热泵那个例子把话说透了
- 合规的说法长什么样
- 三个人全是真人真话,加起来却是假的
- 披露本身也要有依据
- 披露不能自己制造新的误导
- 有一条把调研数据和代言划了等号
- 落地页上那句87%的用户表示满意
- 什么时候不需要典型性举证
- 由此得到一条极好用的判据
- 把这条判据搬到独立站上
- 那些数字最容易出现在哪
- 还有一条管的是行为不是文字
- 这一节留下的动作只有一个
- 效果因人而异这句话,为什么被实验证明是无效的?
- 几乎每个落地页底部都有那行小字
- FTC真的去测了这句话有没有用
- 两种都没用
- 这段话在监管文件里很罕见
- 但它留了一个口子
- 为什么那行小字会失效
- 一整页好评就是那个抵消源
- 八项要求里第四项也很致命
- 独立站上最常见的三种违规姿势
- 第八项是一条纯粹的参照系条款
- 同一句披露可能一处合规一处不合规
- 八项里剩下的五项也值得过一遍
- 把这八项翻译成一句人话
- 那到底该怎么做才有效
- 为什么数字有效而话术无效
- 这件事在转化上不一定是坏消息
- 掉的那部分转化也未必是损失
- 顺手记一条可执行的写法
- 这一节和第五节合起来是一件事
- 把FTC那个例子拆开数一遍,一份代言里能藏几层参照系?
- 规则里那句话留了个尾巴
- 第一层:平均数被离群值抬起来了
- 联邦法规明文要求改用中位数
- 这一层在电商报表里天天发生
- 第二层:那个数只属于坚持下来的人
- 五分之一这个数字要算一下
- 幸存者这一层最难自查
- 第三层:一个真实的速率被乘错了
- 把这个乘法做完
- 这一层在订阅制生意里换了个马甲
- 第四层:区间宽到没有信息量
- 这条判据可以反过来用
- 第五层:地域和条件被省掉了
- 这一层在跨境场景里天天中枪
- 第六层:普通消费者是谁取决于你投给谁
- 第七层是唯一一条正面示范
- 这条判据比前六条都好用
- 七层放在一张表里
- 七层可以合并成一个动作
- 为什么这七层出现在广告法里而不是统计教科书里
- 保哥自己是怎么栽的,后来又怎么把它标出来的?
- 那是一个做居家健身器械的独立站
- 那年要上一款可折叠划船机
- 第七题问的是你会不会考虑购买
- 团队按这个数备了2000台
- 三个月卖了287台
- 破局的人是写产品FAQ的客服同事
- 问卷里还有一道第八题
- 它为什么没进报告
- 41%和15%差2.73倍
- 实际的成交落在哪一侧
- 9.26离哪个数近
- 先排掉两个表层解释
- 真正的原因是两道题问的对象不同
- 这和皮尤那16个点是同一件事
- 五份材料,四份是零
- 第五份是客服工单里的售前咨询记录
- 为什么这份材料特别
- 190条咨询里118条问的是同一件事
- 收纳尺寸写在参数表第11行
- 两个参照系里的你不是同一个你
- 客服工单为什么半年没人看
- 最扎心的一击
- 这个团队的回环
- 后来改了四处
- 落地页那一改的效果
- 第二款产品用了新做法
- 配对问法真正的产出不是第二个数字
- 那2.5这个阈值哪来的
- 那第二款到底怎么备的货
- 就算用第八题那个数也还是高
- 最意外的收益是开会的顺序变了
- 六个自查动作,先看排序逻辑
- 第一件:给每个关键数字补一个括号
- 第二件:问一句换成别人会往哪边走
- 第三件:在现有问卷里翻配对题
- 第四件:把售前咨询按商品导一遍
- 第五件:逐字过问卷题干,圈出所有主语
- 第六件:给常用数据源标一个参照系档位
- 卡点挂在问卷工具的团队模板库里
- 为什么这次换成了默认在场
- 四条边界,一条都不能省
- 后两条边界
- 口径迁移必须提前讲
- 措辞这件事上栽过的跟头
- 换一种说法
- 另外两条只在这个话题上成立
- 最后做一次自我审查
- 还有一层自我审查是关于这篇文章本身的
- 常见问题解答
- 我们的问卷已经发出去了,来不及加配对题怎么办?
- 配对题该怎么问才不会显得重复?
- 行为数据是不是就没有这个问题了?
- 落地页放真实平均值,转化掉了怎么办?
- 皮尤那16个点能直接拿来给我的问卷打折吗?
- 只有几百人的小样本,还值得做配对题吗?
- 用户访谈和焦点小组有没有同样的问题?
- 老板只想看一个数,不接受两个数并排放怎么办?
- 权威参考资料
摘要:一份问卷里,第七题问你会不会买这台699美元的划船机,41%的人说会考虑;第八题问像你这样的人里有多少人会买,中位数15%。同一批人,同一分钟,两个数差2.73倍。团队把第七题写进了需求验证报告,按它备了2000台货,三个月卖出287台。往下先拆一份5119人的公开问卷里只差一个主语的相邻两道题,再看那16个点的落差怎么在11个互不重叠的人群里一次不漏地重复出来,然后是美国广告法写下的强制配平条款,最后是一套配对提问法和六个自查动作。
判断一个数字能不能用,大家最常做的是去查它的来源:谁做的调查,样本多少,什么时候采集的,误差范围写没写。这套动作没错,做熟了也很快。可它有一个盲区——查的全是这个数怎么来的,没有一句在问这个数说的是谁。
而这两件事经常不是一回事。同一批人,同一份问卷,把题干里那个主语从大家换成你自己,答案会朝一个可以提前判断的方向整齐地挪一段。挪多少?皮尤研究中心2026年2月那份5119人的问卷给了一个能复算的数,而且它在18个人群分组里一次例外都没有。
这不是一条心理学趣闻。它决定的是你手上那份需求验证报告该不该照着备货,也决定了落地页上那句“用户平均节省的时间”到底该印哪个数字。美国广告法在这件事上比大多数数据分析教材走得都远——它直接规定了什么时候必须把两个参照系并排印出来。
下面这八节,前四节全部建立在公开数据上,每一个差值都可以自己下载原始文件复算一遍;后四节是法条和一次栽在自己手里的复盘。
同一份问卷里相邻的两道题,只差一个主语
那份问卷问了5119个人
皮尤研究中心的美国趋势追踪面板,2026年2月17日到23日跑了第187波调查,主题是人工智能。样本5119人,95%置信水平下的抽样误差是正负1.6个百分点。这个量级在民调里算大的,也是它值得被当成实验台的原因。
误差1.6个点意味着什么?意味着小于3个点的差别不值得拿出来讲,而大于5个点的差别基本可以当真。这条尺子后面会反复用到,每算出一个差值都得先跟它比一比,不然很容易把噪声当成规律讲了半天。
这条尺子和做实验前先算最小可检测效应是同一件事,独立站A/B测试样本量的三个公式给的就是把它提前算出来的办法。
第三页上挨着放了两道题
题号分别是AIIMP和AIIMPSELF。中间没有插任何别的题,受访者答完上一道,下一道立刻出现在屏幕上,前后间隔通常不超过一分钟。
这个顺序不是随手排的。两道题挨着放、中间不隔东西,是为了让人在同一个心理状态下答完,把时间、情绪、注意力这些干扰全部压掉。做过问卷设计的人都知道,中间随便插一道情绪题,后面那道的答案就会跟着漂。
控制变量这件事在线上实验里叫单因素隔离,SEO实验设计与统计功效那篇把怎么隔离、隔离到什么程度讲得更细。
题干的差别只有三个词
前一道的题干是:你认为人工智能在未来20年对社会的影响会是什么样。挨着的那道只把中间那个词换掉,问的变成对你个人的影响会是什么样。除此之外,两句话一个字都不差。
英文原文里,第一道是on society,第二道是on you, personally。连“未来20年”这个时间跨度都没动,连“影响”这个词都是同一个。整份问卷里,很难再找到一对被控制得这么干净的题。
问卷设计里另一处同样致命的地方是资格筛选条件,调研数据里没有一个非会员那篇记的就是那次栽在筛选条件上的教训。
连选项顺序都被锁成一样
问卷的编程注释写着一句话:第二道题的选项轮换顺序,必须与第一道保持一致。皮尤在这里花了额外的功夫,防止选项排列本身制造出差异。
这句注释很关键,它泄露了设计者的意图。它说明皮尤事先就知道这两道题是要拿来对着看的,所以把主语之外的所有变量都焊死了。一道题被这样对待,通常意味着答案里藏着东西。
把猜测写成一个可以被证伪的假设再去看数据,数据驱动的假设检验打法整理了一套可以照着走的流程。
对社会那道题的五档答案
很正面4,比较正面12,正面负面差不多31,比较负面20,很负面20,说不准13。加起来正好100,没作答的比例小于0.5%,在表里显示成一个星号。
光看这一列,结论是清楚的:美国人对人工智能给社会带来的影响,负面判断远多于正面判断。皮尤在报告正文里就是这么写的,也是各家媒体转载时用的那个数。
一个数字被反复转载之后,口径会悄悄变形,一条五年趋势线上的三处口径变更就是这么一层层查出来的。
对自己那道题的五档答案
很正面6,比较正面17,正面负面差不多27,比较负面19,很负面12,说不准19,另有1%没作答。同一批人,隔了几秒钟,六个格子里有五个变了。
而且不是乱变,是朝着同一个方向整齐地挪了一段。正面那头往上抬,负面那头往下压,中间往两边泄。这种整齐本身就是信号——随机波动不会这么听话。
判断一段数据是真波动还是被污染,GA4里的机器流量怎么揪出来再拦掉给了一组可以直接跑的排查动作。
把正面和负面各自加起来
正面两档:对社会是4加12等于16,对自己是6加17等于23,多了7个点,相对涨幅43.75%。负面两档:对社会是20加20等于40,对自己是19加12等于31,少了9个点,相对降幅22.5%。
7个点是误差1.6个点的四倍多,9个点是五倍多。两个都不是噪声,是稳稳站得住的差别。一头涨7一头跌9,两个方向合起来,才是这道题真正的信息量。
净值从负24变成负8
正面减负面,对社会是16减40等于负24,对自己是23减31等于负8。差了整整16个点。换个说法:同一批人对社会的悲观程度,是对自己的3倍,这个3倍不是估的,是两个净值直接相除。
16个点在这份问卷里是什么概念?误差是正负1.6个点,16正好是它的10倍。放在民调语境里,这已经不是“有点差别”,而是“两个完全不同的结论”。更何况这是同一批人内部的配对比较,配对把个体差异消掉了,实际能分辨的差值比1.6还要小。
掉得最狠的不是温和那一档
很负面从20掉到12,少了8个点,相对降幅40%。比较负面从20掉到19,只少了1个点。极端负面的掉幅是温和负面的8倍。如果这只是一次整体平移,两档本该掉得差不多。
这个不均匀说明,换掉主语之后改变的不是“好还是坏”这个判断本身,而是“有多糟”这个强度。人愿意承认自己会受些影响,不愿意承认自己会被毁掉。这条后面在选品调研里会原样重现:用户愿意说这东西我可能不太需要,很少会说这东西我绝对不会买。
用户嘴上说的理由和真正拦住他的东西经常不是同一个,购买路径上那些看不见的摩擦力列了最常见的几类。
正面那两档涨得比较均匀
很正面从4到6,涨2个点相对50%;比较正面从12到17,涨5个点相对41.7%。两档的相对涨幅接近,没有出现负面那头的极端塌陷。
负面一头是极端档独自塌陷,正面一头是两档同步抬升。这个形状本身就带信息:人对负面的自我豁免比对正面的自我加持更用力。换句话说,人更急着把坏事推开,而不是更急着把好事揽过来。
中间那一档也在掉
正面负面差不多这一档,从31掉到27,少了4个点。它没有变成正面,也没有变成负面,它变成了说不准。
这一格的去向后面有一整节要讲,因为它是整份数据里最反直觉的一块。一个人对自己的事居然比对社会的事更没把握,这件事需要单独解释,也需要单独验证。
有人会说这是说不准变多稀释出来的
这个质疑很合理,而且是最有杀伤力的一个。第二道题的说不准从13涨到19,多出来的6个点会摊薄所有其他格子,看起来像是负面在减少,其实只是分母被抽走了一块。
保哥第一次看到这组数的时候也是这么想的。所以下一步必须做一次剔除重算,不做这一步,前面那16个点就站不住,整篇文章也就没有了。
把说不准剔掉重算一遍
只保留给了明确判断的人。对社会那道题的分母变成4加12加31加20加20等于87,对自己那道题的分母变成6加17加27加19加12等于81。两个分母都比100小,而且小得不一样多。
重新算比例:对社会的负面是40除以87等于45.98%,正面是16除以87等于18.39%,净值负27.59个点。对自己的负面是31除以81等于38.27%,正面是23除以81等于28.40%,净值负9.87个点。
剔除之后的差距反而更大
两个净值相减是17.72个点。剔掉说不准之后,差距不但没缩小,还从16涨到了17.7。那个最有杀伤力的质疑,被自己的方向打了回去。
这次检验值不值得花那十分钟?值。因为它把唯一一个能推翻结论的解释直接堵死了。凡是一个差值可能被某个格子的变动稀释出来,就必须把那个格子剔掉重算一遍。这一步成本十分钟,决定的却是整个结论成不成立。
把两道题并排放在一张表里
| 选项 | 对社会 | 对你个人 | 差值 |
|---|---|---|---|
| 很正面 | 4 | 6 | +2 |
| 比较正面 | 12 | 17 | +5 |
| 正面负面差不多 | 31 | 27 | −4 |
| 比较负面 | 20 | 19 | −1 |
| 很负面 | 20 | 12 | −8 |
| 说不准 | 13 | 19 | +6 |
| 正面合计 | 16 | 23 | +7 |
| 负面合计 | 40 | 31 | −9 |
| 净值 | −24 | −8 | +16 |
| 剔除说不准后净值 | −27.59 | −9.87 | +17.72 |
这张表里前两列是皮尤的原始数字,差值那一列和最后一行全部是本文自己算的。原始报告里一个差值都没有,一个剔除重算的数也没有。
皮尤自己只写了两个词
报告正文提到这件事的原话是:人们对人工智能影响自己生活的看法同样偏负面,不过没那么严重。英文里“没那么严重”这个意思,只用了less dramatically两个词,然后就翻篇了。
整份83页的报告里,没有出现16这个差值,也没有出现任何一个把两道题对着算的数字。两张交叉表印在第57页和第58页,中间隔着一页,谁也没把它们相减过。
从一堆现成指标里做减法,而不是再加两个新指标,SEO数据分析从指标体系到异常诊断讲的就是这个顺序。
一个现象被看见,和它被算出来,是两回事
皮尤看见了,也写下来了,用的是形容词。形容词能提醒你注意,数字才能拿去做决定。这两者之间隔着的距离,比大多数人以为的远得多。
差别在哪?“没那么严重”没法回答“那我该把预估往下调多少”。而16个点可以,它直接给出了修正的幅度,也给出了一个能拿去跟自己的数据比对的量级。一个能比对的数,和一个只能点头的说法,是两种东西。
这条缝隙就是本文的起点
公开数据里经常有这种情况:原始数字全在,谁都能下载,PDF就挂在官网上,但没有人把它们两两相减。差值不需要新数据,只需要有人愿意做减法。
接下来的三节全部建立在这一次减法上:先看这个差是怎么来的,再看它在多少个人群里能重复出来,最后看有没有办法在自己的数据里提前把它扣掉。整个过程用到的数学,不超过小学四年级。
为什么问到自己的时候,人们反而更说不准了?
说不准这一档从13涨到了19
对社会那道题,13%的人选了说不准。换成对你个人,这个数字变成19%。多了6个点,相对涨幅46.2%,比正面合计的涨幅还要大一点。
其他格子的变化都可以用“人不愿意承认坏事会落到自己头上”来解释,唯独这一格解释不了。回避坏事应该让人往正面跑,不该让人往说不准跑。
行为背后的心理动作往往和表面数字对不上,从行为数据读懂用户心理的研究方法给了一套不靠猜的读法。
这个方向和常识是反的
按常理,一个人对自己的事应该比对社会的事更有把握。自己做什么工作、每天用什么工具、公司会不会上新系统,这些他最清楚,别人反而不清楚。
可数据说的是相反的:问到社会的时候人们更敢下判断,问到自己的时候反而缩了回去。一个人对一亿人的未来有主意,对自己的未来没主意。
看起来最有把握的那个数,经常也是最没有信息量的那个,砍掉虚荣指标定准北极星指标说的就是这件事。
先确认这不是一次偶然
皮尤在报告后半部分给了两张按人群分组的交叉表,一张对应社会那道题,一张对应个人那道题,列名、行序、分组口径完全一致。
把两张表的说不准那一列并排放,一共19行,包括全体和18个细分人群。这是检验偶然性最省事的办法,不需要任何统计工具,用眼睛扫一遍就行。
把口径统一到一份可信来源上,检查才有可能这么省事,五大指标与单一事实来源的数据治理是这套底子的搭法。
19行里的说不准全部上升
男性、女性、四个族裔、四个年龄段、三个收入档、两个政治倾向、三个了解程度,再加上全体这一行。没有一行下降,也没有一行持平。
19比0。一个方向能在19个切片里同时成立,它就不再是噪声,而是一条规律。哪怕其中几行的幅度小到落在误差里,方向的一致性本身就是证据。
方向能被反复复现,才算得上因果而不是巧合,加上FAQ引用涨撤掉又掉回来那次实测是同一种验证思路。
上升幅度从2个点到9个点
最小的是亚裔成年人,从8涨到10,只多了2个点。最大的是黑人成年人,从18涨到27,多了9个点。幅度差了4.5倍。
同一个方向,不同的力度。这个不均匀本身又是一层信息,而且它不是随机分布的,是跟着某个可以指出来的东西走的。
涨得最少的那三组有个共同点
亚裔成年人基线8涨2,高收入基线8涨3,听说过很多人工智能消息的人基线8涨4。三组的基线说不准率都是8%,三组平均涨3个点。
这些人在两道题上都很有主意,换个主语也没把他们问住。他们本来就是那批“什么都能说上两句”的人,无论问的是社会还是自己。
不同人群对同一道题的反应差别很大,受众细分的七个维度可以帮你先想清楚该按什么切。
涨得最多的那四组也有个共同点
65岁以上基线21涨8,低收入基线19涨8,只听说过一点消息的人基线16涨8,黑人成年人基线18涨9。四组的基线全在16以上,平均涨8.25个点。
基线在8左右的三组平均涨3个点,基线在16以上的四组平均涨8.25个点,差了2.75倍。换主语带来的不确定不是均匀撒下去的,它在本来就拿不准的人身上放大得更厉害。
这条规律在DTC调研里非常致命
一份问卷收回来,运营通常会做一件事:把大量选了说不准、不清楚、没想过的问卷当成低质量样本剔掉,理由是这些人没认真答题,留着会拉低数据质量。
清洗规则本身就是一次口径选择,GA4核心指标解析的四个错误里有好几个都出在这一步没写下来。
而这批人恰恰是被换主语这个动作影响最大的那批。把他们剔掉,剩下的样本就是一群本来就很笃定的人,而笃定的人给出的意向率天然更高。
剔掉犹豫的人会发生什么
意向率会涨。不是因为需求变强了,是因为分母里只剩下敢下判断的人。这个动作在报表上完全看不出来,因为它发生在数据清洗那一步。
而清洗规则一般不进结论页。一份报告会写样本量多少、误差多少,很少会写剔掉了哪些人、按什么标准剔的。那一页通常连附录都进不去。
报告里省掉什么,比报告里写了什么更能决定读者的判断,把SEO报告翻译成业务语言的六步对这一点讲得比较直接。
第一个解释:关于社会的答案是现成的
人工智能会不会让社会更好,这个问题的答案在新闻里、在社交平台上、在同事的闲聊里,已经被说过无数遍,正反两方的说法都有现成的模板。
一个人被问到的时候,不需要真的想,只要挑一个听起来最像自己立场的说法就行。这不叫判断,这叫复述。复述当然比判断快,也当然比判断更有底气。
用户搜索时用的词也是同一类现成模板,从关键词研究转向需求研究的六步换的正是这个视角。
第二个解释:自己的事没有现成答案
人工智能会不会影响我,取决于我做什么工作、公司会不会上这套系统、我这个年纪还剩几年职业生涯、我能不能学得动新东西。
这些变量没有一个是公共讨论提供过答案的。要回答就得现算,而现算的结果往往是算不出来。于是说不准这一格就成了唯一诚实的选项。
第三个解释:说不准也是一种回避
承认人工智能会让自己变糟,是一件不太舒服的事。选很负面要付出情绪成本,选说不准不用付。前者是承认,后者是把问题挂起来。
这三个解释哪个占主导,数据回答不了,也没必要非分个高下。它们指向的方向一致,都会让个人那道题的说不准变多。方向一致的时候,机制可以先放着。
中间那一档的钱去哪了
正面负面差不多这一档从31掉到27,少了4个点。负面合计掉了9个点,正面合计涨了7个点,说不准涨了6个点。四笔加起来是负4减9加7加6等于0。
账面上刚好平掉,剩下的1个点落在没作答那一格,属于四舍五入的正常范围。这个平账本身也是一次检查——如果加不到零,说明前面某个数抄错了。
这笔账只能做到这一步
从账面看,说不准新增的6个点里,大约4个来自中间档,2个来自负面档。但这只是净流动,不是个体去向。
汇总表只能告诉你每个格子进出多少,告诉不了你具体是谁从哪一格走到了哪一格。要看个体流动,得拿逐份原始答案,而原始答案通常不公开。
为什么这个边界必须讲清楚
因为很多分析在这一步会不知不觉地过界,把净流动说成个体迁移,然后基于一个自己没验证过的路径继续往下推三层结论。
保哥的做法是:凡是只有汇总表的地方,就只说净流动这四个字,把个体那一层的话留给拿得到原始数据的时候再说。这条规矩省下过好几次返工。
把说不准按基线排一遍
| 人群 | 对社会说不准 | 对自己说不准 | 涨幅 |
|---|---|---|---|
| 亚裔成年人 | 8 | 10 | +2 |
| 高收入 | 8 | 11 | +3 |
| 了解很多 | 8 | 12 | +4 |
| 全体成年人 | 13 | 19 | +6 |
| 只了解一点 | 16 | 24 | +8 |
| 黑人成年人 | 18 | 27 | +9 |
| 低收入 | 19 | 27 | +8 |
| 65岁以上 | 21 | 29 | +8 |
这张表按基线说不准率从小到大排。涨幅那一列跟着基线一起往上走,只在最后两行有一点回落,整体的同向关系很清楚。
说不准率是个被浪费掉的指标
大多数问卷报告会把说不准这一档略去不提,理由是它不构成观点。图表上也常常直接砍掉,只画正负两头,然后按剩下的那部分重新算百分比。
可它恰恰是最诚实的一格:选它的人是唯一一批如实报告了自己不知道的人。把最诚实的那批人从图里删掉,这件事说出来才显得奇怪。
它该被当成信号读
一道题的说不准率突然变高,不一定说明样本不认真,也可能说明这道题问到了一个人们真的没想过的地方,或者这道题的措辞让人不知道该拿什么标准回答。
在选品调研里,这个信号价值很高:说不准率高的品类,往往是消费者还没形成心理价位的品类,也就是最有定价空间的那批。
选品阶段把这个信号和搜索缺口、小预算实测放在一起看,DTC选品三角验证的九十天框架给了一条完整路线。
怎么在自己的问卷里把这一格用起来
做法只有两步。第一步是别在图表里砍掉它,把说不准和没作答分开列,两者是两回事——前者是想过但答不出,后者是根本没往下看。
第二步是把它按题目排个序,看哪几道题的说不准率最高。那几道题问的往往正是你最想知道、而用户最没想过的事。这个排序做一次十分钟,之后每份问卷都能复用。
顺手记一条可用的判据
同一份问卷里,如果两道题的措辞几乎一样而说不准率差了5个点以上,那多半不是随机波动,是这两道题问的其实不是同一件事。
5这个阈值是从误差1.6个点推的,三倍误差是一个惯用的粗筛线。它不精确,但足够拦住绝大多数噪声。
到这里为止只证明了一件事
换主语这个动作,在19个人群切片里同时把不确定性推高了。方向一致,幅度随基线走,最少涨2个点,最多涨9个点。
但不确定性只是副产物。真正要问的是:那16个点的净值差,能不能也在这19个切片里重复出来。如果能,它就不是一个数字,是一把可以拿去用的尺子。
那16个点能在多少个人群里重复出来?
皮尤给了两张格式完全一致的交叉表
报告第57页和第58页,一张是对社会那道题的人群拆解,一张是对个人那道题的人群拆解。列名、行序、分组口径全部一样,连脚注的写法都一致。
读一份数据先读它的表结构和脚注,SEO数据分析怎么入门把这个习惯排在了看数字前面。
两张表都只给了合并档:正面合计、差不多、负面合计、说不准。四列,19行。这已经够算净值了,五档的细分反倒不是必需的。
把净值那一列补出来
正面合计减负面合计,逐行算一遍,两张表各得一列。再把两列相减,就是每个人群的落差。整个过程只用到加减法。
19行算完不到十分钟,用手机计算器都够。而原始报告里这三列一列都没有——不是它算错了,是它压根没往这个方向算。
这类批量减法用表格公式跑更省事,十二个Google Sheets公式把数据活自动化里有现成的写法。
19行的差值全部为正
全体、男性、女性、四个族裔、四个年龄段、三个收入档、两个政治倾向、三个了解程度。没有一行是负的,也没有一行是零。
范围从6个点到20个点。方向清一色向上,力度各不相同。一个能在19个切片里不出一次例外的方向,已经不需要再做显著性检验了。
先扣掉一个样本太小的组
完全没听说过人工智能这一组只有127个受访者,有效样本97,误差正负10个百分点。皮尤在脚注里专门提醒了这一点。
抽样口径决定了你看到的是真问题还是假问题,孤岛页面检测的抽样口径那篇是同一个道理的另一个场景。
它那个6个点的差值落在误差里,不该算数。剔掉之后剩18行,差值范围从9个点到20个点。下界从6抬到9,结论只会更硬不会更软。
可是这18行是有重叠的
一个高收入的中年男性会同时出现在男性、30到49岁、高收入这三行里。18行同向,不等于18次独立验证,这一点必须先说清楚。
不做这个声明,18比0听起来会比它实际的分量更重。而夸大证据强度这件事,和把结论写错一样糟,只是不容易被人抓住。
把证据说得比它实际更强,在合规上也是要担责任的,自夸式榜单被点名后怎么改整理过这条边界。
找三套互不重叠的切分
年龄四档、收入三档、族裔四档。同一套里的格子彼此互斥,一个人只能落进一格,三套各自把全样本完整覆盖一次。
三套加起来11个格子。这是这份表里能找到的最干净的独立性检验,也是把18比0这个说法降级到11次真实验证的诚实做法。
抽样能不能代表全体,取决于抽的那一层对不对,电商SEO审计按页面模板抽样是把这件事做对的一个例子。
三套切分全部同向
四个年龄段:18到29岁涨17个点,30到49岁涨18个点,50到64岁涨16个点,65岁以上涨9个点。三个收入档:低收入涨11,中等收入涨16,高收入涨20。
四个族裔:白人涨16,西语裔涨15,黑人涨14,亚裔涨15。11个互不重叠的格子,11次方向一致。如果方向是随机的,光四个年龄段全部同向的概率就只有十六分之一。
族裔那一套值得单独说一句
四个族裔的差值挤在14到16之间,几乎打平,极差只有2个点,落在误差范围内。
这说明族裔不影响这个偏差的大小。真正影响它的是年龄和收入——收入那三格甚至是单调递增的,中间没有任何起伏。
想提前判断一个人群的走向,先行指标比态度题更可靠,用品牌搜索量预测市场份额是其中一种。
一个能重复的偏差才配拿来做校正
这句话是本节最想留下的那一条。只在总量上出现过一次的差值,无论多大都只是一次观测;能在11个互不重叠的人群里同方向重复的,才是一条可以拿去用的规律。
这也是判断一份公开数据能不能拿来当尺子的标准:先看它有没有给分组数据,再看那个现象在分组里还在不在。只给总量的报告,最多只能当线索。
行业基准数据要不要信,先看它给没给分组,SEO行业基准数据大全里对每个数都标了来源口径。
差值的中位数正好是16
18个差值排序取中间两个,都是16。全体样本那一行也是16。中位数和总量刚好对上,这说明总量那个数不是被某个大组拉出来的。
算术平均是15.39,比中位数略低,被65岁以上那个9和低收入那个11拉下来一点。均值低于中位数,说明分布往低端拖了一条尾巴。
极差是11个点
最大的是高收入20个点,最小的是65岁以上9个点。最大是最小的2.22倍。这个跨度不小,直接决定了16这个数该怎么用。
它只能当基准,不能当常数。用在具体人群上,得先看那个人群是哪一档,落在高的那头还是低的那头。拿一个中位数去套一个偏态样本,本身就是又一次参照系错位。
收入那三档值得单独画一条线
低收入11,中等收入16,高收入20。相邻两档之间差5个点和4个点,几乎是等距的,中间没有任何一档掉下来或者冒上去。
一条单调而且接近等距的线,比一堆散点有用得多。它说明这里起作用的不是某个人群的特殊性格,是一个随资源连续变化的东西。能连续变化,才谈得上外推到你自己的样本上。
那这条线该怎么用在自己的样本上
先看你的问卷样本落在哪一档。如果发的是全量注册用户,接近中等收入那一档;如果只发给复购过三次以上的会员,就得往高收入那一档靠。
同一份问卷,样本越优质,需要扣掉的偏差反而越大。这句话听起来别扭,可它正是这条单调线在说的事。
有两个组跨过了零线
男性对社会的净值是负14,对自己是正2。高收入对社会是负10,对自己是正10。其他16组都是从负到负,只是没那么负。
这两组是从负变正,符号翻了。同一批男性,同一天,同一份问卷:问他们人工智能对社会好不好,多数人说不好;问对自己好不好,多数人说好。
符号翻转意味着什么
意味着如果一份报告只印其中一道题,两种截然相反的标题都写得出来,而且两个都是真的,两个都能核对,两个都不构成造假。
高收入那一组更极端:从负10到正10,跨度20个点,正好在零线两侧对称。这组人对整个社会的判断偏悲观,对自己的判断偏乐观,而且两边的力度一模一样。
谁的落差最大,谁的最小
| 人群 | 对社会净值 | 对自己净值 | 落差 |
|---|---|---|---|
| 高收入 | −10 | +10 | +20 |
| 30到49岁 | −22 | −4 | +18 |
| 18到29岁 | −34 | −17 | +17 |
| 了解很多 | −19 | −2 | +17 |
| 男性 | −14 | +2 | +16 |
| 全体成年人 | −24 | −8 | +16 |
| 只了解一点 | −28 | −14 | +14 |
| 低收入 | −26 | −15 | +11 |
| 65岁以上 | −20 | −11 | +9 |
这张表的三列全部是本文自己算的。皮尤只给了正面合计、差不多、负面合计、说不准这四列原始百分比,净值和落差都得自己补。
三条线指向同一个方向
高收入20除以低收入11等于1.82倍。30到49岁那个18,是65岁以上那个9的整整2倍。了解很多的人17,只了解一点的人14。
收入、年龄、信息量,三条完全独立的线,指的是同一件事。这种一致性比任何单条数据都有说服力,因为要同时凑巧三次,比凑巧一次难得多。
这条规律可以写成一句话
越是收入高、处在职业上升期、信息掌握得多的人,“这件事对我会更好”的落差越大。反过来,年纪大的、收入低的、了解少的,落差反而小。
为什么?因为前一批人有理由相信自己能在变化里占到便宜——他们有资源、有时间、有学习能力。这个信念不一定错,但它会系统性地污染他们对自己的预测。
对独立站运营来说这是个坏消息
一份DTC问卷发给谁?发给邮件名单里的人,发给下过单的老客户,发给愿意花十分钟填问卷的人。三个筛子叠在一起,剩下的是什么样的人?
收入偏高、参与度偏高、对品类了解偏多——正好是落差最大的那批。你想找最懂你产品的人来问,而最懂的人恰恰最容易高估自己会买。
邮件名单本身就是一层筛子,独立站邮件列表从零养到能变现讲了这层筛子是怎么一步步收紧的。
16对你的问卷来说是下限
皮尤的全体样本是概率抽样抽来的,落差16个点。你的样本是自选进来的,结构上更接近高收入那一行的20个点,甚至可能更高。
换句话说,16这个数字对你的问卷来说不是基准,是下限。用它去打折,多半打得不够狠。
那到底该扣多少
没有一个能直接套的系数,这一点得说死。皮尤这份数据能给的是方向和量级:正面自我预测普遍高估,幅度在9到20个点之间,样本越优质越靠上限。
真正能给出具体幅度的办法只有一个,就是在自己的问卷里同时问两遍。这件事第八节有完整做法,成本是问卷多一道题、回收率掉几个点。
这一节到此为止的结论
换主语带来的偏差,在11个互不重叠的人群切片里方向完全一致,中位数16个点,极差11个点,两个组符号翻转。
它稳定到可以拿来做校正,又不稳定到能当一个常数用。这两句话必须一起说,少说哪一句都会出事:只说前半句会让人乱套系数,只说后半句会让人干脆不用。
一个指标能用到什么程度,得连着它的边界一起交代,2026该淘汰的九个SEO指标做的就是这种清算。
分母换一套,同一批人的渗透率为什么缩水4.69倍?
换一个方向问同一件事
前面三节讲的是“这个数说的是谁”,也就是句子的主语。这一节换一个方向,讲“这个数是从谁里面算出来的”,也就是分母。
两者都是参照系,都不会自动出现在图表标题里。皮尤这份问卷正好在同一批人身上把两套分母都跑了一遍,还把两套结果都印了出来,这种材料不常见。
埋点之前先把测量框架写清楚,这类问题会少一大半,先把测量框架设计清楚再上工具给了具体的排序。
先问家里有没有这件东西
问卷先问一道筛选题:你家里有没有恒温器、门铃、吸尘器。答有的人才会看到下一道题,答没有的直接跳过。
三件设备的普及率差得不小:恒温器90%,吸尘器92%,门铃只有68%。这三个数字后面会决定一切,虽然它们看起来跟人工智能一点关系都没有。
再问这件东西是不是AI款
问卷会先解释一句这类设备的AI版本能做什么,比如恒温器自己学习冷暖习惯、门铃能认出门口的人或包裹、吸尘器能识别房间布局绕开障碍。
然后问:你家那台是不是这种。三道题的子样本量分别是4680、3609和4788,都不算小,但都比全样本的5119少。
子样本一小,能站住的结论就跟着变少,排名追踪的抽样设计里对样本量与成本的取舍有一张现成的对照。
有这件设备的人里,AI款的比例
恒温器13%,门铃27%,吸尘器14%。门铃明显领先,几乎是另外两件的两倍。
如果一份报告只印这三个数,读者会得到一个清楚的结论:门铃是这三件里AI化最深的品类。这个结论会被写进选品报告、投放策略和产品路线图,而它只对了一半。
看着全绿的仪表盘常常就是这么来的,AI搜索时代该换掉哪些骗你的老指标列了一批同类的。
皮尤把同一批答案按全体成年人又印了一遍
第6页和第7页,同样三道题,标题写着“基于全体成年人”。分母从“有这件设备的人”换成了“所有5119名受访者”。
恒温器变成11%,门铃变成18%,吸尘器变成13%。三个数全部缩水,而且缩的幅度差得很远。
三个缩水幅度并排放
| 设备 | 家里有 | 有设备者中AI款 | 全体成年人中AI款 | 缩水 |
|---|---|---|---|---|
| 恒温器 | 90% | 13% | 11% | −2点 / −15.4% |
| 门铃 | 68% | 27% | 18% | −9点 / −33.3% |
| 吸尘器 | 92% | 14% | 13% | −1点 / −7.1% |
缩水幅度从7.1%到33.3%,最大的是最小的4.69倍。三个数出自同一份问卷、同一批人、同一天、同一套问法。
缩水多少完全由底座决定
门铃缩得最狠,不是因为门铃的AI化程度有什么问题,是因为将近三分之一的美国家庭根本没有门铃。公寓、老房子、直接敲门的住户,都不在那68%里。
一个关于产品渗透率的数字,被一个跟产品毫无关系的事实改掉了三分之一。这个事实是:那户人家门口有没有装门铃。
验算一遍,乘法对得上
13%乘90%等于11.7%,报出来是11。27%乘68%等于18.36%,报出来是18。14%乘92%等于12.88%,报出来是13。三个都对得上,差的部分是四舍五入。
两套数字是自洽的,缩水完全能被底座普及率解释干净。这个验算值得做一遍,因为它证明了这里没有别的机制在起作用,纯粹是分母换了。
由此得到一个不用原始数据的换算法
看到任何一个“某类用户中有X%做了某事”,只要再问一句“这类用户占全体的百分之几”,两个数一乘就得到全体口径。
这个技巧不需要拿到原始数据,也不需要找数据团队排期,甚至不需要对方配合。它需要的只是把那个被省掉的分母重新找回来,而那个数通常就在同一份报告的前几页。
第三方工具的报表也是同样的读法,Ahrefs报表怎么用那篇先讲的就是每个模块的分母是谁。
排序没变,倍数变了
两套口径下,三件设备的排名都是门铃、吸尘器、恒温器。顺序稳得很,换分母也没换过来。
可是倍数不稳:条件口径下门铃是恒温器的2.077倍,全体口径下只有1.636倍。门铃对吸尘器也一样,从1.929倍掉到1.385倍,从“接近两倍”变成“多三成八”。
为什么这件事要紧
因为报表上、周报里、汇报材料上,人们说的从来不是“排第一”,说的是“是第二名的两倍”。排序只在做取舍时用,倍数才是拿来说服人的那个数。
排序对分母不敏感,倍数对分母极其敏感。而日常沟通里用得多的恰恰是倍数。这就是为什么换个分母不改结论,却能改掉决策。
社媒数据里这类倍数说法尤其多,把社媒指标拆成四层漏斗是把它们拆开看的一种办法。
皮尤做对了一件几乎没人做的事
在全体成年人那张表里,除了三档答案之外,它还专门留了一行:没有门铃,32%。恒温器那张表也有对应的一行:没有恒温器,10%。
它没有把这批人从分母里悄悄拿掉,而是让他们在表里占一格,看表的人一眼就知道少了谁、少了多少。这一行不占地方,可它是整张表里最有信息量的一行。
大多数报表做的是相反的事
不适用的人被筛掉,筛掉之后只印一个数,那个数看起来干净又漂亮,而分母悄悄变小了,变小多少没人知道。
这不是造假,这是省事。可省掉的那一行,恰恰是读者判断这个数值不值得信的唯一线索。把它加回去只要一行字的成本。
子样本的误差也跟着变大
全样本5119人对应正负1.6个点,门铃那道题的子样本只有3609人,误差要放大到正负1.9个点左右。样本每少一块,尺子就粗一点。
9个点的缩水仍然是误差的四倍多,站得住。但换成一个只有几百人的子样本,同样的差值就未必了。条件分母越窄,能站住的结论越少,而报告里的字号是一样大的。
放到独立站的报表上
“复购用户里有42%加购了配件”,这句话在会议上完全说得通,也很可能是真的,数据也确实是这么跑出来的。
但复购用户占全体用户多少?如果是20%,那全体口径下只有8.4%。而备货和选品是按全体算的,不是按复购用户算的。两个数之间差了整整五倍,中间隔的只是一个没写出来的分母。
备货口径一旦和分析口径对不上,最先出问题的是库存,WooCommerce库存管理与防超卖讲的是执行层怎么接住。
再举一个更常见的
“看过尺码指南的用户退货率只有一半”,这句话背后的分母是“看过尺码指南的人”,而这批人本来就是买东西最上心的那批。
把尺码指南做得更显眼,能不能让退货率减半?这两件事之间隔着一整层选择效应,而报表上它们看起来是同一件事的两种说法。
退货率要真降下来得从尺码、产品图和物流一起动手,跨境电商减少退货的预防体系给了完整的清单。
怎么在自己的报表里补上这一行
每个带百分比的指标后面,加一列写清楚分母是谁,再加一列写这个分母占全体的多少。两列都是现成数据,不需要新埋点,不需要排期。
做完之后你会看到一批指标的全体口径值只有原来的三分之一到一半。它们不是错的,只是一直在回答一个比你以为的小得多的问题。
还有第三种分母,它藏在时间里
除了“谁在答”和“从谁里面算”,分母还有一层是“算的是哪段时间的人”。近30天活跃用户、本季度下过单的人、上线以来的累计注册数,这三个分母能差出几个量级。
它比前两种更难发现,因为时间窗口通常写在报表的筛选器里,而截图和转述都不会把筛选器带上。一张被复制到周报里的图,往往是它一生中最后一次带着完整口径的时刻。
时间窗口这一层最容易在跨期比较时出事
上季度用的是近30天活跃,这季度换成了近90天,两个百分比放在同一张趋势图上,曲线会出现一个跟业务毫无关系的台阶。
解决办法不复杂:在图表标题里把窗口写进去,比如“近30天活跃用户中的加购率”。标题长了两个字,读者省下了一次误判。
顺便说一个反例
有些指标必须用条件分母才有意义。比如“打开邮件的人里有多少点了链接”,用全体名单当分母算这个数,反而没法评价邮件正文写得好不好。
所以规矩不是“一律用全体口径”,是“把用了哪个口径写下来”。写下来才谈得上比较。两份报告用了不同口径而都没写,才是真正没法收拾的局面。
想知道一个动作到底带来了多少增量,只能靠对照组,增量测试怎么做把这件事讲得很实在。
前四节做完了一件事
它们把参照系这件事从一个抽象说法,变成了两组可以复算的公开数据:16个点的净值差,和4.69倍的缩水差。两组数都能下载,都能自己重算一遍。
接下来的三节换一个方向,看看有没有人已经把这件事变成了规则。美国联邦公报上那份评价规则的最终文本是一个起点,而比它更老的那份规则管得更细。
美国广告法为什么不允许你只印一个数?
这套规则的名字叫代言与证言使用指南
编号16 CFR Part 255,从255.0排到255.6,一共七节。管的是广告里用别人的话来卖东西这件事,最早的雏形可以追到1980年。
它比去年那份专管假评价的Part 465老得多,也细得多。两者是姊妹规则:一个管评价的真假,一个管证言的代表性。真假问的是有没有这个人,代表性问的是这个人算不算数。
把用户评价做成能排名的资产,前提是这批内容本身经得起查,UGC内容怎么做SEO给了运营侧的做法。
255.2专管消费者代言
所谓消费者代言,就是让一个普通用户出面说这东西好用。落地页上的用户故事、详情页里的买家秀、邮件里那段引语、投放素材里的采访片段,全都算。
品牌大使项目产出的内容全部落在这条规则的射程里,出海DTC品牌大使项目怎么搭里对披露有专门一段。
这一节只有五个小段加十一组例子,篇幅在整份指南里不算长。可它是跟数据分析关系最深的一节,因为它管的核心问题就是一个样本能不能代表总体。
第一句话就把举证责任定死了
255.2(a)写着:用代言来讲产品效果的广告,会被理解成在宣称这个产品对广告里描绘的用途是有效的。因此广告主必须持有并依赖充分的证据来支持这些明示或暗示的主张。
标准是什么?和他自己直接说出这句话时完全一样。换句话说,借别人的嘴说话不能降低举证门槛,法律不认这个中间人。
用户证言本身不算证据
同一段的最后一句很短:消费者代言本身不构成有资质且可靠的科学证据。这句话短到容易被跳过,但它的分量很重。
一百条五星好评加起来,在举证意义上仍然是零。它们证明有人这么说过,证明不了这东西管用。这两件事在日常语感里几乎不分,在法律上分得很清。
真正的关键在(b)那一段
它说:一条讲述一位或多位消费者在产品核心属性上的体验的代言,很可能被理解成在宣称这位代言人的体验,代表了消费者在实际使用条件下普遍能达到的结果。
注意“很可能被理解成”这几个字。这个宣称不需要你说出口,只要你展示了,它就默认成立。你不需要写“人人都能做到”,只需要把那个人的数字放上去,法律就当你说了这句话。
产品详情页上的每一句效果描述都带着这层默认宣称,产品详情页做出唯一内容讲的是怎么写才既独特又站得住。
接下来是本文最想引用的那半句
如果广告主没有证据证明代言人的体验能代表消费者普遍可以达到的结果,那么广告应当清楚显著地披露在所描绘情形下一般可预期的表现。
要么举证这个人有代表性,要么把没有代表性的那个真实数字也印出来。两条路,没有第三条。这就是强制配平——法规在这里做的事,正好是前面四节一直在讲的:它不允许你只给一个参照系。
热泵那个例子把话说透了
一家卖热泵的公司在广告里放了三个人,说装完之后每月电费分别少了100、125、150美元。三个人都是真人,说的都是真话,公司也拿得出他们的账单。
文案越具体越有说服力,也越需要证据撑着,SEO文案写作的八个实战技巧对这个平衡有专门的处理。
实际情况是:能省到100美元以上的购买者不到20%。FTC据此判定这条广告有欺骗性,理由不是数字造假,是这三个数字合起来制造了一个假印象。
合规的说法长什么样
规则里直接给了几个可用的措辞样例,其中一个是:普通住户平均每月省35美元。另外两个是按季节和按比例的写法,都带具体数字。
| 出现在广告里的数 | 金额 | 是真实平均的几倍 |
|---|---|---|
| 第一位代言人 | 每月省100美元 | 2.857倍 |
| 第二位代言人 | 每月省125美元 | 3.571倍 |
| 第三位代言人 | 每月省150美元 | 4.286倍 |
| 三人平均 | 每月省125美元 | 3.571倍 |
| 规则要求披露的真实值 | 每月省35美元 | 1倍 |
三个代言值的平均是125美元,真实平均是35美元。代言值是真实值的3.571倍,最低那个100也有2.857倍,最高那个150是4.286倍。倍数那一列是本文算的,规则只给了金额。
三个人全是真人真话,加起来却是假的
这句话值得停一下。没有人撒谎,没有伪造,没有买评价,每个数字都能核对,每个人都能出来作证。
可这三个真数字放在一起,制造出了一个假结论。问题不在数字上,在挑选上——挑谁出来说话,本身就是一次统计操作,只是没人把它当统计操作看。
内容审计里挑哪些页面留下来,同样是一次没人当统计看的统计操作,上千篇旧内容的留改并删决策就是这么设计的。
披露本身也要有依据
规则接着说,广告主对那个“一般可预期表现”的数字,同样必须持有并依赖充分证据。这一句堵住了一个很自然的偷懒路径。
你不能随口写一个保守的数字了事,也不能拍脑袋打个五折。配平不是打折,是拿出第二份证据。第二个数和第一个数享受同样的举证待遇。
披露不能自己制造新的误导
还有一句:对一般可预期表现的披露,其呈现方式本身不得歪曲消费者可以预期的结果。这句话预设了一件事——就算你给出了第二个数字,它照样可能是错的。
用一个技术上正确但读者读不懂的数字来充数,属于这条要堵的漏洞。第七节会把这个漏洞的七种形态一个一个拆开,每一种都配了规则里的原始数字。
有一条把调研数据和代言划了等号
255.2的例子里有这么一个:一则广告展示了一次消费者调查的结果,说多数受访者的家人分不出这个蛋糕预拌粉做的蛋糕和自己从头做的蛋糕。
规则的判定是,这种对调查结果的使用,就是在宣称这是普通消费者能得到的典型结果。调查数据一旦进了广告,它就不再是数据,是代言。
落地页上那句87%的用户表示满意
按这条例子的逻辑,它在法律意义上和一个代言人站出来说话是同一件事,承担同样的典型性举证责任,而不是一个中立的事实陈述。
这句话很多独立站都在用,通常放在首屏的信任条里。它在合规上的分量,比大多数人以为的重得多,尤其是当那87%来自一份只发给老客户的问卷时。
会员体系会让老客户样本越攒越厚,DTC会员忠诚度体系怎么搭里对这层结构有拆解。
什么时候不需要典型性举证
规则也给了反例:三个人从影院出来,每人说一句这电影好看。这不需要举证,也不需要配任何数字。
理由是消费者会把这理解成三个人的主观看法,不会当成普遍结论。观众明白电影好不好看是各人各样的,不存在一个“一般人的观影效果”。
由此得到一条极好用的判据
看这个结果能不能用数字衡量。能量化的结果,展示个例就自动带上了典型性宣称;纯主观的偏好,展示个例不带。
头发长没长出来是客观的,电影好不好看是主观的。两者在同一条规则下待遇完全不同,而区分它们只需要问一句:这个结果能不能填进一个带单位的空格里。
把这条判据搬到独立站上
买家秀里那句“这个颜色我太喜欢了”属于主观偏好,放着没问题,一百条也没问题。那句“用了三周瘦了八斤”属于可量化结果,就带着举证责任。
同一个页面上的两句话,一句是内容,一句是宣称。区别只在于后面那句里有没有数字。这条判据的好处是它不需要法律知识,任何人都能当场判。
B2B详情页上可量化的承诺更多,B2B产品详情页十四个模块的高转化结构对每一块该配什么证据给了清单。
那些数字最容易出现在哪
转化率、节省时间、续航时长、瘦身斤数、涨粉数、投产比、退货率、复购周期。凡是能填进一个空格的东西,全都属于可量化。
而这些恰恰是文案最爱用的素材,因为具体的数字比形容词有说服力。说服力和举证责任是同一件事的两面——一句话越能打动人,它需要的证据就越多。
还有一条管的是行为不是文字
255.2(d)说,在获取、压制、提升、组织、发布、点赞、点踩、举报或编辑消费者评价的过程中,广告主不得采取会扭曲或误导消费者真实看法的行为。
这一串动词一共九个,把从收集到展示的每一个环节都罩住了。不需要写下任何一句假话,只要顺序排得偏,就落进这条里。把好评置顶这个动作,在这条下面是要看情况的。
评价的收集与回复通常挂在客服流程里,DTC出海客服的四层SLA与工单分流是这条链路的骨架。
这一节留下的动作只有一个
把站上每一处引用了用户结果的地方列出来,看有没有配一个一般结果的数字。255.2消费者代言条款的全文不长,对照着逐条过一遍大概二十分钟。
大多数站会发现一个也没有配。这不奇怪——没人会主动在自己最漂亮的数字旁边,再放一个不那么漂亮的。而这正是规则存在的理由。
效果因人而异这句话,为什么被实验证明是无效的?
几乎每个落地页底部都有那行小字
个体效果可能有所不同。以上为个别用户体验,不代表普遍结果。实际效果因人而异。这三句话的变体,在跨境独立站上几乎是标配。
这类模板句一多,整站的口吻就散了,出海DTC的品牌声音体系怎么搭给了统一口径的办法。
这行字的存在感很低,字号最小,颜色最浅,位置最下。放它的人心里想的是:写了就免责了。这个想法很自然,也很省事,可惜它被一次实验推翻了。
FTC真的去测了这句话有没有用
在255.2的例子里夹着一段话,说委员会在另一个场合测试过含有证言的广告,其中清楚而醒目地写了两种免责声明,测的是受众看完之后到底理解成了什么。
净印象这件事只能靠实测,三十个A/B测试方案里有不少可以直接借用的题目设计。
第一种是简短版的“结果不具典型性”,第二种是更强的长句:这些证言基于少数人的经历,你不太可能得到类似结果。第二种已经把话说到不能再直白了。
两种都没用
原文的结论只有一句:两种披露都没有充分降低“所描绘的经历具有普遍代表性”这一传播效果。
连那句写得又长又直白的强化版都没起作用。受众看完之后,仍然认为广告里那个结果是自己也能拿到的。免责声明改变了页面,没改变印象。
页面上写了什么和用户接住了什么是两件事,把内容当产品来设计讲的就是怎么接住第一步。
这段话在监管文件里很罕见
一个监管机构自己做实验,去验证一种被广泛使用的免责做法有没有效果,然后把“没效果”这个结论写进规则说明里,这件事本身就不常见。
更少见的是它没有停在结论上,而是据此改了执法立场:委员会认为类似的免责声明不太可能有效。一句实验结论,直接变成了一条执法预期。
合规要求变成技术动作的路径通常都不短,GDPR与CCPA同意横幅怎么不毁SEO数据是另一条已经走完的路。
但它留了一个口子
紧接着的一句是:虽然在执法行动中举证责任在委员会一方,但如果广告主持有可靠的实证测试,证明带有该免责声明的广告净印象不具欺骗性,就能从一开始避免被启动执法。
这是一个把主动权还给企业的设计。你可以自己做测试自证清白,规则不禁止免责声明,只是不承认它默认有效。只是没人愿意花那个钱去测。
为什么那行小字会失效
答案不在心理学里,在同一套规则体系的定义条款里。去年那份评价规则的465.1(c)对“清楚显著”给了八项要求,其中第七项写得很直白。
披露不得被同一条传播中的任何其他内容所抵触、削弱,或与之不一致。这一条不是拍脑袋写的,它前面就摆着那次传播测试的结果。
一整页好评就是那个抵消源
页面上方是三个用户的成功故事,配图、数字、姓名、头像俱全,占了两屏。页面底部是一行八号字的免责声明,占半行。
两者不是并列关系,是压制关系。一边是两屏的具体故事,一边是半行的抽象提醒,读者的印象会落在哪一边,其实不需要做实验也能猜到。
首屏放什么就等于告诉用户什么最重要,首页首屏的导航主Banner到分类区怎么设计对这个取舍讲得很细。
八项要求里第四项也很致命
在使用交互式电子媒介的传播中,披露必须是不可回避的。如果消费者必须采取任何行动才能看到它,比如点击一个链接或者把鼠标悬停在图标上,就不算清楚显著。
折叠面板、脚注锚点、问号图标里的浮层,这三种做法在这条下面全部出局。而它们恰恰是设计上最常用的三种“既写了又不占地方”的方案。
独立站上最常见的三种违规姿势
第一种是把说明放进详情页的可展开区块,标题写着“了解更多”;第二种是做成一个上标数字,点了跳到页面最底部的注释区;第三种是鼠标移上去才出现的小气泡。
共同点是它们都省了版面,也都需要用户主动做点什么。而这条规则要求的恰恰是不需要做任何事就能看见。省版面这个动机太合理了,合理到没人会觉得它是个合规问题。
折叠内容还牵着另一头的SEO风险,Show More文本折叠会不会拖累SEO把两头都算了一遍。
第八项是一条纯粹的参照系条款
当宣传或销售行为针对特定人群时,比如儿童、老年人或绝症患者,那么“普通消费者”就包括该群体的成员。
换句话说,普通消费者不是一个固定的人,是随着你的投放对象移动的。你把广告投给谁,谁就成了判断标准里那个“普通”的定义。
同一句披露可能一处合规一处不合规
一份写给通用受众的说明,投给一个高度垂直的人群时,判断标准就跟着变了。措辞一个字没改,投放对象改了,结论可能就翻了。
这条对做精细化投放的独立站尤其要紧:受众包分得越细,普通消费者这个参照系就切得越碎,而素材通常是一套走天下的。
八项里剩下的五项也值得过一遍
| 项 | 要求 | 常见的踩法 |
|---|---|---|
| 第一项 | 视觉传播用视觉披露,音视频都有则至少同等呈现 | 视频里口播卖点,字幕里写限制 |
| 第二项 | 视觉披露的字号、对比度、位置、停留时长要突出 | 浅灰小字压在图片上 |
| 第三项 | 语音披露的音量、语速、节奏要能听清 | 片尾快速念完一长串 |
| 第五项 | 用词造句要普通消费者能懂,且每种语言都要有 | 多语言站只在英文版写了 |
| 第六项 | 在每一种接收媒介上都要满足,包括各类电子设备 | 桌面端看得见,移动端被折叠 |
第六项那个坑最容易中招,因为验收通常只在一种屏幕上做,而移动端的折叠规则往往是主题自带的,没人改过。
同一类问题在商品页的标签栏上也会出现,那排标签让用户没法把两块信息放进同一屏是一个具体案例。
把这八项翻译成一句人话
披露得跟卖点在同一个地方、同样醒目、同样不需要额外动作、同样在每一种设备上、同样用读者的语言。
说白了就是:如果卖点值得放首屏,限制条件也值得放首屏。这句话听起来像在为难人,但它其实给出了一个很清楚的自查标准。
那到底该怎么做才有效
规则给的答案不是把免责声明写得更长,是把一般结果的数字放进去。不是“效果因人而异”,是“普通住户平均每月省35美元”。
前者是一句话,后者是一个数。测试证明前者无效,后者是规则明确认可的做法,而且规则连措辞样例都给好了,照抄就行。
把预期管理做在开箱那一刻也很有效,把开箱做成复购口碑和UGC的杠杆是另一条路子。
为什么数字有效而话术无效
因为免责声明改变的是读者的态度,数字改变的是读者的锚点。看完“效果因人而异”,人心里的预期还停在那个150美元上,只是多了一句“我知道不一定”。
看完“平均每月省35美元”,锚点直接被换掉了。它不是在提醒你别当真,它是在告诉你该当真到什么程度。提醒是软的,替换是硬的。
这件事在转化上不一定是坏消息
直觉上把真实平均值印出来会让转化掉。实际观察到的往往相反:一个具体但不夸张的数字,比一个漂亮但被本能打折的数字更容易被采信。
用户不是没见过世面。看到150美元的时候,他心里已经悄悄除以三了,只是他不知道该除几,于是干脆整句都不信。给个35,反而给了他一个可以相信的东西。
掉的那部分转化也未必是损失
被真实数字劝退的人,本来就是抱着最高预期下单的那批。他们买回去大概率会失望,然后退货、给差评、找客服,每一步都在花钱。
这笔账在转化率上是负的,在退货率、客服工时和评价分上是正的。只是前一个数字会出现在周会上,后三个不会。指标出现在哪张表上,决定了它有没有人替它说话。
顺手记一条可执行的写法
凡是页面上出现一个用户拿到的具体数值,就在同一屏、同样的字号旁边,放一个全体用户的中位数或平均数。不解释、不辩护、不加限定语。
FTC代言指南问答里对这类场景给了不少现成措辞,照着改比自己发明安全。
这一节和第五节合起来是一件事
第五节说法规要求你把两个参照系并排放,这一节说法规还专门测过“用一句话代替第二个数字”行不行,结论是不行。
一个数只能用另一个数来配平,用形容词配不平。这句话在合规上成立,在数据分析上同样成立——写一句“该数据仅供参考”,从来没有让任何一份报告变得更准确。
指标体系要真站得住,得像做产品一样迭代,把SEO当产品做的指标体系与迭代节奏是一套完整方法。
把FTC那个例子拆开数一遍,一份代言里能藏几层参照系?
规则里那句话留了个尾巴
第五节引的那半句最后写着:对一般可预期表现的披露,其呈现方式本身不得歪曲消费者可以预期的结果。
这句话预设了一件事——就算你老老实实给出了第二个数字,它照样可能是错的。接下来的例子把错法列了七种,每一种都配了具体数字,而且七种全部出现在同一个减重产品的例子里。
第一层:平均数被离群值抬起来了
例子里假设某减重产品的披露基于用户的平均减重量。规则说,如果平均数被离群值显著影响,这个披露就是误导性的。
它给的具体数字是:平均减重15磅,中位数8磅。规则明说,这种情况下说“平均减重15磅”是误导,哪怕那个15是老老实实算出来的。
LTV算错最常见的原因也是选错了统计量,用Cohort留存还原ROAS的五步财务模型把每一步的口径都标了出来。
联邦法规明文要求改用中位数
紧接着的一句给出了替代方案:披露改用中位数减重量有助于避免欺骗,比如说多数用户减掉8磅,或者典型用户减掉8磅。
15除以8是1.875倍。一份联邦法规,明文规定在什么情况下必须把平均数换成中位数,这件事在中文材料里几乎找不到对应。统计教科书讲的是两者的区别,法规讲的是什么时候你没得选。
法务和增长团队之间的交接点通常就卡在这类条款上,法务与SEO协作的七个动作点列了该在哪几步拉上法务。
这一层在电商报表里天天发生
客单价、停留时长、复购间隔、加购件数,这几个指标全都是右偏分布,全都有一小撮把平均数拉高的重度用户。
用平均数汇报不违法,但它回答的不是“典型顾客花多少钱”,是“总收入除以人头”。这两句话不是一回事,而报表上它们共用同一个字段名叫客单价。
第二层:那个数只属于坚持下来的人
另一个例子里,广告披露了一句真话:坚持这个项目满六个月的用户,典型减重是35磅。这句话没有任何虚假成分。
规则的判定是这个披露不够。理由写得很直接:实际上只有五分之一的人坚持满了六个月。剩下那五分之四去哪了,广告里一个字都没提。
五分之一这个数字要算一下
假设剩下80%的人减重为零,全体加入者的平均就是35乘0.2等于7磅。35磅和7磅差整整5倍。这个7磅是本文推的,规则里没有给。
规则给了一句更狠的:即便有这条披露,广告仍然没有传达出“加入这个项目的人一般能得到什么”。它要的不是坚持者的结果,是报名者的结果。
幸存者这一层最难自查
因为退出的人在你的数据库里通常是不完整的。他们停止了记录、取消了订阅、删掉了App,最后一次数据停在半路上,连“结果”这一栏都是空的。
能被算进平均值的人,本身就是被这个产品筛选过一遍的人。而筛选的标准往往正是效果好不好——效果差的先走,走了就不在分子里也不在分母里。
想让人愿意回来,得先知道他是在哪一步走掉的,用增长心理学把想再来一次设计进网站体验给了一条设计路径。
第三层:一个真实的速率被乘错了
还有一个例子,广告披露平均每周减重1到2磅。规则说这不够,因为它暗示这个速率会在六个月里持续下去。
实际情况写在同一句里:六个月的平均周减重是0.57磅。六个月约26周,按每周1磅算是26磅,按每周2磅算是52磅,按真实的0.57磅算是14.82磅。
把这个乘法做完
低端宣称值是真实值的1.754倍,高端是3.509倍。一个完全真实的周均值,乘上周数之后就变成了假的。没有一个环节说谎,错的是那个乘号。
为什么会这样?因为效果随时间衰减。前两周掉得快,后面越来越慢,而那个“每周1到2磅”取的是前期数值或全程峰值,都不适合外推。
私域社群的活跃度曲线也是弯的,私域社群五维指标看板里对每个指标该看多长窗口有说明。
这一层在订阅制生意里换了个马甲
月流失率年化就是同一件事。月流失5%听起来不多,一年下来剩下的用户只有0.95的12次方,约54%,将近一半的人走了。
反过来也一样:首月留存率高不代表年留存率高,因为流失曲线是弯的,而外推默认它是直的。这条在健身器械、保健品、教育类目上尤其明显。
第四层:区间宽到没有信息量
规则否掉了这样一句披露:多数使用者减掉10到50磅。理由是这个区间太宽,没有充分传达使用者一般能预期什么。
50除以10是5倍宽。一个覆盖了5倍跨度的区间,等于什么都没说,因为区间里的任何一个值都能被它容纳,包括你最不希望的那个。
这条判据可以反过来用
看到一个区间,先算上下界的比值。比值超过3倍的区间,基本上是拿来占位的,不是拿来给信息的。
行业报告里的“转化率通常在1%到5%之间”就是典型。这句话的信息量约等于零,可它出现在无数份提案的第二页,而且从来没有人在会上问一句:那到底是1还是5。
提案里的每一个区间都该配一句它的来源,SEO客户提案PPT的十二节叙事框架对这一点有专门的处理。
第五层:地域和条件被省掉了
还有一条说,如果一则全国投放的广告没有限定地域,而它披露的预期结果基于南方气候地区客户的经历,那就是误导,因为北方用户达不到那个水平。
同一台热泵,同一个数字,换个纬度就不成立。而广告里没有任何一处提到纬度,因为提纬度这件事在写文案时压根不会浮现出来。
这一层在跨境场景里天天中枪
面向欧美投放的独立站,主推数据往往来自最早跑通的那个市场。等到扩到新市场,那个数字仍然挂在页面上,仍然是首屏那个最醒目的位置。
它没有被改过,因为没有人觉得它需要改——数字本身一直是真的,变的是它旁边那个没写出来的条件。没写出来的东西,改版时也不会被人想起来。
扩到新市场时最容易漏掉的也是这些没写下来的前提,多语言市场关键词调研的完整流程是把它们逐条捡回来的办法。
第六层:普通消费者是谁取决于你投给谁
这一层来自去年那份评价规则的定义条款,第六节已经引过:定向投放特定人群时,普通消费者就包括该人群成员。
所以同一个数字、同一句披露,投给宽泛受众时合规,投给一个高度垂直的受众包时可能就不合规了。合规状态跟着投放设置走,而投放设置每周都在改。
第七层是唯一一条正面示范
有个例子里,代言人自己说:我每天喝两杯代餐,只吃生蔬菜,每天在健身房高强度运动六小时,六个月从250磅减到140磅。
规则的判定是:因为代言人清楚地描述了自己达成这个结果的有限且确实非同寻常的条件,这则广告不太可能让人以为普通用户也能减110磅。说清楚条件,个例就自动免责了。
这条判据比前六条都好用
规则接着补了一句反证:如果同一则广告只说这个人“配合饮食和运动”减了110磅,就不够了,因为这句话没有让消费者意识到那些非同寻常的条件。
区别只在于条件写没写具体。“配合饮食和运动”是一句正确的废话,“每天健身六小时”是一个门槛,读者一看就知道自己过不过得去。
七层放在一张表里
| 层 | 被省掉的参照系 | 规则里的数字 | 倍数 |
|---|---|---|---|
| 第一层 | 用平均数还是中位数 | 15磅对8磅 | 1.875倍 |
| 第二层 | 算不算中途退出的人 | 35磅对约7磅 | 约5倍 |
| 第三层 | 速率能不能外推 | 26到52磅对14.82磅 | 1.754到3.509倍 |
| 第四层 | 区间上下界差多少 | 10磅到50磅 | 5倍宽 |
| 第五层 | 在什么地域什么条件下 | 南方气候对北方气候 | 规则未给 |
| 第六层 | 投放给谁 | 普通受众对垂直受众 | 规则未给 |
| 第七层 | 达成条件写没写全 | 110磅,每天六小时 | 正面示范 |
倍数那一列里,1.875和5倍是规则给的原始数字直接推出来的,1.754到3.509是本文自己乘的,后两层规则没给数字所以留空。
七层可以合并成一个动作
拿到任何一个效果数字,连问七句:用的哪个统计量、算不算退出的人、能不能外推、区间多宽、什么条件下、给谁看的、达成条件写全没有。
七句问完大概三分钟,而它能拦下的错误,比大多数数据治理项目一个季度拦下的还多。
为什么这七层出现在广告法里而不是统计教科书里
因为教科书讲的是怎么算对,法规讲的是算对了之后怎么说才不骗人。这两件事之间隔着一整层,而那一层恰恰是日常工作里出事最多的地方。
这也是这份1980年就有雏形的老规则今天仍然值得读的原因:它比任何一本数据分析的书都更早地意识到,一个正确的数字可以造出一个错误的印象,而且这件事不需要任何人存心。
保哥自己是怎么栽的,后来又怎么把它标出来的?
那是一个做居家健身器械的独立站
主打北美,卖可调哑铃、壶铃、瑜伽垫、划船机这一类东西,客单价从80美元到1200美元不等,团队十几个人,做了三年多。
这个品类有个特点:买它的人买的不是器械,是三个月后的自己。所有效果类商品的调研,问的都是一个还没发生的人,而那个人在被问的时候通常表现得比真实的自己更有毅力。
选品阶段判断需求真假,出海独立站怎么选niche市场给了一套七步决策加十二周落地的路线。
那年要上一款可折叠划船机
售价699美元,比现有产品线都贵,占用的备货资金也最多,一旦压货就是压最多的那笔。团队很谨慎,上市前专门做了一轮需求验证。
做法是标准的:给邮件名单发问卷,8400个订阅用户,回收了一千多份有效样本,回收率在这个行业里算不错的。整个流程没有一步是偷懒的。
名单质量决定问卷质量,邮件弹窗怎么设计才不招人烦又能多收邮箱讲的是这批人从哪来。
第七题问的是你会不会考虑购买
原话是:如果我们推出一款可折叠划船机,售价699美元,你会考虑购买吗。选项从很可能会到肯定不会,一共五档,是最常见的意向题写法。
想在发问卷之前先摸清需求走向,时尚电商搜索需求与趋势预测的五步用的是完全不同的一类信号。
41%的人选了会考虑或者很可能会。这个数字进了需求验证报告的第一页,标题写着需求已验证,下面配了一张漂亮的环形图。
团队按这个数备了2000台
算法很朴素:名单8400人,意向率41%,就算只有一小部分真的下单,两千台也算保守。会上没有人提出异议,包括保哥自己也在那个会上,同样没有提出异议。
这一点必须写清楚,不然后面那些自查动作就成了事后诸葛亮。当时那份报告在场每个人看,都会得出同样的结论——它没有任何一处让人起疑的地方。
工具再全也补不上口径这一层,DTC品牌AI工具栈怎么搭里那十二款的真实边界写得比较老实。
三个月卖了287台
库存把现金流压得很难看,仓储费按月扣,退货率也比预想的高。到第四个月开始做清仓,毛利率被打穿,那个季度的利润表基本上是这一款拖垮的。
复盘会开了两次,结论停留在“投放没做好”和“定价偏高”,两条都没有证据支持,也都没法验证。这种结论的特点是所有人都能接受,因为它不指向任何具体的人。
复盘要落到可验证的分支上,SEO流量异常下降的四类诊断决策树是一个可以照抄的结构。
破局的人是写产品FAQ的客服同事
她接的活跟复盘完全无关,只是要给划船机写一份常见问题页,需要知道用户最关心什么。她做的第一件事是把当初那份问卷的逐份原始答案导出来看。
不是看汇总表,是看原始表。汇总表只有进了报告的那几道题,原始表里躺着所有题,包括那些当初被判定为不重要的。
同一件事的两个数据源经常给出不同答案,site命令还是GSC收录数据到底信谁是校准的一个范例。
问卷里还有一道第八题
题干是:你觉得像你这样的健身爱好者里,大概有多少人会买这个价位的划船机。这是一道填空题,让人直接填百分比。
回收样本的中位数回答是15%。这道题的结果从来没有进过需求验证报告,连附录都没有,它只存在于原始导出文件的第八列。
它为什么没进报告
因为在设计问卷的人眼里,它不是直接的购买意向题,属于辅助性的行业感知题,用来做背景参考。报告要写得干净,背景题就被留在了外面。
这个理由听起来完全合理,任何一个做过问卷的人都会这么判。而它恰恰是整件事里唯一一处真正的错误,其余所有环节都做得没毛病。
产品和增长之间的交接最容易在这类判断上失手,产品经理SEO协作的七个动作点标出了该在哪几步对齐。
41%和15%差2.73倍
同一批人,同一份问卷,前后相邻的两道题,中间隔了不到一分钟。一个41,一个15。两道题的区别只有一处:第七题的主语是你,第八题的主语是像你这样的人。
这个结构和皮尤那两道题一模一样,连位置关系都一样——都是挨着放的,都是只换主语,都是同一批人在同一个心理状态下答的。
实际的成交落在哪一侧
8400个名单,三个月成交287台,粗算3.42%。但这个分母不对——名单里有相当一部分人根本没打开那封上市邮件,把没看到的人算进分母是不公平的。
只算打开过邮件的3100人,287台对应9.26%。这才是一个可以拿来比的数。第四节讲的分母参照系,在这里得先用一次,不然后面比出来的东西都是错的。
把不同来源的分母统一到一张表上,GA4导入广告成本数据算统一ROAS是同一种收拾办法。
9.26离哪个数近
离15是5.74个点,离41是31.74个点。换成倍数,15是9.26的1.62倍,41是9.26的4.43倍。
| 口径 | 数值 | 是实际成交率的几倍 | 进没进报告 |
|---|---|---|---|
| 第七题:你会考虑买吗 | 41% | 4.43倍 | 进了第一页 |
| 第八题:多少人会买 | 15% | 1.62倍 | 没进 |
| 实际成交(全名单8400人) | 3.42% | 0.37倍 | 事后才算 |
| 实际成交(打开邮件3100人) | 9.26% | 1倍 | 事后才算 |
真实成交落在第八题那一侧的量级上,跟第七题完全不在一个数量级。如果当初报告里写的是15%,备货会是七百台上下,那个季度的利润表会是另一个样子。
先排掉两个表层解释
第一个是价格锚点:问卷直接给了699这个价,可能引导了回答。第二个是样本结构:填问卷的是老客户,天然比新客户友好,对品牌有感情。
两条都成立,也都值得改。但它们解释不了同一批人在同一分钟里给出的两个相差2.73倍的数。价格锚点和样本结构对两道题的影响是一样的,它们解释不了差值。
真正的原因是两道题问的对象不同
第七题问的是自我预测,第八题问的是群体估计。而成交率天生是一个群体量——它统计的是一群人里有多少人做了某件事,不是某个人做没做。
问你会不会买,得到的是自我形象;问你觉得多少人会买,得到的才是市场规模。这两个数字都是真话,只是回答的不是同一个问题。
这和皮尤那16个点是同一件事
皮尤那两道题问的是负面影响,人把坏事推给别人;这两道题问的是正面自我评价,人把好事留给自己。表面上一个往下一个往上,方向相反。
但机制相同:都是换掉主语之后,答案系统性地朝对自己有利的方向挪了一段。坏事离我远一点,好事离我近一点,这两句话是同一个心理动作的两个方向。
种子用户的热情同样带着这层滤镜,出海品牌怎么激活第一批种子用户里对怎么区分说和做有具体做法。
五份材料,四份是零
广告后台的兴趣受众规模:只有量级,看不出意向。竞品在电商平台的评论数反推销量:品类跨度太大,划船机和哑铃不可比,换算系数没人说得清。
搜索趋势数据:划船机的搜索量确实在涨,但看不出价位段,699美元和199美元在同一条曲线里。行业展会的现场意向登记表:收了两百多个联系方式,可它记录的是愿意留电话,不是愿意付699美元。
第五份是客服工单里的售前咨询记录
前四份的共同点是它们记录的都是注意力——有多少人在看这个品类,看得有多频繁。售前咨询记录的是另一样东西。
它记录的是一个人在准备掏钱之前,最后一次犹豫时问出口的那句话。这句话不是被采集的,是他主动打出来的。
为什么这份材料特别
因为提问是有成本的。一个人愿意打开对话框、打一行字、等上几分钟看回复,说明他已经越过了感兴趣,走到了要做决定这一步。
而他问的内容,直接暴露了他脑子里那个参照系是什么。不是他说他关心什么,是他真的花力气去问了什么。说和做之间的距离,正好就是这篇文章讲的那个距离。
客服工单是这类真实提问最集中的地方,客服与SEO协作的七个动作账本讲的是怎么把它接进内容生产。
190条咨询里118条问的是同一件事
三个月的划船机售前咨询一共190条。问折起来占多大地方、能不能立着放、放沙发旁边会不会太挤、门宽够不够搬进来的,一共118条,占62.1%。
问阻力等级、问能不能连App、问训练数据怎么导出的,三类加起来不到40条。而落地页首屏是训练数据看板的截图,第二屏是App联动的演示视频,第三屏是阻力系统的技术说明。
收纳尺寸写在参数表第11行
没有实拍图,没有对比物,只有三个数字加一个单位。一个正在犹豫的人要找到它,得先滚过三屏营销内容,再点开参数表,再数到第11行。
这不是设计失误,是顺序失误。页面是按“我们想说什么”排的,不是按“他想问什么”排的,而这两个顺序在这个案例里几乎完全相反。
用户扫过却没点开的那一屏同样在报表里查无此事,商品列表属性引发的静默拒绝是一个更细的场景。
两个参照系里的你不是同一个你
问卷问你会不会买的时候,人脑子里浮现的是练完之后的自己——身材、体能、坚持了三个月之后的成就感。那个人当然会买,那个人已经把它用起来了。
可真正下单前那一分钟,人算的是这东西搬进门那天放哪。一个是三个月后的你,一个是收货那天的你,而问卷只问得到前一个。
客服工单为什么半年没人看
它按问题类型归类,售前咨询、物流、退换、质量,不按商品归类。想看某个商品被问了什么,得一条条翻,翻190条大概要一个下午。
而看这张表的是客服主管,他关心的是响应时长和解决率,这两个指标跟商品分类没有关系。不是查不到,是没人有理由去做这次关联。
最扎心的一击
把第八题那一列加进需求验证报告,只花了20分钟。数据一直在,导出来算个中位数就完了,不需要重新发问卷,不需要任何人配合。
变的只是报告里多了一行,而那一行会把备货数从2000改成七百上下。一行字和一千三百台库存之间,隔的只是没人想到要加这一行。
这个团队的回环
他们对外部数据非常谨慎,从不信第三方发布的市场规模报告,理由永远是那四个字:口径不明。这个态度在会上被反复表扬过,也确实帮他们躲过几次坑。
而他们自己那份41%的口径,从头到尾没有任何一个人写下过它问的是谁。不是隐瞒,是这条信息在流转中没有一个能挂住它的地方——报告模板里没有那一栏。
后来改了四处
问卷模板固定加一道配对题:凡是问你会不会做某事,必须同时问你觉得像你这样的人里有多少会做,两个数一起进报告,谁也不许省。
需求验证报告加一行“本数字的参照对象”。落地页把收纳尺寸和折叠三视图提到首屏。客服工单加一列商品分类,由客服系统自动带出,不用人填。
客服链路上的每一处配置都值得提前想清楚归属,DTC海外手机号的三维选型是同一类前置决策。
落地页那一改的效果
加了一张放在沙发旁边的实拍对比图之后,同渠道加购率从4.1%到6.3%,相对提升53.7%。这是四处改动里唯一能直接看到转化数字的一处。
售前咨询里问收纳的比例从62.1%降到34%——页面替客服回答了这个问题。而咨询量下降在客服主管的报表上不算成绩,那张表考的是响应时长和解决率,问题变少反而让平均处理时长的分母变小了。
第二款产品用了新做法
壁挂式可调哑铃架,客单价320美元。配对问法跑下来,第七题38%,第八题中位数11%,裂口3.45倍,比划船机那次还大。
他们没有用这两个数中的任何一个去算备货,而是把这个裂口当成了一个否决信号。意思是:这份问卷的意向数不能用,得换个依据。
配对问法真正的产出不是第二个数字
它给的是一个可信度读数:两个数的比值告诉你这份问卷的意向数能不能用,而不是替你算出一个修正后的数值。
裂口小于1.5倍,说明这个品类的自我预测比较靠谱,意向数可以打个折用;超过2.5倍,意向数就一个字都不能用,得回到实测数据上去。
那2.5这个阈值哪来的
没有理论依据,是拿第一款那次当基准定的:2.73倍那次全错,所以凡是超过2.5倍就不用。这是一条彻头彻尾的经验阈值。
把它当规矩用可以,当公式用会出事。换个品类、换个价位段、换个名单来源,这个数都可能不一样,得自己攒够两三次记录再定。
那第二款到底怎么备的货
改用第一款的实测打开转化率9.26%当基准,按预计打开量三千人算是278台,再考虑单价只有一半、复购意愿更高、这批人已经买过一次器械,上调到600台。
三个月卖了540台,售罄率90%。而如果按第七题那38%去算,本该备2100台,那就是第二次压货,而且是在刚刚缓过来的时候。
压货之后的下架收尾同样有讲究,产品缺货下架后的301与410决策是把损失控制住的一步。
就算用第八题那个数也还是高
第一款按15%算是1260台,实际287台。第八题同样高估了4.39倍,只是没高估到离谱的程度。这一点必须说清楚,不然这套方法就被吹过头了。
它能把你从4.43倍的错拉到1.62倍的错,仅此而已。它不是一个预测工具,是一个报警器——它告诉你手上这个数不能直接用,至于该用什么,得另想办法。
需求判断撞上天花板时,往往得换到需求生成那一侧,需求捕获与需求生成的第二引擎讲的就是这个切换。
最意外的收益是开会的顺序变了
以前是先说意向率41%,然后有人问怎么来的,然后翻附录,然后这个话题就过去了。现在是先问这个数问的是谁,再说多少。
顺序换一下,意向率41%这句话就没法脱口而出了。这件事没有写进任何流程,它是被那道配对题带出来的副产品。
把讨论顺序固定下来,比多做一份报告有用得多,内容营销漏斗映射的四阶段也是靠顺序起作用的。
六个自查动作,先看排序逻辑
按两个维度相乘排:拿到的成本有多低,以及结论能不能直接变成一个动作。第一件之所以排第一,是因为它完全不需要判断力,任何人做出来结果都一样。
| 顺序 | 动作 | 耗时 | 产出 |
|---|---|---|---|
| 第一件 | 给每个关键数字补一个括号写清参照对象 | 10分钟 | 一份标注过的周报 |
| 第二件 | 问一句换成别人这个数会往哪边走 | 5分钟 | 一个方向判断 |
| 第三件 | 在现有问卷里翻已经问过的配对题 | 20分钟 | 一个现成的对照数 |
| 第四件 | 把售前咨询按商品导一遍看问题分布 | 半天 | 一份页面改动清单 |
| 第五件 | 逐字过问卷题干圈出所有主语 | 20分钟 | 三个打勾结论 |
| 第六件 | 给常用数据源标参照系档位 | 零成本 | 引用前停一下 |
前五件加起来不到一个半小时,第四件半天,第六件零成本但难在坚持。时间只够做一件就做第四件,只够十分钟就做第一件。
第一件:给每个关键数字补一个括号
在周报、看板、汇报材料里,每个百分比后面用括号写清楚它问的是谁、从谁里面算出来的。十分钟能过完一份周报,不需要任何工具。
不需要工具的动作往往最难被排期,AI工具栈年度审计的四维冗余与八步瘦身里也有同样的现象。
写不出来的那几个,就是问题所在。查不到就写“未记录”,别留空——留空会被下一个人默认成不重要,而“未记录”三个字会让他停一下。
报告里的每一条发现都该带一个下一步,把SEO报告里的发现落到下一步给了一套写法。
第二件:问一句换成别人会往哪边走
五分钟。它决定的不是数值而是方向,而方向往往比数值更早救命。两条经验够覆盖绝大多数场景。
负面事件上,别人受到的影响总被估得比自己高;正面能力和正面意向上反过来,自己总被估得比别人强。皮尤那18个人群切片验证的是前一条,划船机那次撞上的是后一条。
第三件:在现有问卷里翻配对题
二十分钟。大多数问卷里其实已经有了,只是没进报告。翻的时候专门找那些被标成辅助题、背景题、行业感知题、认知类题目的。
没进报告的理由通常不是它不重要,是它不是直接的购买意向。而那正是它有用的原因——它问的不是你,所以它没有被那层自我形象污染。
同样的道理,用户搜什么比用户说自己想要什么更靠得住,从搜索量排序升级到搜索需求建模换的就是这个依据。
第四件:把售前咨询按商品导一遍
半天。六件里唯一能直接产出待办清单的,也是唯一需要跨部门的。从客服系统导,不从调研报告导,两者记录的是完全不同的东西。
看的时候只看一件事:问得最多的那类问题,在你的落地页上排第几屏。做完之后让客服把商品分类那一列固化下来,下次就不用再导一遍。
这类一次性整理很值得脚本化,用Claude Code做GSC自定义SEO报表是一个可以照搬的思路。
第五件:逐字过问卷题干,圈出所有主语
二十分钟,零成本,但规避风险最大。三个打勾问题:这道题的主语是谁、结论要用在谁身上、两者是不是同一批人。
第三个问题最容易漏,因为它不在题干里,在报告的标题里。题干问的是“你”,报告标题写的是“市场”,中间那一步换算从来没人做过,也从来没人发现它缺了。
标题和正文口径对不上这件事在页面结构上也常见,H1和Page Title到底什么关系把几种错误设计列了出来。
第六件:给常用数据源标一个参照系档位
零成本,难在坚持。三档就够:写了参照对象的、能推出来的、完全没写的。标在浏览器收藏夹的备注里就行,不需要建文档。
它的作用不是提供信息,是在引用之前先让人停一下。停那一下,就够把一句“行业平均转化率是2.5%”变成“某份报告在某个口径下的2.5%”。美国民意研究协会的披露标准列了一份该写清楚哪些要素的清单,可以拿来当打分表用。
卡点挂在问卷工具的团队模板库里
不是流程文档,不是审批表,是团队那份共享问卷模板的第一题上方,固定放一行灰字:本问卷的每个结论都会被问一句这问的是谁,请给每道意向题配一道对照题。
不做校验,不设必填,不加审批,不生成任何记录。它不拦你,它只是让你每次新建问卷的时候都得看见一次。
为什么这次换成了默认在场
前面几批挑的卡点都是必填项——不填就过不了审,靠的是强制。这一次靠的是另一样东西:省事。
设计问卷的人一定会从模板库开一份新问卷,因为从零写题比改模板慢得多。他可以不看流程文档,可以不参加评审,但他绕不开那份模板。省事这条绳子比审批那条结实,因为它不需要任何人来执行。
四条边界,一条都不能省
第一条:只对自我报告类数据有效,问卷、访谈、意向调研都算。行为数据没有这个问题,但行为数据有另一个参照系问题——它只记录了做了的人,没记录没做的人。
只记录发生过的行为,这个盲区在归因上尤其明显,AI搜索的归因数据平台为什么不会给你拆了两层可以自己测的东西。
第二条:标出来不等于修好了。要真把偏差拿掉得做配对提问,而配对之后前后两期的数字不能直接比,因为问法变了,这一点得在口径文档里写明白。
后两条边界
第三条:这套东西治的是“这个数说的是谁”,治不了“这个数该不该被当成决策依据”。一个参照系写得清清楚楚的坏指标,仍然是坏指标。
第四条也是唯一有明确成本的一条:配对题会让问卷变长,回收率会掉。那个团队实测掉了大约4个点,这笔账得提前算进去,别做完了才发现样本不够。
口径迁移必须提前讲
能用的指标一条都不会少,变的只是一部分数字后面多了一个括号,一部分“用户认为”改称“受访用户自己认为”。没有任何指标会因此作废。
第一次做完,关键指标里参照对象写不出来的通常在三到四成之间。提前把这个数说出来,比做完之后再解释省事得多——不然那三四成会被当成事故,而它其实是常态。
措辞这件事上栽过的跟头
说“这个41%不能信,是被高估的”,效果是零,甚至是负的。因为高估这个词指控的是判断力,而那份问卷是产品同事设计的、主管审的、老板看过的。
接下来的半小时会全部花在“我们的调研到底专不专业”上,而没有人再回去看那两道题。一句话把技术问题变成了立场问题,之后再想拉回来就很难了。
换一种说法
第七题问的是你会不会买,第八题问的是像你这样的人里有多少会买,同一批人同一分钟,一个41一个15。我按15那一侧重算了一遍备货,是七百台不是两千台,是这样。
句子里没有任何评价,只有两个事实、一个动作和一个结果。而且那个动作是自己做的,听的人不需要承认任何事情。不需要承认这一点,是这句话能被听进去的全部原因。
另外两条只在这个话题上成立
第一条:越是听起来像用户亲口说的,越该先查。因为“用户亲口说”这五个字自带可信度光环,没人会去问那句话的主语是谁,也没人好意思去质疑用户。
第二条:越是正面的结论越该查。自我预测的偏差在正面方向上最大,而正面结论恰恰是评审时最容易通过的那种——没有人会为一个好消息要求更多证据。
最后做一次自我审查
这篇文章用的材料全都有立场。皮尤是在论证自己的概率抽样方法更可靠,FTC是在论证自己的规则值得做。这一点不影响原始数字的可用性,但影响它们的结论。
规矩是:采集得到、只需如实记录的可以拿;需要选口径、选分母、选情景才能得出的必须自己重做一遍。五档百分比可以直接抄,净值和落差必须自己算。
引用别人的结论前先看它自己有没有出处,最佳实践清单里查得到出处的那几条是一次逐条核对的记录。
还有一层自我审查是关于这篇文章本身的
保哥举的那个划船机案例,参照系是“经手过的项目”,不是“行业普遍情况”。它能说明机制,说明不了频率——它没法回答有多少团队会栽在同一个地方。
换句话说,这篇讲参照系的文章,自己也有一个参照系问题:所有案例数字只用来解释机制,不要拿去当基准。
常见问题解答
我们的问卷已经发出去了,来不及加配对题怎么办?
先别急着重发。第一步是把原始逐份答案导出来翻一遍,看有没有已经问过的群体估计类题目,比如你觉得同行怎么看、行业里大概多少人会这么做。这类题常被标成背景题不进报告,但它们就是现成的配对项。第二步是把结论句里的主语和题干里的主语对一遍,题干问的是你,报告标题写的是市场,中间那一步换算如果没人做过,就把结论降级成方向判断,不再拿它算绝对数。实在什么都没有也不用重发整份问卷,挑一个几百人的小样本补问那一道对照题就够了,配对比较的误差本来就比绝对值小得多,几百份足够看出裂口有多宽。
配对题该怎么问才不会显得重复?
关键是把参照对象换远一点,别只把你改成用户,那样受访者会觉得是同一道题问了两遍。有效的问法是指向一个具体的群体,并且让人估一个数:你觉得像你这样的人里,大概百分之几会这么做。填百分比比选档位好,因为百分比可以直接跟你的转化率对比,档位不行。位置上建议紧挨着放,中间不要插别的题,这样两道题的心理状态一致,差值才干净。措辞上避免带评价色彩,别写你觉得多少人会冲动消费,那样受访者会自动往低了估。最后记得两道题的选项范围保持一致,否则两个数根本没法相减,配对也就白配了。
行为数据是不是就没有这个问题了?
行为数据确实躲过了自我报告这一层,但它有另一种参照系问题,而且更隐蔽。点击率、加购率、成交率这些指标的分母通常是做过上一步的人,层层筛下来,最后那个数描述的是一小撮已经被高度筛选过的用户。三件智能家居设备那组数字就是现成的例子,同一批人换个分母,缩水幅度能差4.69倍。所以行为数据要问的不是这句话说的是谁,是这个数从谁里面算出来的。做法很简单:每个百分比后面补一列分母是谁,再补一列这个分母占全体的多少,两列都是现成数据,不需要新埋点,也不需要等数据团队排期。
落地页放真实平均值,转化掉了怎么办?
先分清掉的是哪一部分。被真实数字劝退的人,多半是抱着最高预期来的那批,他们买回去大概率会失望,然后退货、给差评、占用客服工时。这笔账在转化率上是负的,在退货率、客服成本和评价分上是正的,只是前一个数字会出现在周会上,后三个不会。所以观察窗口要拉长到一个退货周期以上,同时把退货率和评价分放进同一张表看。如果拉长之后净收益仍然是负的,可以退回到一个折中做法:保留个例故事,但把达成条件写全,这在规则里是被明确认可的正面示范,代价只是文案要写得更啰嗦一点。
皮尤那16个点能直接拿来给我的问卷打折吗?
不能当系数用,只能当量级参考。那16个点是净值差,问的是对人工智能未来影响的判断,跟你问会不会买某款产品不是同一类题,题目类型不同偏差幅度也不同。更要紧的是那18个人群切片的落差范围是9到20个点,高收入组20,65岁以上9,相差2.22倍。而独立站问卷的样本经过邮件名单、老客户、愿意花十分钟这三层筛选,结构上更接近高收入那一行。所以16对你来说更像下限而不是基准。要拿到自己的幅度,只有在自己的问卷里同时问两遍这一条路,别的办法都是在猜系数。
只有几百人的小样本,还值得做配对题吗?
值得,而且小样本上更值得。原因是配对比较把个体差异消掉了,同一个人回答两道题,两个数相减的误差比各自的绝对误差小得多,所以几百份样本也能看出裂口宽窄。要注意的是别去解读绝对值,几百人算出来的41%本身误差就有好几个点,但41比15这个比值仍然是可靠的。使用方式也要跟着调整:不要拿第二个数去算备货,只拿两个数的比值当可信度读数,比值超过两倍半就把意向数整个作废,回到实测转化率上去找依据。样本小的时候这条尤其重要,因为你连打个折都不知道该打几折,只能换一个更硬的依据。
用户访谈和焦点小组有没有同样的问题?
有,而且比问卷更严重,因为访谈里没有第二道题来配平。一对一访谈时受访者面对着一个真人,正面自我评价的动机比填问卷时更强,很少有人会当面说这东西我大概不会买。焦点小组还要多一层,先发言的人会给后面的人设定参照系。可行的补救有两个:一是在访谈提纲里固定加一句你身边有类似需求的人里大概几个会这么做;二是把访谈结论只用于发现问题,不用于估算规模。规模判断交给行为数据和小预算实测,访谈负责告诉你该测什么,这个分工比想办法修正访谈数据现实得多,也省掉了一场关于访谈到底专不专业的争论。
老板只想看一个数,不接受两个数并排放怎么办?
那就只给一个数,但给的是配平之后的那个。做法是在报告里保留一个主数字,把参照对象写进它的标题里,比如把意向率41%改成老客户名单自我预测意向率41%。标题变长了,但决策者读到的信息完整了,也不用同时看两个数。另一种更省事的做法是只汇报比值,一句话说清:这份问卷的自我预测比群体估计高2.7倍,超过我们定的2.5倍红线,所以这一轮备货不采用问卷数据,改用上一款的实测转化率。这句话里只有一个结论,但两个参照系都装进去了,而且它给出的是一个动作,不是一个需要对方判断的结论。
权威参考资料
本文标题:《用户调研换一个主语,同一批人的答案差了16个点》
本文链接:https://zhangwenbao.com/survey-referent-asymmetry-self-versus-society.html
版权声明:本文原创,转载与引用请注明作者与原文链接。许可协议: CC BY 4.0
← 上一篇
刷一条假评论挣1美元,罚上限53088美元,两个数不在一个账本上下一篇 →
没有了