增量测试是什么：用对照实验衡量广告真实增量与iROAS

摘要：做投流和数据的人迟早会遇到同一个问题：后台ROAS很漂亮，老板问这笔钱花得值不值，你答不上来。原因在于归因只会把已经发生的转化分给某个广告，回答不了更关键的问题：没有这条广告，这单生意会不会照样成交？增量测试（Incrementality testing）就是用来回答这个问题的。它不追踪个人，而是把人群随机分成能看到广告的实验组和看不到广告的对照组，用两组转化的差值剔除那些“本来就会发生”的销售，剩下的才是广告带来的新增价值。

本文不罗列Google后台的按钮，重点讲清增量本身：增量是什么，它和归因、营销组合模型如何分工，三种实验方法（用户层holdout、地理实验、品牌提升）各适合什么场景，iROAS和普通ROAS差在哪，样本量不够为什么会白跑，结果不显著该怎么读，最后用一个出海便携榨汁机品牌调整投流预算的复盘把整套方法串起来。先给结论：归因告诉你功劳记在谁头上，增量测试告诉你这份功劳是不是广告挣来的。

广告ROAS很高，增量测试要回答老板的哪个问题？

很多投手都经历过这样的对话。月底复盘，后台ROAS做到5、6，数字很好看，老板看着报表问：把这部分预算砍掉，销售额会掉多少？会议室里没人接得上话。

问题不在投手不努力，在于手里的工具答不了这个问题。曝光、点击、转化这些指标记录的是发生了什么，没法告诉你如果当初没投这条广告，结果会不会一样。报表里归到广告名下的每一笔转化，有多少是广告促成的，有多少是用户本来就要买、只是顺手点了一下广告？这两类转化在报表上看不出区别，对预算决策的意义却完全不同。

所以越来越多成熟的出海品牌开始把增量测试当成必修课。它换了提问方式：不追问这笔转化该记在谁头上，改问广告到底让用户多做了什么。弄清这一点，才知道预算该往哪儿加、从哪儿撤。

增量是什么？用一位搜品牌词的老客户举例

先看一个很常见的场景。一位老客户准备回购你的产品，他在Google上搜了你的品牌词，看到排在最上面的搜索广告，点进去，下单。

传统的末次点击归因会怎么算？这一单100%的功劳归给那条品牌词搜索广告，报表上它的ROAS非常高。

但换个角度看：这位用户本来就是你的忠实客户，他主动搜品牌词，说明购买意愿已经很强。就算没有那条广告，他大概率也会点下面紧挨着的自然搜索结果，照样进官网、照样下单。这条广告带来的新增转化接近于零。

增量（Incrementality）的核心就在这里：识别并剔除那些本来就会发生的转化，只计算广告额外带来的价值。增量衡量的是广告有没有让用户多买、早买、买更多；它有没有恰好记录下一笔本来就会发生的购买，并不说明问题。想清楚这一点，就能理解为什么有些渠道ROAS高得离谱却不敢加预算：它可能只是在给本来就会成交的人发优惠券，顺手把不属于它的功劳记到了自己名下。

归因、增量测试与营销组合模型各负责什么？

很多人听到增量测试，第一反应是：这和我做的归因有什么区别？这里需要把三种衡量工具的分工讲清楚，它们各管一段，互相补充，不能互相替代。

归因（Attribution）负责日常运营。它分析一条转化路径上各个广告触点分别贡献了多少，用于每天、每周的渠道和广告系列优化。它的长处是粒度细，能落到具体广告；短处是只能在你已经看得见的触点之间分配功劳，回答不了这份功劳本来是否存在。多触点归因模型该选末次、线性还是数据驱动，是另一个独立的问题，多触点归因模型怎么选才不被最后一次点击骗走预算一文专门拆过，这里不展开。

增量测试（Incrementality testing）负责因果验证。它用科学实验检验某个广告活动有没有带来因果性的增长。它不关心功劳怎么分，只关心去掉这个广告后结果会差多少。它的用途是给归因纠偏：归因说某渠道贡献巨大、增量测试却显示它的增量趋近于零时，应该相信后者。

营销组合模型（MMM，Marketing Mix Modeling）负责战略预算。它分析历史销售额、各媒体投入、季节性等宏观数据，用于跨媒体的高层预算分配，关注中长期趋势。它不依赖个体追踪，适合在隐私收紧的环境下划分年度预算。

三者合在一起形成一套完整的衡量体系：MMM在宏观层面分配预算，归因在微观层面做日常优化，增量测试在中间用实验为两者提供因果校准。缺了任何一个，预算决策都会有明显短板。

增量测试为什么成了广告衡量的刚需？

过去，增量测试常被看作高阶玩家才做的事，花钱又费事，中小卖家大多不碰。这两年情况变了，它正在成为营销衡量绕不开的基础设施，最大的推动因素是隐私政策和Cookie的变化。

第三方Cookie逐步淘汰，传统基于个体追踪的归因越来越不准。iOS隐私新政推出后，很多投手的Meta后台ROAS直接失真，这件事在Meta广告iOS 14归因失真怎么救里有过复盘。当你没法稳定追踪单个用户从看到广告到下单的完整链路，依赖这条链路的归因自然站不住。

增量测试不受这个限制。它做的是群体对比的因果推断，只看实验组和对照组在结果上的差异，不需要知道具体哪个人因为哪条广告下了单。不依赖个体追踪、只看群体结果差异，使它成为Cookie淘汰之后仍然可持续的衡量方式。依赖个体追踪的归因在隐私收紧后越来越不准，它的价值反而越来越明显。

除了能应对隐私变化，它还解决了一个老问题：品牌广告的效果可以量化了。视频、展示这类品牌广告长期被批评效果说不清、争不到预算。增量测试中的品牌提升实验，能把品牌认知、购买意向这类心智指标变成可衡量的数字，让品牌广告拿到与效果相称的预算。

增量测试的实验应该怎么设计？

抛开平台的具体按钮，任何一个合格的增量测试，骨架都是同一套实验逻辑。理解了这套骨架，无论在Google、Meta还是第三方工具里跑，你都知道每一步在做什么。

第一步，提出清楚的假设。不要笼统地问广告有没有用，要具体到：我怀疑投在品牌词上的这部分搜索预算增量很低。假设越具体，测试越好设计，结论也越容易落地。

第二步，选择分组方式。核心只有一件事：制造一个看不到广告的对照组，再和能看到广告的实验组比较。分组可以在用户层做（随机让一部分人看不到你的广告），也可以在地理层做（整片区域停投作为对照）。

第三步，估算样本量和周期。对照组太小、测试时间太短，差异会淹没在噪音里，测了也得不出结论。这一步决定你能不能检测出真实存在的增量，后文会单独讲。

第四步，运行实验。期间不要改投放、改预算、改创意，任何中途变动都会污染结论。

第五步，解读结果。看两组转化的差值是否显著，算出增量转化和增量ROAS（iROAS），再决定这部分预算是加、是减还是维持。走完整个流程，你拿到的是一个经得起追问的因果答案，没有被高估的水分。

用户层holdout增量测试怎么跑？

最直观的方法是在用户层做holdout。平台从你的目标人群里随机留出一小批人，让他们看不到你的广告，这批人就是对照组；其余正常看到广告的人是实验组。两组在同一时间窗内的转化差异，就是广告带来的增量。

以Google为例，Google Ads官方对Conversion Lift的说明写得很直接：转化提升是一种增量衡量工具，用来测算购买、网站访问以及其他转化中，有多少是直接由人们看到你的广告所驱动的。它把受众分成看到广告的实验组和看不到广告的对照组，两组转化的差就是提升（lift），即因为广告存在而多出来的转化。由于两组之间唯一的系统性差别是有没有被广告触达，任何显著的结果差异都可以因果性地归到广告上。

用户层holdout的优点是粒度细，可以按年龄、性别等用户属性分别查看不同人群的增量。它的短板也很明显：在Cookie和跨设备追踪受限的环境里，要把同一个人准确地圈进对照组，并确认他没有在任何渠道被广告触达，越来越难。这就引出了第二种更稳健的方法。

地理实验为什么在Cookie淘汰后更稳定？

个体追踪靠不住时，可以把分组粒度提高一层：不按人分，按地区分。地理实验（Geo experiment）的做法是：选出若干市场区域停投广告作为对照组，其余结构相近的区域正常投放作为实验组，比较两组的销售或转化走势，差值就是增量。它不需要知道任何单个用户的身份，因此不受隐私限制影响。

这套方法这两年已经相当成熟，Meta还把它开源了。Meta开源的GeoLift是代表性工具，官方定义是：GeoLift是一套端到端的地理实验方法论，基于合成控制法（Synthetic Control Methods）来衡量广告活动真正的增量效果（Lift）。合成控制的思路是用一组没投广告的区域加权拟合出一个虚拟对照，估算实验区域如果不投广告会是什么走势，再拿真实结果和这个反事实基准比较，差额就是增量。它还能帮你科学地选择适合做测试的市场，避免凭感觉选区。

地理实验的代价是粒度粗：它能告诉你某渠道在整个市场上有没有增量，但细分不到具体人群。对大多数想弄清某条渠道值不值得继续投钱的出海品牌来说，这个粒度够用，而且在Cookie淘汰的背景下尤其稳健。很多预算量级不算大的品牌，第一次跑增量测试反而更适合从地理实验开始。

幽灵广告如何降低增量测试的对照组成本？

搭建对照组有一个绕不开的难题：怎么知道对照组里的人在没有你广告的情况下本来会怎么做？早期的做法是给对照组投放公益广告（PSA）占位，但这样既花钱又不精准。学界后来提出了更好的方案，叫幽灵广告（Ghost Ads）。

这套方法出自一篇获得过营销学界大奖的论文。Johnson、Lewis与Nubbemeyer发表在《市场营销研究杂志》（2017年）上的Ghost Ads研究开篇就指出：要衡量广告的效果，营销者必须知道消费者在没看到广告的情况下会如何行动。幽灵广告的做法是在随机实验中识别出对照组里那些本应被广告触达、实际被系统拦下的人，把他们作为实验组中被触达者的对照。

与公益广告占位和意向性A/B测试相比，论文指出幽灵广告能显著降低实验成本、提升衡量精度、给出真正具有战略意义的基准，并且能跟实时优化投放的现代广告平台兼容。论文中的一次零售重定向实验，测得网站访问增加17.2%、购买增加10.5%，达到同等精度的成本比传统方法至少低一个数量级。

你不需要自己实现这套算法，主流平台的增量测试工具底层用的就是这类思路。理解它的意义在于，你能看懂平台为什么这样搭建对照组，以及结论为什么可信。

品牌广告效果怎么用增量测试量化？

前文几次提到品牌提升，这里把增量测试常见的三种类型一起说明。它们分别对应用户决策链路的不同环节：品牌认知、搜索兴趣、实际转化。

品牌提升（Brand Lift）衡量广告有没有改变受众对品牌的认知和态度。它通常通过问卷实现，比较看过广告和没看过广告的两组人在“熟悉哪些品牌”“更喜欢哪个品牌”这类问题上的回答差异，把品牌知名度、好感度、购买意愿等心智指标量化出来。

搜索提升（Search Lift）衡量广告有没有促使用户主动搜索。它监测实验组看过广告后，在搜索引擎上搜索你的品牌词、产品词的频率是否显著高于对照组。实操上要注意选词：关键词要具体到能指向你，同时又有一定搜索量。太宽泛的词（比如只选你的品类大词）人人都在搜，广告的影响会被稀释；太冷门的长尾词搜索量太小，测不出显著差异。

转化提升（Conversion Lift）就是前面讲的那种，直接测量购买、加购、注册等转化的增量，是最贴近生意结果的一种。

这三种类型从认知到兴趣再到转化逐层递进，让过去说不清效果的品牌广告第一次有了可以用来申请预算的硬证据。

iROAS和普通ROAS有什么区别？

跑完测试读结果，最常见的错误是把增量ROAS（iROAS）当成普通ROAS来理解。这两个数可能相差很大，混为一谈会导致判断全部出错。

普通ROAS的分子是归因到这条广告名下的全部转化金额，其中包含大量本来就会发生的销售。iROAS的分子只算增量转化金额，即剔除本来就会购买的部分之后，广告额外带来的销售。同一条广告，普通ROAS可能是5，iROAS可能只有1.5，因为它名下七成的转化在没有广告时也会发生。

预算决策应该看的是这个差值。普通ROAS很高、iROAS却很低的渠道，说明它大部分时间在给本来就会成交的人重复曝光，加预算基本是浪费；普通ROAS看着一般、iROAS却很健康的渠道，才是在帮你带来新增、值得加码的地方。看错这个数，钱很可能越投越偏，自己还察觉不到。

这也解释了一个让很多投手困惑的现象：为什么某些渠道预算越加，整体实际营收的增长越不成比例？因为新增的钱大部分花在了iROAS很低的曝光上，边际增量在快速衰减。普通ROAS是平均数，它把高增量和零增量的转化混在一起计算，掩盖了边际上的实际情况。

只有把增量单独拿出来看，你才知道下一块钱投进去还能不能换回真实的新增，还是又一次给老客户发了一张他本来就会用的优惠券。

增量测试样本量不够会怎样？

增量测试失败，大多数时候出在样本量和周期估算不足，方法本身往往没选错。增量本身往往不大，广告带来的真实新增可能只占总转化的一两成。要在大量自然波动中稳定地测出这一两成的差异，对照组规模和测试时长都必须足够。

对照组太小，两组差异会被随机波动掩盖，你看到的不显著可能只是没测出来，不代表真的没有增量。测试时间太短，又容易碰上某次促销或某个节日的干扰，把短期波动误判为广告效果。这背后是统计功效和最小可检测效应的计算，与A/B测试估算样本量的原理相同，A/B测试样本量怎么算给过三个可以直接套用的公式，做增量测试前建议先过一遍。

实操上记住一条原则：宁可少跑几个测试，也要给每个测试足够的对照组和周期；不要贪多铺开一堆样本量不足的测试，最后拿一堆没人敢信的结论去定预算。

增量测试结果不显著，是广告无效还是测试有问题？

很多人看到测试结果不显著就慌了，要么草率认定这个渠道没用、马上砍掉，要么干脆不信结果、当作没测过。这两种反应都不对。不显著这个信号需要拆开来看。

先排查测试本身。对照组够不够大？周期够不够长？测试期间有没有碰上促销、断货、大幅调整投放这类污染？把这些问题逐个排除，再下结论。很多不显著的结果，原因在于测试没做扎实，与广告本身无关。

排除干净后仍不显著，这个结论才有价值：在你能投入的样本量和周期下，这个广告的增量小到测不出来。对预算来说，这通常意味着增量有限，这部分钱应该考虑调整优化方向或挪到别处。一个干净的不显著结果，比一个被高估的漂亮ROAS有用得多，至少能让你不再往没有真实增量的渠道里继续投钱。能否正确解读不显著，决定了你能不能用好增量测试。

哪些因素会让增量测试结论失真？

除了样本量，还有几个不容易察觉的问题会破坏结论，开跑前最好先了解。

外溢效应（Spillover）。地理实验中，如果对照区域的人通过口碑、社交、跨区物流受到实验区域广告的影响，两组就不再独立，增量会被低估。选择测试区域时，应尽量选相互独立、不容易互相影响的市场。

季节性污染。测试期如果碰上黑五、大促、节日，整体销售受外部因素推动，很容易把季节带来的增长误算成广告增量。要么避开这些时间窗口，要么确保对照组同样经历这些波动，以便相互抵消。

对照组被偷偷触达。用户层holdout中，对照组的人如果在其他渠道、其他设备上仍然看到了你的广告，对照就失效了。这也是Cookie淘汰后用户层方法越来越难做干净的原因。

新鲜度效应（Novelty）。新创意刚上线时的提升可能只是因为新鲜，投放时间长了会衰减。测试周期太短，容易把短暂的新鲜感当成持续的增量。

这些问题的共同点是都会让对照组不再是一个干净的反事实。保证对照组的纯净，是增量测试所有结论成立的前提。

增量测试、A/B测试、归因分别在什么场景使用？

这几个工具经常被混用，但用错场景会得出误导性的结论。下面按场景做一个简单对照。

想知道某个渠道或活动带来了多少真实新增、值不值得继续投，用增量测试。它回答的是因果层面有没有用、作用有多大。

想在两个具体版本之间分出高下，比如落地页A和B哪个转化高、CTA按钮用红色还是绿色更好，用A/B测试。它比较的是变体之间的相对优劣。实验设计和统计功效怎么做，可以参考SEO实验设计与统计功效，其中讲了单因素隔离怎样做才干净。

想做日常渠道优化、看每天每周各触点的贡献排序，用归因。它粒度细、响应快，但它的数字会系统性高估，关键决策要用增量测试来校准。

简单记：归因做日常排序，A/B测试比较版本优劣，增量测试验证真实因果。三者配合使用，不要指望用一个工具替代其他所有工具。

增量测试多久跑一次，如何排进年度衡量节奏？

很多人把增量测试当成一次性任务：跑一次，拿到结论，然后搁置。这样做浪费了它的价值。渠道的增量会随市场饱和度、季节、竞争对手动作和创意疲劳而变化。今天测出某渠道增量健康，半年后可能因为投放过猛、目标人群已被充分覆盖，增量已经下降。所以增量测试应该是有固定节奏的常规工作。

下面是一个可以落地的节奏参考。日常每天每周，用归因看渠道排序、做投放微调，这是高频、低成本的工作。每个季度，挑一两个预算占比最大或你最没把握的渠道，跑一轮增量测试做因果校准，重点关注品牌词、重定向这类最容易ROAS虚高的地方。

每年，用营销组合模型从宏观层面重新审视一次整体预算如何分配，再用这一年积累的几次增量测试结论去输入和校准它的参数。三个频率叠加，就构成了一套从日常优化到战略分配的完整衡量节奏。

一轮测试需要多久，没有固定数字，但有一个下限原则：周期至少要覆盖产品一个完整的购买决策周期，再加上足够长的观察窗口，让增量从噪音中显现出来。客单价低、决策快的快消品，可能两三周就够；客单价高、用户要反复比价的耐用品，可能需要一个月甚至更长。宁可一次给足时间，也不要为了早拿结论把周期压到测不准。把增量测试排进固定的衡量日历，它才能持续帮你把预算放在有真实价值的地方。

便携榨汁机品牌案例：地理holdout测试如何调整投流预算

下面是一个实际运用这套方法的复盘。一个做便携榨汁机的出海品牌主攻北美，投流以Meta和Google为主。后台ROAS常年好看，品牌词搜索广告的ROAS尤其高，团队一直把相当一部分预算放在品牌词和重定向上，理由是这两块ROAS最高、最划算。

问题是整体增长停滞了。投入不少，新客却增长不起来，复盘时没人说得清到底哪块预算在拉动生意。团队决定不再只看后台归因，跑一次地理实验。他们把结构相近的几个州配成两组，在对照组那批州暂停品牌词搜索广告，其余投放不变，跑了一个完整且避开大促的周期。

结果让团队不太好受：停掉品牌词广告的对照州，整体销售几乎没有下降，大部分本来要买的人照样通过自然搜索找到官网下单。那部分ROAS很高的品牌词预算，iROAS其实很低，大半是在给本来就会买的人记功劳。另一边，他们顺带测试了拉新方向的prospecting广告，对照州的销售明显低于实验州，说明这部分广告确实在带来新增。

根据这个结论，团队大幅压缩了品牌词预算，挪给已验证有真实增量的拉新渠道，在总投放额基本不变的情况下，真实新增客户开始增长。这里没有使用任何夸张的业绩数字，机制本身已经足够说明问题：如果团队继续只信后台ROAS，这笔钱会一直投错方向，他们还会以为自己投得很精准。增量测试的作用，就是把这个问题暴露出来。

增量测试思路如何用于SEO、GEO与AI搜索？

增量测试看起来是投流的事，但其中的反事实思维对做SEO和GEO的人同样有很大启发。

做SEO最常见的误判，是看到某批页面有自然流量、有转化，就认定SEO很值。用增量的方式再问一次：如果这些词不做SEO，这些用户会不会通过别的入口照样找到我、照样转化？品牌词的自然排名尤其要这样追问，很多品牌词流量本来就属于你，做不做SEO都在。把增量思维带进SEO复盘，你能更冷静地区分哪些是靠内容和排名争取来的新增量，哪些只是记录了本来就属于你的流量。

到了GEO和AI搜索阶段，这一点更重要。AI概览和各类AI搜索带来的访问，后台常常没有数据、难以追踪，原因是传统归因在零点击场景里完全失效。这时，群体对比、看整体增量的思路，比纠结单次点击归因更现实。你没法精确追踪每一次AI引用带来的转化，但可以通过被AI引用前后的对比、不同策略组合的整体差异，逼近它的真实增量。投流和SEO、GEO的衡量原理是相通的：不要问这笔转化记给谁，要问没有它结果会差多少。

第一次做增量测试要先做好哪些事？

如果你准备动手，不要一开始就追求复杂的方案。增量测试的价值不在于某一次做得多漂亮，而在于它能否成为预算决策中稳定的纠偏机制。从一个能落地的小测试开始，跑通流程，统一团队对结果的解读口径，比纠结方法论是否完美重要得多。

第一，挑一个你最怀疑在浪费钱的渠道作为切入点。最典型的是品牌词搜索广告和重定向，这两块往往ROAS虚高，最值得先验证。

第二，预算量级不大时先选地理实验。它不依赖个体追踪、不受隐私限制，对第一次做的团队更友好，也更容易做干净。

第三，先保证对照组规模和周期足够，再开始运行。宁可这次只测一件事，也要把它测扎实，一个可信的结论比十个似是而非的数字更有用。

第四，结果出来后，无论显著与否，都先排查测试本身有没有被污染，再做决策。不显著的结果也要当作有价值的信号来解读。

第五，把增量测试当成长期习惯，定期去做。渠道的增量会随市场、季节、竞争变化，定期复测，预算分配才能始终基于真实价值。归因让你知道功劳记给谁，增量测试让你知道这份功劳是不是广告挣来的，后者才是把钱花对的前提。

常见问题解答

增量测试和A/B测试是一回事吗？
不是。A/B测试比较的是两个具体版本之间的相对优劣，比如落地页A和B哪个转化高，它默认这件事要做，只问哪个版本更好。增量测试问的是更上游的问题：这个广告或渠道要不要做，它带来的因果性新增有多少。一个比较版本，一个验证效果是否存在，两者背后都是对照实验的逻辑，回答的问题却完全不同。

预算不大，跑增量测试是不是太奢侈了？
过去确实如此，但现在门槛降低了不少。地理实验这类不依赖个体追踪的方法对中小品牌相当友好，Meta还把GeoLift开源了。更现实的算法是：先花一个测试周期弄清楚这笔钱值不值，再决定要不要继续把一大笔钱押在从没验证过真实增量的渠道上。测试成本往往远低于你在零增量渠道上持续浪费的预算。

后台ROAS已经很高，为什么还要测增量？
ROAS越高的渠道越值得测。后台ROAS高，很可能是因为它名下混有大量本来就会发生的转化，品牌词和重定向尤其明显。增量ROAS（iROAS）会告诉你剔除这部分之后，广告真正多带来了多少。很多团队的问题就出在只看普通ROAS，把大量预算放在iROAS其实很低的渠道上，还以为自己投得很精明。

让一部分人或地区看不到广告，对照组会不会损失销售？
短期会损失一点，这是做因果实验必须付出的成本。但要算总账：用一个测试周期里很小的机会成本，换来对整个渠道增量的清晰判断，避免在错误的地方长期浪费多得多的预算。把对照组的代价看作一次性的诊断费用，这笔账就算得过来。

测出来结果不显著，是否说明这个广告完全没用？
先不要急着下这个结论。不显著有两种可能：一种是测试本身没做扎实，对照组太小、周期太短，或者被促销、断货污染，这种情况要先修正测试；另一种是排查干净后依然不显著，这才说明在你的样本量和周期下，这个广告的增量小到测不出来，对预算而言通常意味着增量有限，应该优化或挪走。分清这两种情况，比测试本身更重要。

增量测试能不能完全取代归因？
不能。两者分工不同，归因粒度细、响应快，适合每天每周的渠道优化和日常排序；增量测试成本高、周期长，适合每隔一段时间为重大决策做因果校准。合理的做法是用归因支撑日常运营，用增量测试定期给归因纠偏，两者结论冲突时以增量测试为准。再加上营销组合模型管理宏观预算，三者配合才构成完整的衡量体系。