A/B测试赢了11.4%,上线却掉5%,问题出在那26天
本文讲一类没有名字的实验错误:实验本身完全正确,但它测量的那个世界和你要应用结论的那个世界不是同一个。一家户外帐篷跨境独立站把产品页重做一版,26天的A/B测试新版赢11.4%、p值0.008,全量上线一个月后整体转化率反而低了5%。追下去发现测试的第9到25天有一家大型户外零售商在做年度清仓,比价流量占比从31%冲到58%,而新版多出来的价格保障模块只对正在比价的人有效——按清仓起止把区间切开重算,清仓前那8天只有1.9%,清仓期17…