Google AI模式的随机实验:外部点击率降18.8个百分点,用户信任和满意度也跟着降
本文目录
- 这个实验是怎么设计的?
- 谁参加了
- 随机分组为什么重要
- 三种搜索体验
- AI模式和AI概览分别让点击变了多少?
- 哪些网站损失最大
- 用户真的不喜欢AI模式吗?
- Google自己的说法是什么
- 参与者自己怎么说
- 新闻类搜索和重度用户
- 这个实验有哪些地方要打问号?
- 研究者事先押了哪些宝
- 两种估计口径
- AI概览只藏住了一半
- 样本不代表全体美国人
- 原始数据不公开
- 只有7天
- 强制AI模式不是现实场景
- SEJ报道里的一处标题
- 做SEO和内容的人能从中拿走什么?
- 两个数字的分量不一样
- Google面临的两难
- 关注AI模式的走向
- 用户的反感也是信号
- 对外贸站意味着什么
- 自己的数据怎么看
- 常见问题解答
- 这项研究是谁做的?
- AI模式让点击率降了多少?
- 去掉AI概览,点击率会升多少?
- 用户对AI模式的评价怎么样?
- AI模式会让用户转去别的搜索引擎吗?
- 为什么点广告的比例降了42.7个百分点?
- 实验样本有代表性吗?
- 实验持续了多久?
- Google怎么回应AI减少点击的说法?
- ITT和LATE是什么意思?
- AI模式对新闻网站影响大吗?
- 实验为什么先有3天基线期?
- 研究数据公开吗?
- 实验是怎么改变用户的搜索界面的?
- 这项研究经过同行评审了吗?
- 权威参考资料
摘要:东北大学和宾夕法尼亚大学等机构的研究者8月在arXiv发布了一项预注册的随机现场实验,1100名美国用户装上浏览器扩展,被随机分到三种Google搜索:去掉AI概览和AI模式、保持原样、全部转进AI模式,各用7天。和原样相比,强制使用AI模式让外部点击率降了18.8个百分点,每天的搜索会话少了0.92次,用Bing、DuckDuckGo或Yahoo的人多了11.2个百分点,对Google信息的信任、有用性和满意度也都下降。去掉AI概览则让点击率升了8.8个百分点,用户感受没有可测的变化。实验期间Google改了AI概览的网页代码,导致只有约一半的AI概览被成功隐藏,样本也偏年轻、高学历,作者在论文里都写明了。
Google这两年反复说的一句话是:用户喜欢AI搜索,AI功能带来了更多、更高质量的点击。出版商和站长那边,看到的是另一组数字:流量在掉。
两边各说各的,问题在于大多数数据是观察出来的。流量掉了,可能是AI功能,也可能是季节、算法更新、用户习惯本身在变。要分清楚,得做随机实验:把人随机分组,一组用AI,一组不用,其他条件都一样,再看差别。
Search Engine Journal的Roger Montti在9月21日的报道里介绍了这样一项实验。这篇以那篇报道和论文原文为主体,把实验设计、主要结果和局限讲清楚,再说说对做SEO的人意味着什么。
这个实验是怎么设计的?
论文题目直译是《搜索中的AI减少了出版商引荐流量,却没有改善用户体验:实验证据》,作者是Stephanie T. Wang、Jeffrey Gleason、Yakov Bart、Christo Wilson和Danaé Metaxa。arXiv记录显示提交于2026年8月18日,属于信息检索方向。实验获得了两所参与大学伦理审查委员会的批准,并在开放科学平台上做了预注册,也就是事先公开了要检验的假设和分析方法,避免事后挑结果。
谁参加了
研究者在2026年3月17日到19日分批招募,来源有两个:研究招募平台Prolific,以及东北大学参加勤工俭学项目的学生。只招美国用户,条件是18岁以上、主要用Chrome浏览器、主要用Google搜索。
一共1444人报名并装上扩展,其中1387人来自Prolific,57人来自东北大学。7天实验期里至少搜过一次的有1100人,这是行为分析的样本;完成实验后问卷的有956人。Prolific的参与者完成全部流程拿10美元,学生按每小时17美元计酬。
随机分组为什么重要
举个简单的对比。观察数据可能显示:常用AI模式的人,点出去的次数更少。可这也许只是因为爱用AI模式的人,本来就更习惯在一个页面上拿答案。随机分组把这种“人本身不同”的因素抹平了,三组人在分组前的习惯大致一样,之后的差别才能归到搜索体验上。这也是为什么这项研究的结论比大多数行业报告更有分量。
三种搜索体验
参与者先用3天正常的Google搜索,作为基线,然后被随机分到三组,再用7天:
| 组别 | 做了什么 |
|---|---|
| 无AI搜索 | 隐藏页面顶部、中部和“相关问题”里的AI概览,AI模式的搜索在网络层面被转回普通搜索,AI模式的标签和首页入口也隐藏 |
| 当前搜索 | 不做任何改动,AI概览照常出现,AI模式照常可用 |
| AI模式搜索 | 所有搜索都被转进AI模式 |
扩展记录了浏览历史、搜索结果页快照和从Google发出的点击,能看到每次搜索有没有AI概览、用户有没有点进网站。研究者说,扩展没法隐藏Chrome地址栏里的AI模式提示,这是浏览器层面的限制。
基线期的数据可以帮助理解后面的数字:参与者平均每天搜9.2次、4.0个搜索会话、点击4.1次;36%的搜索触发了AI概览;AI模式只占0.6%的搜索,几乎没人主动用。
AI模式和AI概览分别让点击变了多少?
先看最主要的指标,点进外部网站的点击率:
| 指标 | AI模式组对比当前搜索 | 无AI组对比当前搜索 |
|---|---|---|
| 外部点击率 | 降18.8个百分点(95%置信区间负22.2到负15.3) | 升8.8个百分点(95%置信区间2.3到15.3) |
| 每天搜索会话 | 少0.92次 | 没有可测变化 |
| 每次会话时长 | 多0.43分钟 | 少0.59分钟 |
| 使用Bing、DuckDuckGo或Yahoo的人 | 多11.2个百分点 | 没有可测变化 |
换算成每天的点击次数,AI模式组每人每天少点了大约2.27次,而基线期大家平均每天才点4.1次。
AI模式那一列讲的是一个完整的故事:人在Google页面上待得更久,点出去的却更少,一天里搜的次数也变少了。研究者事先的假设是AI模式会让人搜得更多,结果正好相反。
无AI那一列也有意思。去掉AI概览,点击率上升了8.8个百分点,而每次会话的时长缩短。用户更快地点进了网站。
哪些网站损失最大
论文还看了点进特定类型网站的用户比例。和当前搜索相比,AI模式组里:
- 点进新闻网站的用户比例降了12.5个百分点。
- 点进Reddit的降了21.2个百分点。
- 点进维基百科的降了9.9个百分点。
- 点广告的降了42.7个百分点,原因是实验期间AI模式里还没有广告。
最后一条是个提醒:这是2026年3月的AI模式。Google之后在AI模式里加了广告,站内AI模式广告与AI引用那篇写过广告位的情况,今天再做同样的实验,广告那一项的结果会不一样,其他数字也可能变。
研究者把这个结果和此前的观察研究对照:有研究估计AI概览让英文维基百科流量减少了15%,站内AI概览拿走维基百科多少流量那篇专门对比过几个不同的估计。这项实验的意义在于,它说明影响不只限于维基百科和新闻。
用户真的不喜欢AI模式吗?
实验结束后的问卷,问了参与者对Google搜索的感受。和当前搜索相比,AI模式组:
| 感受指标 | AI模式组的变化 |
|---|---|
| 对Google上信息的信任 | 7分制下降0.34分 |
| 觉得搜索有用 | 下降0.59个标准差 |
| 满意度 | 下降0.73个标准差 |
| 掌控感 | 下降0.66个标准差 |
| 改用Bing的意向 | 7分制上升1.25分 |
无AI组在信任、满意度这些指标上,都没有可测的变化。把AI概览拿掉,用户既没有觉得更好,也没有觉得更差,点击却多了。
Google的说法是用户喜欢AI功能,这组结果和它对不上。研究者的措辞是,把生成式AI接入搜索,目前没有换来用户信任或整体体验的相应提升。
Google自己的说法是什么
SEJ说这些结果直接和Google的官方说法相矛盾。Google的说法最集中的一次,是搜索负责人Liz Reid在2025年8月6日发的官方博客,要点是:
- 从Google搜索到网站的自然点击总量,同比“相对稳定”。
- 平均点击质量提高了,高质量点击比一年前略多,高质量指的是用户点进去后没有很快退回来。
- 有了AI概览,人们搜得更多,问题更长更复杂,页面上看到的链接也更多。
- 像“下一个满月是哪天”这类只要快速答案的问题,用户看完可能就不点了,知识图谱和体育比分也是这样。
- 第三方报告说流量大幅下降,Google认为这些报告方法有缺陷、例子是个案,或者把AI功能上线前的变化算了进去。
两边的数字量的不是一回事。Google说的是全网总点击量和点击质量,这项实验量的是同一批人在随机分组下的点击率和搜索频率,没有测点击质量。Google说AI让人搜得更多,实验里AI模式组每天的搜索会话反而少了;但实验测的是“强制全部使用AI模式”,Google说的是AI概览为主的现实环境,场景也不同。
能确定的是,在这项实验设定的条件下,AI模式没有带来更多搜索,也没有让用户更满意。
参与者自己怎么说
AI模式组有309人回答了开放问题“用了一周AI模式,总体印象如何”。研究者编码后发现,负面的占33.6%,正面的29.3%,褒贬都有的13.7%。
研究者从六个方面给回答编码:总体态度、搜索偏好、易用性、信息质量、信任与可信度、自主与掌控。界面故障也有人提到,但次数不多。
负面意见里,最突出的是失去掌控感,占17.6%,有人写“我喜欢自己决定什么时候用AI”;排在后面的是很难直接去到想去的网站,占15.3%,有人说本来只想打开某个网页,却被一段回答挡住了。正面意见里,最多的是省时间,占14.0%,有人说AI很准确地找到了想要的东西;觉得摘要忠实的占6.2%。明确表示信任AI结果的只有1.6%。
新闻类搜索和重度用户
论文还单独测了新闻类搜索,让参与者在新闻问题上对比AI模式和普通搜索的回答。在这部分,AI模式组和当前搜索组在偏好和信任上没有可测的差别。
研究者预先登记了两个可能影响结果的因素:对大模型的熟悉程度、实验前的搜索频率。做多重比较校正后只剩一项显著:对每天超过4个搜索会话的重度用户,AI模式让每天的会话数减少得更多,估计少2.01次。
这个实验有哪些地方要打问号?
研究质量不错,但有几处必须讲清楚,否则很容易被拿去过度引用。
研究者事先押了哪些宝
预注册的好处是,能看出哪些结果是研究者事先预料到的,哪些是意外。按论文,主要假设和结果大致如下:
| 假设 | 事先预测 | 结果 |
|---|---|---|
| 信任 | AI模式降低信任,去掉AI提高信任 | 前半句成立,后半句没找到证据 |
| 点击率 | AI模式降低,去掉AI提高 | 两半都成立 |
| 每天搜索会话 | AI模式增加,去掉AI减少 | AI模式反而减少,去掉AI没有可测变化 |
| 会话时长 | AI模式延长,去掉AI缩短 | 两半都成立 |
| 转向其他搜索引擎 | AI模式增加,去掉AI没影响 | 两半都成立 |
| 新闻类问题上的偏好和信任 | AI模式组降低 | 没找到可测差别,只部分成立 |
最大的意外是搜索会话。研究者原以为对话式的AI模式会让人搜得更多,结果是更少,重度用户少得最多。
两种估计口径
论文的附表里,每个结果都给了两个数。一个是“意向处理”估计,只看被分到哪一组,不管实际执行得怎么样;一个是前面提到的局部平均处理效应,考虑实际执行的程度。AI模式组执行得好,两个数很接近:点击率分别是降18.8和19.9个百分点,信任分别是降0.337和0.359分。正文引用的点击率18.8,就是前一种口径,偏保守。
AI概览只藏住了一半
无AI组在实验第一天成功隐藏了90%的AI概览,之后成功率一路掉到0。原因是实验期间Google改了AI概览的网页代码,扩展识别不出来了。全程算下来只隐藏了51.1%,中位数参与者被隐藏了50%。
研究者按预注册方案报告了“局部平均处理效应”,大意是把“被分到这组”和“真的没看到AI概览”之间的差距考虑进去做了调整。这种调整依赖一个假设:分组只通过AI概览的曝光影响结果。研究者在局限部分专门提了,如果那次界面改动本身改变了参与者的行为,估计就会有偏差。
说白一点,8.8个百分点那个数字,背后的“去掉AI概览”实际只去掉了一半左右。AI模式组的执行要好得多,94.7%的搜索被成功转进了AI模式。
样本不代表全体美国人
分析样本偏年轻,75%在45岁以下;偏高学历,87%至少上过大学;政治倾向偏左,58%是民主党、20%是共和党。性别和种族分布接近美国人口普查。研究者说,换成更有代表性的样本,效应的大小甚至方向都可能不同。
原始数据不公开
研究者把汇总数据和复现结果所需的代码放在了哈佛的数据仓库里,预注册方案放在开放科学平台上。原始浏览记录和结果页快照不公开,理由是里面可能有参与者的姓名、邮箱这类个人信息。其他人可以复核分析过程,没法用原始数据做新的分析。
只有7天
实验期是7天,能看到短期变化,看不到长期适应。用户用久了,有些效应可能减弱,也可能出现新的效应。
强制AI模式不是现实场景
AI模式组是把所有搜索都强制转进AI模式。现实中用户可以自己选,基线期AI模式只占0.6%的搜索。这一组的结果,更适合理解为“如果AI模式成为默认,会发生什么”,而不是“今天AI模式造成了多少损失”。Google把AI模式定位为搜索的未来,研究者想测的就是这个情景。
SEJ报道里的一处标题
SEJ的报道里有个小标题,大意是“AI概览让用户转向其他搜索引擎”。按论文,增加使用其他搜索引擎的是AI模式组,增加11.2个百分点;无AI组在这一项上没有可测变化。引用这条结论时,主语要写成AI模式,不是AI概览。
做SEO和内容的人能从中拿走什么?
两个数字的分量不一样
18.8个百分点,是“所有搜索都走AI模式”这种极端情景下的降幅,置信区间窄,执行也到位。8.8个百分点,是“去掉AI概览”的增幅,但实际只去掉了一半左右,区间也宽得多,从2.3到15.3。给老板或客户讲的时候,前者说明“AI模式如果成为默认,外部点击会大幅减少”;后者说明“今天的AI概览已经在拿走一部分点击”,具体拿走多少,这个实验给的范围比较宽。
写进报告时,可以这样表述:一项2026年3月在美国做的随机实验发现,所有搜索都改用AI模式后,外部点击率比正常Google搜索低18.8个百分点;样本1100人、为期7天,偏年轻和高学历。把条件写全,别人才挑不出毛病。
行业里关于AI搜索让流量掉了多少,数字五花八门,口径各不相同,站内AI搜索流量下降幅度那篇梳理过。这项研究的价值在于它是随机实验,因果关系更可信,代价是样本和时长有限。
Google面临的两难
论文讨论部分点出了一个矛盾。AI模式的设计目标之一,是和ChatGPT这类聊天产品争夺越来越多的对话式查询,同时也符合Google把用户留在自己页面上的利益。可实验里的用户并不买账,有人转去用别的搜索引擎,还表示如果长期被要求用AI模式,会考虑换到Bing。
研究者的判断是,如果用户一直不信任、不喜欢AI模式,Google就要在“推着用户适应”和“冒着把用户推给竞争对手的风险”之间做选择。对站长来说,这个两难怎么解,会直接决定AI模式在搜索里的份额,也就决定了上面那个18.8个百分点离现实有多远。
关注AI模式的走向
今天AI模式在实际搜索中占比还小,但它对点击的影响比AI概览大得多、范围也广得多。Google的入口设计、默认设置一旦变化,流量结构可能跟着变。站内AI概览和AI模式有什么区别那篇讲过两者的触发机制差异,可以对照着看。
用户的反感也是信号
参与者最常见的抱怨是失去掌控、去不了想去的网站。这对内容方有一层启发:用户想要的,常常是一个具体网站上的具体内容,一段总结满足不了。品牌词、导航类搜索、需要比较和判断的内容,是用户最可能主动点出去的地方。把这类内容做好,比追着AI摘要优化更稳。
对外贸站意味着什么
这项实验的参与者是美国的普通用户,搜的是日常问题。做外贸和独立站的读者,面对的是海外采购商和消费者,很多人同样在用Google。实验结果提示了两件事。AI模式如果在你的目标市场普及,信息类内容带来的点击会受到明显挤压。同时,用户在AI模式里最不满意的,是去不了想去的网站。
品牌知名度在这种环境里更值钱。用户直接搜你的品牌名、产品型号,AI给不出可以替代你官网的答案,点击就更可能落到你这里。信息类博客文章依然有价值,但更多是在让AI引用你、让用户记住你,直接带来点击的能力在下降。
自己的数据怎么看
研究给的是整体平均效应,每个网站受到的影响取决于自己的查询结构。在Search Console里,可以把关键词按信息类、导航类、商业类分组,分别看展示和点击的变化;能拿到AI模式流量数据的时候,单独标注出来。排名位置和点击率的关系怎么随AI概览变化,站内排名位置点击率曲线那篇有更多数据。
常见问题解答
这项研究是谁做的?
作者是Stephanie T. Wang、Jeffrey Gleason、Yakov Bart、Christo Wilson和Danaé Metaxa,参与者来自Prolific平台和东北大学,研究经两所大学伦理审查委员会批准,论文于2026年8月18日提交到arXiv。
AI模式让点击率降了多少?
和保持原样的Google搜索相比,所有搜索强制走AI模式时,外部点击率下降18.8个百分点,95%置信区间是负22.2到负15.3个百分点。
去掉AI概览,点击率会升多少?
实验估计升8.8个百分点,置信区间2.3到15.3。但实验期间Google改了网页代码,只有约51.1%的AI概览被成功隐藏,这个数字要谨慎引用。
用户对AI模式的评价怎么样?
AI模式组对Google信息的信任、有用性、满意度和掌控感都下降,改用Bing的意向上升。开放回答里负面意见占33.6%,正面占29.3%。
AI模式会让用户转去别的搜索引擎吗?
在实验里会。强制使用AI模式的一组,使用Bing、DuckDuckGo或Yahoo的用户比例增加11.2个百分点。去掉AI概览的一组没有这种变化。
为什么点广告的比例降了42.7个百分点?
因为实验在2026年3月进行,当时AI模式里还没有广告。这个结果反映的是当时的产品状态,不能套用到加了广告之后的AI模式。
实验样本有代表性吗?
有限。参与者都是美国用户,主要用Chrome和Google,偏年轻、高学历、政治倾向偏左,研究者说换成更有代表性的样本,结果可能不同。
实验持续了多久?
先有3天基线期,然后各组按分配的搜索体验使用7天,结束后填写问卷。7天只能看到短期效应,看不到长期适应。
Google怎么回应AI减少点击的说法?
Google搜索负责人Liz Reid在2025年8月的官方博客里说,自然点击总量同比相对稳定,高质量点击略有增加,并认为第三方关于流量大幅下降的报告方法有缺陷。
ITT和LATE是什么意思?
ITT是意向处理估计,只按分组比较;LATE是局部平均处理效应,考虑实际执行程度。AI模式组执行率高,两者接近,点击率分别降18.8和19.9个百分点。
AI模式对新闻网站影响大吗?
实验里,AI模式组点进新闻网站的用户比例比当前搜索组低12.5个百分点,点进Reddit的低21.2个百分点,点进维基百科的低9.9个百分点。
实验为什么先有3天基线期?
基线期所有人都用正常的Google搜索,用来测量每个人原本的搜索次数、会话数和点击率,之后再随机分组,比较时可以把每个人原本的习惯考虑进去。
研究数据公开吗?
汇总数据和复现代码放在哈佛的数据仓库,预注册方案公开在开放科学平台。原始浏览记录和搜索结果页快照因可能包含个人信息,不公开。
实验是怎么改变用户的搜索界面的?
通过一个兼容Chromium浏览器的扩展。它能隐藏AI概览和AI模式入口、把搜索转进或转出AI模式,并记录浏览历史、结果页快照和点击,但无法隐藏Chrome地址栏里的AI模式提示。
这项研究经过同行评审了吗?
论文是arXiv上的预印本,SEJ称之为草稿论文,目前没有看到同行评审发表的信息。研究做了预注册,假设和分析方法事先公开。
权威参考资料
本文标题:《Google AI模式的随机实验:外部点击率降18.8个百分点,用户信任和满意度也跟着降》
本文链接:https://zhangwenbao.com/google-ai-mode-field-experiment-clicks-trust.html
版权声明:本文原创,转载与引用请注明作者与原文链接。许可协议: CC BY 4.0