Google AI模式的随机实验:外部点击率降18.8个百分点,用户信任和满意度也跟着降

Google AI模式的随机实验:外部点击率降18.8个百分点,用户信任和满意度也跟着降
张文保 20 分钟阅读 3,609 阅读
本文目录
  1. 这个实验是怎么设计的?
  2. 谁参加了
  3. 随机分组为什么重要
  4. 三种搜索体验
  5. AI模式和AI概览分别让点击变了多少?
  6. 哪些网站损失最大
  7. 用户真的不喜欢AI模式吗?
  8. Google自己的说法是什么
  9. 参与者自己怎么说
  10. 新闻类搜索和重度用户
  11. 这个实验有哪些地方要打问号?
  12. 研究者事先押了哪些宝
  13. 两种估计口径
  14. AI概览只藏住了一半
  15. 样本不代表全体美国人
  16. 原始数据不公开
  17. 只有7天
  18. 强制AI模式不是现实场景
  19. SEJ报道里的一处标题
  20. 做SEO和内容的人能从中拿走什么?
  21. 两个数字的分量不一样
  22. Google面临的两难
  23. 关注AI模式的走向
  24. 用户的反感也是信号
  25. 对外贸站意味着什么
  26. 自己的数据怎么看
  27. 常见问题解答
  28. 这项研究是谁做的?
  29. AI模式让点击率降了多少?
  30. 去掉AI概览,点击率会升多少?
  31. 用户对AI模式的评价怎么样?
  32. AI模式会让用户转去别的搜索引擎吗?
  33. 为什么点广告的比例降了42.7个百分点?
  34. 实验样本有代表性吗?
  35. 实验持续了多久?
  36. Google怎么回应AI减少点击的说法?
  37. ITT和LATE是什么意思?
  38. AI模式对新闻网站影响大吗?
  39. 实验为什么先有3天基线期?
  40. 研究数据公开吗?
  41. 实验是怎么改变用户的搜索界面的?
  42. 这项研究经过同行评审了吗?
  43. 权威参考资料

摘要:东北大学和宾夕法尼亚大学等机构的研究者8月在arXiv发布了一项预注册的随机现场实验,1100名美国用户装上浏览器扩展,被随机分到三种Google搜索:去掉AI概览和AI模式、保持原样、全部转进AI模式,各用7天。和原样相比,强制使用AI模式让外部点击率降了18.8个百分点,每天的搜索会话少了0.92次,用Bing、DuckDuckGo或Yahoo的人多了11.2个百分点,对Google信息的信任、有用性和满意度也都下降。去掉AI概览则让点击率升了8.8个百分点,用户感受没有可测的变化。实验期间Google改了AI概览的网页代码,导致只有约一半的AI概览被成功隐藏,样本也偏年轻、高学历,作者在论文里都写明了。

Google这两年反复说的一句话是:用户喜欢AI搜索,AI功能带来了更多、更高质量的点击。出版商和站长那边,看到的是另一组数字:流量在掉。

两边各说各的,问题在于大多数数据是观察出来的。流量掉了,可能是AI功能,也可能是季节、算法更新、用户习惯本身在变。要分清楚,得做随机实验:把人随机分组,一组用AI,一组不用,其他条件都一样,再看差别。

Search Engine Journal的Roger Montti在9月21日的报道里介绍了这样一项实验。这篇以那篇报道和论文原文为主体,把实验设计、主要结果和局限讲清楚,再说说对做SEO的人意味着什么。

这个实验是怎么设计的?

论文题目直译是《搜索中的AI减少了出版商引荐流量,却没有改善用户体验:实验证据》,作者是Stephanie T. Wang、Jeffrey Gleason、Yakov Bart、Christo Wilson和Danaé Metaxa。arXiv记录显示提交于2026年8月18日,属于信息检索方向。实验获得了两所参与大学伦理审查委员会的批准,并在开放科学平台上做了预注册,也就是事先公开了要检验的假设和分析方法,避免事后挑结果。

谁参加了

研究者在2026年3月17日到19日分批招募,来源有两个:研究招募平台Prolific,以及东北大学参加勤工俭学项目的学生。只招美国用户,条件是18岁以上、主要用Chrome浏览器、主要用Google搜索。

一共1444人报名并装上扩展,其中1387人来自Prolific,57人来自东北大学。7天实验期里至少搜过一次的有1100人,这是行为分析的样本;完成实验后问卷的有956人。Prolific的参与者完成全部流程拿10美元,学生按每小时17美元计酬。

随机分组为什么重要

举个简单的对比。观察数据可能显示:常用AI模式的人,点出去的次数更少。可这也许只是因为爱用AI模式的人,本来就更习惯在一个页面上拿答案。随机分组把这种“人本身不同”的因素抹平了,三组人在分组前的习惯大致一样,之后的差别才能归到搜索体验上。这也是为什么这项研究的结论比大多数行业报告更有分量。

三种搜索体验

参与者先用3天正常的Google搜索,作为基线,然后被随机分到三组,再用7天:

组别做了什么
无AI搜索隐藏页面顶部、中部和“相关问题”里的AI概览,AI模式的搜索在网络层面被转回普通搜索,AI模式的标签和首页入口也隐藏
当前搜索不做任何改动,AI概览照常出现,AI模式照常可用
AI模式搜索所有搜索都被转进AI模式

扩展记录了浏览历史、搜索结果页快照和从Google发出的点击,能看到每次搜索有没有AI概览、用户有没有点进网站。研究者说,扩展没法隐藏Chrome地址栏里的AI模式提示,这是浏览器层面的限制。

基线期的数据可以帮助理解后面的数字:参与者平均每天搜9.2次、4.0个搜索会话、点击4.1次;36%的搜索触发了AI概览;AI模式只占0.6%的搜索,几乎没人主动用。

AI模式和AI概览分别让点击变了多少?

先看最主要的指标,点进外部网站的点击率:

指标AI模式组对比当前搜索无AI组对比当前搜索
外部点击率降18.8个百分点(95%置信区间负22.2到负15.3)升8.8个百分点(95%置信区间2.3到15.3)
每天搜索会话少0.92次没有可测变化
每次会话时长多0.43分钟少0.59分钟
使用Bing、DuckDuckGo或Yahoo的人多11.2个百分点没有可测变化

换算成每天的点击次数,AI模式组每人每天少点了大约2.27次,而基线期大家平均每天才点4.1次。

AI模式那一列讲的是一个完整的故事:人在Google页面上待得更久,点出去的却更少,一天里搜的次数也变少了。研究者事先的假设是AI模式会让人搜得更多,结果正好相反。

无AI那一列也有意思。去掉AI概览,点击率上升了8.8个百分点,而每次会话的时长缩短。用户更快地点进了网站。

哪些网站损失最大

论文还看了点进特定类型网站的用户比例。和当前搜索相比,AI模式组里:

  • 点进新闻网站的用户比例降了12.5个百分点。
  • 点进Reddit的降了21.2个百分点。
  • 点进维基百科的降了9.9个百分点。
  • 点广告的降了42.7个百分点,原因是实验期间AI模式里还没有广告。

最后一条是个提醒:这是2026年3月的AI模式。Google之后在AI模式里加了广告,站内AI模式广告与AI引用那篇写过广告位的情况,今天再做同样的实验,广告那一项的结果会不一样,其他数字也可能变。

研究者把这个结果和此前的观察研究对照:有研究估计AI概览让英文维基百科流量减少了15%,站内AI概览拿走维基百科多少流量那篇专门对比过几个不同的估计。这项实验的意义在于,它说明影响不只限于维基百科和新闻。

用户真的不喜欢AI模式吗?

实验结束后的问卷,问了参与者对Google搜索的感受。和当前搜索相比,AI模式组:

感受指标AI模式组的变化
对Google上信息的信任7分制下降0.34分
觉得搜索有用下降0.59个标准差
满意度下降0.73个标准差
掌控感下降0.66个标准差
改用Bing的意向7分制上升1.25分

无AI组在信任、满意度这些指标上,都没有可测的变化。把AI概览拿掉,用户既没有觉得更好,也没有觉得更差,点击却多了。

Google的说法是用户喜欢AI功能,这组结果和它对不上。研究者的措辞是,把生成式AI接入搜索,目前没有换来用户信任或整体体验的相应提升。

Google自己的说法是什么

SEJ说这些结果直接和Google的官方说法相矛盾。Google的说法最集中的一次,是搜索负责人Liz Reid在2025年8月6日发的官方博客,要点是:

  • 从Google搜索到网站的自然点击总量,同比“相对稳定”。
  • 平均点击质量提高了,高质量点击比一年前略多,高质量指的是用户点进去后没有很快退回来。
  • 有了AI概览,人们搜得更多,问题更长更复杂,页面上看到的链接也更多。
  • 像“下一个满月是哪天”这类只要快速答案的问题,用户看完可能就不点了,知识图谱和体育比分也是这样。
  • 第三方报告说流量大幅下降,Google认为这些报告方法有缺陷、例子是个案,或者把AI功能上线前的变化算了进去。

两边的数字量的不是一回事。Google说的是全网总点击量和点击质量,这项实验量的是同一批人在随机分组下的点击率和搜索频率,没有测点击质量。Google说AI让人搜得更多,实验里AI模式组每天的搜索会话反而少了;但实验测的是“强制全部使用AI模式”,Google说的是AI概览为主的现实环境,场景也不同。

能确定的是,在这项实验设定的条件下,AI模式没有带来更多搜索,也没有让用户更满意。

参与者自己怎么说

AI模式组有309人回答了开放问题“用了一周AI模式,总体印象如何”。研究者编码后发现,负面的占33.6%,正面的29.3%,褒贬都有的13.7%。

研究者从六个方面给回答编码:总体态度、搜索偏好、易用性、信息质量、信任与可信度、自主与掌控。界面故障也有人提到,但次数不多。

负面意见里,最突出的是失去掌控感,占17.6%,有人写“我喜欢自己决定什么时候用AI”;排在后面的是很难直接去到想去的网站,占15.3%,有人说本来只想打开某个网页,却被一段回答挡住了。正面意见里,最多的是省时间,占14.0%,有人说AI很准确地找到了想要的东西;觉得摘要忠实的占6.2%。明确表示信任AI结果的只有1.6%。

新闻类搜索和重度用户

论文还单独测了新闻类搜索,让参与者在新闻问题上对比AI模式和普通搜索的回答。在这部分,AI模式组和当前搜索组在偏好和信任上没有可测的差别。

研究者预先登记了两个可能影响结果的因素:对大模型的熟悉程度、实验前的搜索频率。做多重比较校正后只剩一项显著:对每天超过4个搜索会话的重度用户,AI模式让每天的会话数减少得更多,估计少2.01次。

这个实验有哪些地方要打问号?

研究质量不错,但有几处必须讲清楚,否则很容易被拿去过度引用。

研究者事先押了哪些宝

预注册的好处是,能看出哪些结果是研究者事先预料到的,哪些是意外。按论文,主要假设和结果大致如下:

假设事先预测结果
信任AI模式降低信任,去掉AI提高信任前半句成立,后半句没找到证据
点击率AI模式降低,去掉AI提高两半都成立
每天搜索会话AI模式增加,去掉AI减少AI模式反而减少,去掉AI没有可测变化
会话时长AI模式延长,去掉AI缩短两半都成立
转向其他搜索引擎AI模式增加,去掉AI没影响两半都成立
新闻类问题上的偏好和信任AI模式组降低没找到可测差别,只部分成立

最大的意外是搜索会话。研究者原以为对话式的AI模式会让人搜得更多,结果是更少,重度用户少得最多。

两种估计口径

论文的附表里,每个结果都给了两个数。一个是“意向处理”估计,只看被分到哪一组,不管实际执行得怎么样;一个是前面提到的局部平均处理效应,考虑实际执行的程度。AI模式组执行得好,两个数很接近:点击率分别是降18.8和19.9个百分点,信任分别是降0.337和0.359分。正文引用的点击率18.8,就是前一种口径,偏保守。

AI概览只藏住了一半

无AI组在实验第一天成功隐藏了90%的AI概览,之后成功率一路掉到0。原因是实验期间Google改了AI概览的网页代码,扩展识别不出来了。全程算下来只隐藏了51.1%,中位数参与者被隐藏了50%。

研究者按预注册方案报告了“局部平均处理效应”,大意是把“被分到这组”和“真的没看到AI概览”之间的差距考虑进去做了调整。这种调整依赖一个假设:分组只通过AI概览的曝光影响结果。研究者在局限部分专门提了,如果那次界面改动本身改变了参与者的行为,估计就会有偏差。

说白一点,8.8个百分点那个数字,背后的“去掉AI概览”实际只去掉了一半左右。AI模式组的执行要好得多,94.7%的搜索被成功转进了AI模式。

样本不代表全体美国人

分析样本偏年轻,75%在45岁以下;偏高学历,87%至少上过大学;政治倾向偏左,58%是民主党、20%是共和党。性别和种族分布接近美国人口普查。研究者说,换成更有代表性的样本,效应的大小甚至方向都可能不同。

原始数据不公开

研究者把汇总数据和复现结果所需的代码放在了哈佛的数据仓库里,预注册方案放在开放科学平台上。原始浏览记录和结果页快照不公开,理由是里面可能有参与者的姓名、邮箱这类个人信息。其他人可以复核分析过程,没法用原始数据做新的分析。

只有7天

实验期是7天,能看到短期变化,看不到长期适应。用户用久了,有些效应可能减弱,也可能出现新的效应。

强制AI模式不是现实场景

AI模式组是把所有搜索都强制转进AI模式。现实中用户可以自己选,基线期AI模式只占0.6%的搜索。这一组的结果,更适合理解为“如果AI模式成为默认,会发生什么”,而不是“今天AI模式造成了多少损失”。Google把AI模式定位为搜索的未来,研究者想测的就是这个情景。

SEJ报道里的一处标题

SEJ的报道里有个小标题,大意是“AI概览让用户转向其他搜索引擎”。按论文,增加使用其他搜索引擎的是AI模式组,增加11.2个百分点;无AI组在这一项上没有可测变化。引用这条结论时,主语要写成AI模式,不是AI概览。

做SEO和内容的人能从中拿走什么?

两个数字的分量不一样

18.8个百分点,是“所有搜索都走AI模式”这种极端情景下的降幅,置信区间窄,执行也到位。8.8个百分点,是“去掉AI概览”的增幅,但实际只去掉了一半左右,区间也宽得多,从2.3到15.3。给老板或客户讲的时候,前者说明“AI模式如果成为默认,外部点击会大幅减少”;后者说明“今天的AI概览已经在拿走一部分点击”,具体拿走多少,这个实验给的范围比较宽。

写进报告时,可以这样表述:一项2026年3月在美国做的随机实验发现,所有搜索都改用AI模式后,外部点击率比正常Google搜索低18.8个百分点;样本1100人、为期7天,偏年轻和高学历。把条件写全,别人才挑不出毛病。

行业里关于AI搜索让流量掉了多少,数字五花八门,口径各不相同,站内AI搜索流量下降幅度那篇梳理过。这项研究的价值在于它是随机实验,因果关系更可信,代价是样本和时长有限。

Google面临的两难

论文讨论部分点出了一个矛盾。AI模式的设计目标之一,是和ChatGPT这类聊天产品争夺越来越多的对话式查询,同时也符合Google把用户留在自己页面上的利益。可实验里的用户并不买账,有人转去用别的搜索引擎,还表示如果长期被要求用AI模式,会考虑换到Bing。

研究者的判断是,如果用户一直不信任、不喜欢AI模式,Google就要在“推着用户适应”和“冒着把用户推给竞争对手的风险”之间做选择。对站长来说,这个两难怎么解,会直接决定AI模式在搜索里的份额,也就决定了上面那个18.8个百分点离现实有多远。

关注AI模式的走向

今天AI模式在实际搜索中占比还小,但它对点击的影响比AI概览大得多、范围也广得多。Google的入口设计、默认设置一旦变化,流量结构可能跟着变。站内AI概览和AI模式有什么区别那篇讲过两者的触发机制差异,可以对照着看。

用户的反感也是信号

参与者最常见的抱怨是失去掌控、去不了想去的网站。这对内容方有一层启发:用户想要的,常常是一个具体网站上的具体内容,一段总结满足不了。品牌词、导航类搜索、需要比较和判断的内容,是用户最可能主动点出去的地方。把这类内容做好,比追着AI摘要优化更稳。

对外贸站意味着什么

这项实验的参与者是美国的普通用户,搜的是日常问题。做外贸和独立站的读者,面对的是海外采购商和消费者,很多人同样在用Google。实验结果提示了两件事。AI模式如果在你的目标市场普及,信息类内容带来的点击会受到明显挤压。同时,用户在AI模式里最不满意的,是去不了想去的网站。

品牌知名度在这种环境里更值钱。用户直接搜你的品牌名、产品型号,AI给不出可以替代你官网的答案,点击就更可能落到你这里。信息类博客文章依然有价值,但更多是在让AI引用你、让用户记住你,直接带来点击的能力在下降。

自己的数据怎么看

研究给的是整体平均效应,每个网站受到的影响取决于自己的查询结构。在Search Console里,可以把关键词按信息类、导航类、商业类分组,分别看展示和点击的变化;能拿到AI模式流量数据的时候,单独标注出来。排名位置和点击率的关系怎么随AI概览变化,站内排名位置点击率曲线那篇有更多数据。

常见问题解答

这项研究是谁做的?

作者是Stephanie T. Wang、Jeffrey Gleason、Yakov Bart、Christo Wilson和Danaé Metaxa,参与者来自Prolific平台和东北大学,研究经两所大学伦理审查委员会批准,论文于2026年8月18日提交到arXiv。

AI模式让点击率降了多少?

和保持原样的Google搜索相比,所有搜索强制走AI模式时,外部点击率下降18.8个百分点,95%置信区间是负22.2到负15.3个百分点。

去掉AI概览,点击率会升多少?

实验估计升8.8个百分点,置信区间2.3到15.3。但实验期间Google改了网页代码,只有约51.1%的AI概览被成功隐藏,这个数字要谨慎引用。

用户对AI模式的评价怎么样?

AI模式组对Google信息的信任、有用性、满意度和掌控感都下降,改用Bing的意向上升。开放回答里负面意见占33.6%,正面占29.3%。

AI模式会让用户转去别的搜索引擎吗?

在实验里会。强制使用AI模式的一组,使用Bing、DuckDuckGo或Yahoo的用户比例增加11.2个百分点。去掉AI概览的一组没有这种变化。

为什么点广告的比例降了42.7个百分点?

因为实验在2026年3月进行,当时AI模式里还没有广告。这个结果反映的是当时的产品状态,不能套用到加了广告之后的AI模式。

实验样本有代表性吗?

有限。参与者都是美国用户,主要用Chrome和Google,偏年轻、高学历、政治倾向偏左,研究者说换成更有代表性的样本,结果可能不同。

实验持续了多久?

先有3天基线期,然后各组按分配的搜索体验使用7天,结束后填写问卷。7天只能看到短期效应,看不到长期适应。

Google怎么回应AI减少点击的说法?

Google搜索负责人Liz Reid在2025年8月的官方博客里说,自然点击总量同比相对稳定,高质量点击略有增加,并认为第三方关于流量大幅下降的报告方法有缺陷。

ITT和LATE是什么意思?

ITT是意向处理估计,只按分组比较;LATE是局部平均处理效应,考虑实际执行程度。AI模式组执行率高,两者接近,点击率分别降18.8和19.9个百分点。

AI模式对新闻网站影响大吗?

实验里,AI模式组点进新闻网站的用户比例比当前搜索组低12.5个百分点,点进Reddit的低21.2个百分点,点进维基百科的低9.9个百分点。

实验为什么先有3天基线期?

基线期所有人都用正常的Google搜索,用来测量每个人原本的搜索次数、会话数和点击率,之后再随机分组,比较时可以把每个人原本的习惯考虑进去。

研究数据公开吗?

汇总数据和复现代码放在哈佛的数据仓库,预注册方案公开在开放科学平台。原始浏览记录和搜索结果页快照因可能包含个人信息,不公开。

实验是怎么改变用户的搜索界面的?

通过一个兼容Chromium浏览器的扩展。它能隐藏AI概览和AI模式入口、把搜索转进或转出AI模式,并记录浏览历史、结果页快照和点击,但无法隐藏Chrome地址栏里的AI模式提示。

这项研究经过同行评审了吗?

论文是arXiv上的预印本,SEJ称之为草稿论文,目前没有看到同行评审发表的信息。研究做了预注册,假设和分析方法事先公开。

权威参考资料

分享到
标签
版权声明

本文标题:《Google AI模式的随机实验:外部点击率降18.8个百分点,用户信任和满意度也跟着降》

本文链接:https://zhangwenbao.com/google-ai-mode-field-experiment-clicks-trust.html

版权声明:本文原创,转载与引用请注明作者与原文链接。许可协议: CC BY 4.0

继续阅读
发表评论
支持 Ctrl + Enter 提交