文章标题:向 AI 问同一个问题两次,64% 的答案指向不同品牌
正文: 昨天我们发文说,AI 的答案会一天一个样。Hacker News 和 Reddit 上的读者提出了几个好问题:
- 是"日期"在起作用,还是答案本来就会变?我们每天只问一次,所以无法判断。
- 说"变了"是不是太笼统?六个品牌里换掉一个,算不上一个新答案。
- 统计数据在哪里?
- 把问题问得更具体,答案不就会稳定了吗?
于是今天我们逐条做了测试。我们把同样的 210 个问题又跑了两遍,两遍在同一时刻发出。然后我们抓取并阅读了每个答案引用的页面,看是什么决定了哪些品牌被点名。
简要版
- 即使同时问两次,答案也会变。64% 的答案点名的品牌集合不同,而两次提问之间没有任何时间间隔。相隔一天时,这一比例约为 80%。所以大部分变化与时间无关,每次提问都会发生。
- 大多数品牌只是偶尔被点名。同一个问题跑五次,AI 点名的品牌中有 62% 至少在一次答案中缺席。只有排名前两三位的品牌几乎每次都被点名。
- AI 阅读的页面决定了谁被点名。在被引用页面中有四分之三提到过的品牌,在 70% 的答案中被点名。出现在不到十分之一页面上的品牌,只有 3% 的答案点名。同一个品牌,在更多被引页面提到它的问题中,被点名的频率翻倍。
- 具体的问题反而更不稳定,而不是更稳定。回答这类问题的页面很少,所以每次运行找到的页面都不同。
- ChatGPT 相隔一分钟的变化程度与相隔一天差不多。Google 的 AI 每天的变化更大。
如果你在卖东西,只查一次"ChatGPT 会推荐我们吗",几乎说明不了什么。真正重要的是在大量答案中你被点名的频率。而这主要取决于 AI 阅读的页面中有多少提到了你。
我们是如何测试的
我们每天在 ChatGPT、Gemini、Google AI Overviews 和 Google AI Mode 上提出 210 个购买类问题,覆盖 21 个品类。11 月 19 日,我们增加了两次运行,A 和 B,在同一时刻发出。
| 运行 | 时间(UTC) | 答案数 |
|---|---|---|
| 第 1 天 | 11 月 17 日 12:33 | 839 |
| 第 2 天 | 11 月 18 日 00:00 | 840 |
| 第 3 天 | 11 月 19 日 00:00 | 836 |
| 运行 A | 11 月 19 日 17:02–17:30 | 996 |
| 运行 B | 11 月 19 日 17:02–17:30,与 A 同时 | 999 |
运行 A 和 B 还额外包含 42 个非常具体的问题(详见下文)。这样我们就得到了同一引擎上同一问题在五个时间间隔下的两个答案:无间隔、12 小时、17 小时、24 小时和 36 小时。
对每一对答案,我们测量了:
- 品牌重叠度:两个答案都点名的品牌数,除以任一答案点名的品牌数。100% 表示品牌完全相同。
- 排名偏置重叠度(RBO):一种用于排序列表的标准指标,列表顶部的权重高于底部(Webber et al., 2010)。1 表示排名相同。
- 未变化:两个答案点名的品牌完全相同。
- 页面重叠度:与品牌重叠度相同,但针对的是每个答案引用的页面。
每个答案都来自一个无账号、无历史记录的新会话,地区为美国,通过 DataForSEO 采集。95% 区间是对问题而非答案进行重采样,因此同一个问题的四个答案绝不会被算作四个独立结果。
一处更正。在第 2 天的文章中,我们说 84% 的答案在一夜之间发生了变化。这个数字来自我们应用的自动品牌匹配,它也会把一些并非推荐的名称计算在内。用研究公布的品牌列表(brands.json)重新统计后,是 75%,品牌重叠度是 68%,而不是 61%。方向相同,数字更小。我们已在那篇文章中添加了说明。本文中的每个数字都使用公布的列表和脚本。
发现 1:即使同时问两次,答案也会变
图表:按两次运行之间的时间间隔,点名的品牌集合不同的答案占比
四个引擎上同样的 210 个问题,每行约 820 对答案。细带是 95% 区间(对问题重采样)。
| 两次运行间隔 | 品牌重合度 | RBO | 未变化 | 排名第一品牌相同 |
|---|---|---|---|---|
| 无(同一时刻) | 73% (71–76) | 0.84 | 36% | 77% |
| 12 小时 | 68% (65–70) | 0.80 | 25% | 69% |
| 17 小时 | 68% (66–71) | 0.80 | 28% | 73% |
| 24 小时 | 64% (62–66) | 0.78 | 19% | 68% |
| 36 小时 | 64% (62–67) | 0.78 | 20% | 67% |
同一时刻把同一个问题问两遍,典型答案仍会换掉大约六分之一的品牌。隔一天再问,换掉的会略多一些。这点额外变化是真实的(品牌重合度差 5 到 10 个百分点,与其他任何间隔相比 p < 0.001),但幅度很小。相隔一天的两个答案之间的差异,约 80% 在你同一时刻问两遍时就已经存在了。
日期也不重要。同一天相隔 17 小时的两次运行,并不比不同天相隔 12 小时的两次运行更相似。
发现 2:大多数品牌只是有时被提及
我们在每个引擎上把每个问题问了五次。典型答案提到了 4.9 个品牌。但在五个答案中,共出现了 7.5 个不同品牌,只有 2.9 个每次都出现。
在某个引擎上针对某个问题被提及的所有品牌中:
- 38% 在全部五个答案中被提及。
- 39% 在两到四个答案中被提及。
- 22% 只被提及一次。
位置很重要。同一时刻再问一次时,某个品牌被再次提及的概率:
| 在第一个答案中的位置 | 再次被提及 |
|---|---|
| #1 | 95% |
| #2 | 89% |
| #3 | 84% |
| #4 | 77% |
| #5 | 74% |
| #6 或更低 | 66% |
所以对大多数品牌来说,“我们被推荐了吗?”并没有是或否的答案。一个在 5 个答案中被提及 3 次的品牌,在每 5 次检查中就有 2 次缺席。只查一次,你可能以为自己入选了,而实际上通常没有,或者反过来。
发现 3:AI 读取的页面决定了谁会获得提及
为什么同一个问题隔一分钟就会给出不同的品牌?ChatGPT、Gemini 和 Google 的 AI 都会在回答前搜索网页,每个答案都会列出它用到的页面。于是我们抓取了这些页面。在被引用的 11,897 个页面中,我们能读取 9,077 个;其余的被拦截或不是网页。
对每个引擎上的每个问题,我们取出五次运行中任一答案所引用的所有页面,统计其中有多少页面提到了每个品牌。然后我们将其与品牌被提及的频率进行比较。
图表:品牌被提及的频率,与引用页面中提到它的页面数量的关系
提到该品牌的五个答案的占比。每个品牌在每个问题和引擎上计一次。页面:五次运行中任一次针对该问题引用的所有页面,共读取 9,077 个,不含品牌自己的网站。
| 引用页面中提到该品牌的占比 | 被提及(答案占比) | 每次都提及 | 从未提及 |
|---|---|---|---|
| 低于 10% | 3% | 0% | 92% |
| 10–25% | 8% | 2% | 83% |
| 25–50% | 21% | 10% | 64% |
| 50–75% | 48% | 31% | 34% |
| 75% 或更高 | 70% | 54% | 16% |
提到你的页面越多,你就越常被提及。跃升出现在大约一半处:出现在不到一半页面上的品牌,被提及的答案占比只有约五分之一或更少。
还有两个数字:
- 95% 被提及的品牌至少出现在一个被引用的页面上。很少有品牌在没有页面支撑的情况下被提及。
- 74% 每次都提及的品牌出现在至少一半的页面上。
这不就是大品牌出现在更多页面上、也被提及得更多吗?我们通过把每个品牌与它自己比较来检验。对于出现在多个问题或引擎上的 642 个品牌,同一个品牌在出现在更多页面上的答案中被提及的比例为 30%,在出现在更少页面上的答案中为 14%(差异 14 到 17 个百分点,95% 区间)。身为大品牌有帮助。出现在页面上本身也有帮助。
这在每个引擎上都成立。对于出现在四分之三页面上的品牌:ChatGPT 有 88% 的时间提及它们,Gemini 74%,AI Overviews 65%,AI Mode 59%。
这也解释了为什么答案会在同一时刻发生变化。每次运行都会挑中不同的少量页面。当两次运行引用完全相同的页面时,79% 给出了完全相同的品牌。当它们没有共同页面时,这一比例是 5%。
文章标题:向 AI 问同一个问题两次,64% 的答案指向不同品牌
正文: 所有运行对汇总:4,112 对答案。页面按 URL 匹配,忽略跟踪参数。
模型自身的措辞也有影响:即使页面完全相同,每五个答案中就有一个改变其列表。但若更换页面,几乎每个答案都会改变。
这与我们第一项研究的结果一致:90% 被推荐的品牌出现在引擎刚刚读过的“最佳 X”列表中。出现在大多数页面上的品牌,无论引擎选中哪些页面都会出现。只出现在少数页面上的品牌,只有当这些少数页面被选中时才会出现。
发现 4:具体问题更不稳定,而非更稳定
多位读者表示,更具体的问题会得到稳定的答案。因此我们写了 42 个这样的问题,每个类别两个。例如:
- best CRM for a 5-person real estate team under $30 per user per month that syncs with Gmail and has a mobile app
- best mattress under $1,200 for a side sleeper with lower back pain who sleeps hot
- best travel insurance for a 2-week trip to Japan for a 68-year-old with a pre-existing heart condition
我们在同一时刻对每个问题各问两次,并与同一批运行中的宽泛问题进行比较。
| 同一时刻问两次 | 宽泛问题 | 具体问题 |
|---|---|---|
| 品牌重合度 | 73% (71–76) | 56% (51–60) |
| 未改变 | 36% | 12% |
| 第一名品牌相同 | 77% | 56% |
| 页面重合度 | 54% | 19% |
| 每个答案的品牌数 | 5.1 | 3.5 |
具体问题的答案列出的品牌更少,而短列表中一个名字改变时变化更大。因此我们还比较了相同长度的答案。在 4 到 6 个品牌的情况下,具体问题保留了 57% 的品牌,而宽泛问题为 75%。它们在每个引擎上都更不稳定。
原因在于页面。有几十个“最佳 CRM”列表,它们都列出相同的领先者。关于适用于 Gmail 的 5 人房地产团队 CRM 的页面非常少,因此每次运行找到的都是不同的少数几个。
这 42 个问题是我们自己写的,所以请谨慎对待具体数字。方向是明确的,且区间不重叠。
发现 5:ChatGPT 每次提问都变,Google 的 AI 按天变化
按引擎划分的品牌重合度:
| 引擎 | 同一时刻 | 12 小时 | 24 小时 | 36 小时 |
|---|---|---|---|---|
| ChatGPT | 76% | 74% | 72% | 76% |
| Gemini | 72% | 64% | 61% | 64% |
| AI Overviews | 77% | 69% | 63% | 62% |
| AI Mode | 69% | 62% | 60% | 56% |
ChatGPT 随时间没有表现出稳定的变化。相隔 36 小时的答案与同一时刻提问的答案一样相似(差异 0.9 个百分点,区间 −2.3 到 +4.1)。它的答案在每次提问时的变化程度,与一天半内的变化程度大致相同。
Google 的 AI 每天变化更大。AI Mode 从同一时刻的 69% 重合度降至 36 小时后的 56%,其引用的页面也随之变化:页面重合度从 57% 降至 29%。两个 Google 引擎都基于 Google 自己的搜索结果构建答案,这很可能是原因所在。
如何应对
不要相信单次检查。不要相信截图,不要相信工具的一次运行,不要相信某一天。在每个引擎上对每个问题多问几次,统计你被提及的频率。这个比例才是你真实的数字。
找到 AI 为你的买家问题所读取的页面。然后统计其中有多少提到了你。提及的越多,你被提及的频率就越高。在不到四分之一的页面上出现,你很少会被提及。在大约一半的页面上出现,你大约有一半的时间会被提及。在四分之三或更多的页面上出现,大多数时候会被提及。
争取出现在那些遗漏你的页面上。从被引用最频繁的页面开始。许多是“最佳 X”列表、评测和对比页面。请求被添加进去,提供演示或样品,或发布你自己的诚实对比。
为具体问题撰写页面。回答这些问题的页面太少,引擎几乎没有可挑选的。一个关于你确切用例的好页面,可能就会成为它找到的页面。
比 ChatGPT 更频繁地检查 Google 的 AI。ChatGPT 每次提问的变化量大致相同,所以每周平均值就足够了。Google 的 AI 会在一两天内漂移。
我们目前还无法告诉你的事
- 一个国家,一种语言。每个答案都来自美国,使用英语。
文章标题:向 AI 问同一个问题两次,64% 的回答指向不同品牌
正文:
- 仅限未登录状态。我们看到的是新访客看到的内容。已登录、带有历史记录的用户可能会得到不同的结果。我们无法设置这些应用中的 temperature,使用它们的人也同样无法设置。
- 尚无关闭网页搜索的实验。关闭搜索后提问,会展示模型凭记忆给出的推荐。这是下一步。
- 页面抓取于今天。我们于 11 月 19 日读取了被引用的页面,因此页面可能在回答引用之后发生了变化。四分之一的页面无法读取,已排除在外。
- 品牌匹配是自动进行的。它使用一份约 700 个品牌的固定列表。不在列表中的品牌不会被计入,这对具体问题的影响最大。
- 目前为三天。研究持续到 11 月 23 日,我们将更新本文。
方法与数据
- 问题:21 个品类共 210 个购买问题,加上运行 A 和 B 中的 42 个具体问题(每品类 2 个)。
- 引擎:ChatGPT、Gemini、Google AI Overviews 和 Google AI Mode。美国、英语、新会话,通过 DataForSEO 采集。
- 回答:4,510 条。配对比较同一引擎上同一问题在两次运行中的回答。两次回答均未提及列表中品牌的配对已被排除。
- 页面:11,897 个被引用页面,已读取 9,077 个。对于每个品牌,其自己网站上的页面被排除。
- 统计:95% 区间来自对问题的 2,000 次 bootstrap 抽样(同品牌检验则对品牌抽样)。差距之间的差异按问题配对。RBO 使用 p = 0.9,外推。
- stability-pairs.csv:每一对回答,包含两份品牌列表和每一项指标。
- page-coverage.csv:每个品牌在每个问题和引擎上的情况,包含有多少次运行提及了它,以及有多少被引用页面提到了它。
- stability-results.json 和 coverage-results.json:本文中的每一个数字。
- stability.py 和 coverage.py:产出这些结果的脚本。
披露:我运营 Supercite,它为品牌追踪 AI 推荐。本研究在同一系统上运行,使用独立账户。
FAQ
为什么 ChatGPT 对同一个问题给出不同的回答?
因为它在回答前会搜索网页,而每次都会挑选不同的若干页面。在我们的测试中,同一时刻问两次同一个购买问题,64% 的回答指向了不同的品牌组合。当两个回答引用完全相同的页面时,79% 指向相同的品牌。
AI 推荐会随时间变化吗?
在 Google AI Overviews、Google AI Mode 和 Gemini 上,会:回答每天漂移得更远,连同它们引用的页面也是如此。在 ChatGPT 上,除了问两次本身带来的变化之外,我们在 36 小时内没有看到稳定的变化。
如何让 AI 更频繁地推荐我的品牌?
出现在它读取的更多页面上。在一个问题的被引用页面中,每 4 页有 3 页提及的品牌,在 70% 的回答中被提及。出现在不到 1/10 页面上的品牌,仅在 3% 的回答中被提及。找到为你的买家问题而被引用的页面,并争取登上那些遗漏你的页面。
具体问题比宽泛问题更一致吗?
不。我们的 42 个具体问题在同时问两次时保留了 56% 的品牌,而宽泛问题为 73%,因为回答这些问题的页面很少,而且每次运行找到的页面不同。
我应该检查多少次 AI 是否推荐我的品牌?
足以看到一个比例,而不是一个有或没有的答案。AI 为一个问题提及的品牌中,62% 至少在某五次回答中的一次中缺失。在每个引擎上对每个问题多次提问,并长期追踪你被提及的频率。