Newshot

我们连续两天向 AI 提出同样的 210 个购买问题,84% 的答案发生了变化

Translation(model translation, not the source's own text)

我们连续两天向 AI 提出同样的 210 个购买问题,84% 的答案变了

昨天我们展示了 AI 的产品推荐大多来自「最佳 X」榜单。我们收到最多的问题很简单:答案会保持不变吗?

于是我们又问了一遍。同样的 210 个问题,同样的四个引擎,同样的设置,一天之后。然后我们把每个答案与前一天的答案做了对比。

大多数答案都变了。

简要版本

  • 84% 的答案在第二天给出了不同的品牌组合。在 Gemini 上是 95%。
  • 第一天被提及的品牌中,有 27% 第二天消失了。
  • 榜首位置相当稳固。排名第 1 的品牌第二天仍有 90% 的概率被提及,尽管它仍为第 1 的概率只有 63%。
  • 排名靠后的位置,则近乎掷硬币。排名第六或更低的品牌,第二天被再次提及的概率为 61%。较小的品牌只保住了半数席位。领先品牌保住了 73%。
  • AI 读取的页面变化更快。只有 42% 的引用页面在次日保持不变。

因此,单次检查「ChatGPT 会推荐我们吗?」并不能说明什么。明天再问,你可能得到相反的答案。

同一个问题,两天

这里有一个真实的例子。我们向 Google AI Mode 询问「最适合从未用过 CRM 的团队的最简单 CRM」是什么。

  • Less Annoying CRM#1,「零花哨的简洁」次日消失
  • Streakfor Gmail 团队

它读了什么

  • zapier.com:「11 款最适合小企业的 CRM」
  • HubSpot CRM#1,「最简便的」变成了第 4 名
  • Streakfor Gmail 团队

它读了什么

  • slack.com:「什么是简易 CRM?」
  • hubspot.com:HubSpot 自家的 CRM 页面

第一天,Less Annoying CRM 是首选,理由是它「零花哨的简洁」。AI Mode 只读了一个页面就给出了答案:Zapier 的最佳小企业 CRM 榜单。

第二天,Less Annoying CRM 完全没被提及。HubSpot 排在首位。这一次 AI Mode 读了两个不同的页面:Slack 博客上的一篇指南,以及 HubSpot 自家的产品页面。

这些 CRM 本身一夜之间什么都没变。变的是引擎恰好读到的页面。换掉页面,就换掉了答案。

这就是数字背后的模式。AI 的答案不是固定排名。它是几个页面的摘要,每次都会重新挑选。

你今天的位置预示着明天

并非每个品牌的变动幅度都一样。一个品牌在答案中的排名越高,它第二天被再次提及的可能性就越大。

图表:次日再次被提及,按第一天的位置划分

同一个问题,同一个引擎,11 月 17 日与 18 日。基于 5,072 次品牌提及。

在其品类中出现在大量答案里的品牌,保住了 73% 的席位。出现较少的品牌保住了 51%。这一差异合乎情理:领先品牌出现在 AI 读取的大多数页面上,所以无论它挑哪些页面,领先品牌都在上面。较小的品牌只出现在少数页面上。当引擎挑了其他页面,较小的品牌就掉出去了。

如果你不是领先者,这才是关键部分。你的可见度取决于引擎当天读了哪些页面。让它稳定下来的办法,就是出现在更多这样的页面上。

各引擎变动方式不同

ChatGPTGeminiAI OverviewsAI Mode
答案发生变化的占比88%95%67%84%
次日消失的品牌23%33%24%28%
两天相同的 #1 品牌71%57%66%58%
相同的引用页面40%41%47%39%

Gemini 变化最大。在 95% 的问题上,它第二天给出的品牌列表都不一样,并且它丢弃了所提及品牌的三分之一。Google AI Overviews 变化最小,但即便在那里,三分之二的答案也发生了变动。

ChatGPT 对它的首选最为忠诚:71% 的情况下 #1 品牌相同。这与我们昨天的观察相符。ChatGPT 往往在读取任何内容之前,先从记忆中给出一个候选名单,所以它的首选较少依赖当天找到的页面。

页面比品牌变化更快

第一天引用的页面中,只有 42% 在第二天被再次引用。品牌比这更稳定(重合率 61%),主要是因为同样的领先品牌出现在许多不同的页面上。

这把两项研究联系了起来。昨天我们发现,90% 被推荐的品牌都出现在引擎引用过的某个清单上。今天我们则看到,被引用的清单集合每天都在轮换。合在一起看:

  • 出现在一个清单上,能让你进入一部分回答。
  • 出现在许多清单上,能让你进入大多数回答,因为无论引擎读到哪些清单,你都在上面。

有些品类比其他品类变动更大

最稳定相同品牌相同的第一名
会计软件79%93%
VPN75%75%
旅行保险69%53%
最不稳定相同品牌相同的第一名
AI 搜索可见性工具48%52%
床垫51%56%
跑鞋53%33%

会计软件几乎没有变动。QuickBooks、Xero、Wave 和 FreshBooks 在每个引擎的大多数回答里都会出现,所以变化的空间很小。

最不稳定的品类是我们自己的:AI 搜索可见性工具。这说得通。这是个新品类,有很多年轻公司,也还没有稳定的清单集合。跑鞋的第一名最不稳定:三个问题里有两个的首选发生了变化。

这对你意味着什么

不要相信单次检查。一张 ChatGPT 推荐你、或者无视你的截图,只是一个样本。一天之内 84% 的回答发生了变化。你需要把同样的问题反复问很多次,看看你出现的频率。

衡量份额,而不是有或没有。单个回答大约会提到 6 个品牌。对同一个问题的八次回答(四个引擎、两天)中,一共出现了 14 个不同品牌。其中 30% 只被提到过一次。每个问题只有大约 2 个品牌在八次回答中全都被提到。真正有用的数字是:在许多回答中你被提到的频率,以及这个数字是否在上升。

如果你不是领先者,就上更多的页面。较小的品牌有一半的时候会掉出名单。解决办法和昨天那项研究一样:找出 AI 为你的买家问题所读的清单,然后进入那些把你排除在外的清单。点名你的清单越多,引擎读到哪几个就越不重要。

检查来源,而不只是答案。页面的轮换比品牌还快。上周被引用的清单今天可能不再被引用,也可能出现了新的清单。留意哪些页面正在被读取,因为下一个答案就来自那里。

在判断变化之前,先给它一点时间。如果你进入了一个新清单,第二天品牌就出现了,那是个好迹象,但不是证据。观察一到两周的趋势。

手工做这件事,意味着每天在四个引擎上问同样的问题,并记下每一个品牌和每一个页面。没人能长期坚持。这就是我们做 Supercite 的原因。

方法与局限

  • 我们问了什么。210 个购买类问题,覆盖 21 个品类,例如 "best CRM for small business" 和 "cheapest email marketing service for 10,000 subscribers"。我们以美国用户、英文,在 2026 年 11 月 17 日和 18 日,在 ChatGPT、Gemini、Google AI Overviews 和 Google AI Mode 上逐条提问。这给出了 839 个可以在两天之间对比的回答。
  • 品牌。我们自动匹配了每个回答中的品牌名。我们移除了那些属于平台而非推荐的名字,例如 YouTube、Reddit、Gmail 以及 AI 引擎本身。仍有一些噪声。
  • “Changed”(变化)指被点名的品牌集合不完全相同。品牌重叠度是两天都被提到的品牌数,除以任一天被提到的品牌数。
  • 两天,每天一个样本。这些是早期数字。日间变化既包含真实变化,也包含引擎回答方式中的正常随机性。我们会在拿到完整一周数据后更新本文。
  • 该示例已在两天分别对照完整回答原文手工核验。

常见问题

为什么 AI 的回答会一天一个样?

引擎每次回答时都会搜索网络,并读几篇页面。选哪些页面每次都不同。不同的页面提到不同的品牌,所以答案会变。

我应该多久检查一次 AI 是否推荐我的品牌?

频率要足够高才能看出趋势:至少每周一次,最好每天一次。任何单次检查都可能不准,因为一天之内就有 84% 的答案发生了变化。

#1 推荐稳定吗?

比其余情况更稳。排名第一的品牌,第二天有 90% 的概率仍被提及。但只有 63% 的概率仍排在第一。

哪个 AI 引擎最稳定?

Google AI Overviews 变化最小(67% 的答案发生了变化)。Gemini 变化最大(95%)。ChatGPT 最常保持同一个首选推荐(71%)。

怎样才能让我的品牌出现得更稳定?

让自己出现在更多 AI 会读取的页面上。找到那些针对你买家问题被引用的「最佳 X」榜单,并设法进入那些把你漏掉的榜单。出现在众多榜单上的品牌,无论引擎当天读取的是哪几份,都能被看到。

The translation is machine-generated and individual terms may be off. Nothing is rewritten or cut; the original is authoritative.

Published by HN AI
This site only summarises and aggregates; copyright stays with the original author. Headlines and summaries follow the source — where they differ, the original wins.
Read the original ↗