Newshot

什么会暴露LLM写作的痕迹

Translation(model translation, not the source's own text)

标题:什么暴露了 LLM 写作

摘要。人们依据一份“破绽”清单来判断文本是否由模型写成,这些习惯据说标志着机器写作,但鲜有研究将其与匹配的人类写作进行对照测量。我们让七个模型(三个本地模型、两个来自 OpenAI、两个来自 Anthropic)回答同样的 800 条 Hacker News 评论和 Stack Exchange 问题,这些问题由人们在 2019 年至 2022 年间回答,并在预先注册的方案下统计了 23 种破绽(在 600 条人类回复和 4,199 条模型回复上测试)。“Rather than”在模型回复中出现的频率是人类的 4.3 倍(95% CI 2.7 至 6.7),三项列表是 3.3 倍(2.5 至 4.3)。对三项列表的自动计数未通过我们的人工核查;按其错误校正后,比值仍高于 2。破折号和“delve”之类被标记的词在平均意义上成立,但按模型拆分后不同:Claude 模型几乎不使用破折号。诸如“quietly”之类的新词同样成立,但仅出现在 1.3% 的人类回复中。有七种破绽在人类回复中更常见。模型是在单一裸提示下写作的,因此聊天产品可能有所不同。接下来我们将测试读者是否会使用这些破绽。

引言

MRL 构建写作工具;这些结果将为它们提供参考。

问题所在。关于大语言模型(LLM)撰写文本的迹象清单在 Hacker News 和 Reddit、维基百科的 AI 写作指南以及编辑和教师的建议中流传。相同的条目反复出现:破折号、“delve”和“crucial”、诸如“it’s not X, it’s Y”和“Y rather than X”的对比、三项列表、总结式收尾。人们用这些清单来判断他人的写作,而写作者——包括我们——会修改自己的文字以避开它们。清单上的大多数条目从未与人类写作进行过对照测量。

为何重要。一种在人类写作中常见的破绽会造成误指:一名学生或求职者写了“Note that”,就会因一种在我们的数据中人类比模型更常有的习惯而被标记。只有某一个模型才有的破绽,说明的是那个模型,而不是 LLM。而仅凭传言就禁用某种模式的风格指南,只会让写作变差而毫无收益。我们自己的内部风格指南就禁用了其中几种模式,而其关于允许内容的章节一直在等待这项研究。

为何困难。公平的比较需要为相同目的、相同长度撰写的人类文本和模型文本,且人类一侧须写于模型可能写出它之前。它需要不止一个模型,因为模型各不相同。而且每种破绽都必须按固定规则计数,该规则要能被他人重新运行,并核查该规则所计数的确实是它声称的内容。破绽还会随时间变化。

文章标题:什么会暴露 LLM 写作

已知情况。ChatGPT 出现后,科学摘要中的词频发生了变化:2024 年,“delves” 在 PubMed 摘要中出现的次数是 2021 至 2022 年趋势预测值的 28 倍。Kobak et al. 2025 2024 年初被标记的若干词,其中包括 “delve”,在被指出后不久便在 arXiv 摘要中急剧下降,而 “significant” 等更常见的被标记词则持续上升。Geng and Trotta 2025 Juzek and Ward 2025 未发现证据表明训练数据、模型架构或算法选择能解释这些词;他们的测试与基于人类反馈的强化学习(RLHF)发挥作用相一致,尽管他们称该证据并不一致。GPT-4o 和指令微调的 Llama 3 在续写同一文本时,使用现在分词从句的频率约为人类的 2 至 5 倍,而基础模型接近人类频率。Reinhart et al. 2025 人的判断力很差:在六项共 4,600 名参与者参与的实验中,2022 年模型为约会、酒店和职业场景撰写的个人简介被识别出的准确率为 50% 至 52% Jakesch et al. 2023,而很少使用 LLM 写作的标注者在非虚构文章上接近随机水平。经常使用 LLM 的标注者能识别出 93% 的 AI 撰写文章,同时将 3% 至 4% 的人类文章误标,并提到词汇和“列出三项”是他们的线索。Russell et al. 2025 我们未找到的是:对流行的识别特征逐一进行测试,在同一任务上与人类写作对比,覆盖多个当前模型,并为每个特征给出读者可核查的结论。

我们所做的。我们选取了 ChatGPT 出现之前的 800 条人类回复,将每个人类所看到的内容原样交给七个 2026 年的模型,并设定相同的目标长度。我们按固定规则统计了 21 个特征,并让模型编码另外两个(编码者意见不一致,因此这两个不给结论),在任何文本收集之前写下的计划下将每个特征与人类频率进行比较,并用人类编码者核查了两个最难核对的计数器。贡献如下:

  • 对 23 个声称的识别特征逐一给出结论,汇总七个模型并分模型报告 第 03 节
  • 两个特征在每个模型中都比人类写作更常见,两个取决于模型,一个在双方都罕见 第 03 节,表 2
  • 七个特征在人类写作中更常见 第 03 节
  • 已发布数据:帖子 ID、标签、计数、提示词和代码,以便任何人重跑分析 数据与代码

方法

人类文本。我们使用了 2019 年 1 月至 2022 年 11 月 29 日(ChatGPT 发布前一天)之间撰写的 800 条回复:400 条 Hacker News 评论回复,按条目 ID 随机抽取,以及来自 10 个非编程网站(烹饪、旅行、育儿、个人理财及其他六个,每站 40 条)的 400 条 Stack Exchange 回答,每条得分至少为 1 且在截止日期后未被编辑。两者都是回复,因此每篇人类文本都有一个我们可以交给模型的提示词。Wikinews 原计划作为第三种语域(文本类型)并最终放弃:每年文章太少。

模型。每个模型都获得了人类所看到的内容(故事标题和父评论,或问题)以及请求“写一条对此评论的回复,约 N 个词长。只给出回复文本。”,其中 N 为人类回复的长度。没有其他系统提示词,每个模型对每个提示词写一条回复。

文章标题:是什么暴露了 LLM 写作

正文:

ModelWhereReasoningSampling
Qwen 3.8 27BLM Studio, 4-bitOffModel card defaults, seeded
Gemma 4 E4BLM Studio, 4-bitOffModel card defaults, seeded
Meta Muse Glimmer 30BLM Studio, 4-bitLowest level, “none”, set by one line of system prompt with no style instruction (it cannot be switched off)LM Studio defaults (temperature 0.8, top-p 0.95, top-k 40), seeded
gpt-6.1-solOpenAI APIlow, its lowestAPI defaults, seeded
gpt-6-lunaOpenAI APIOffAPI defaults, seeded
Claude Sonnet 5.5Anthropic Batch APIThinking between_tools, its off setting (disabled is rejected); effort at the default, highAPI defaults; the API takes no seed
Claude Opus 5.5Anthropic Batch APIEffort low (thinking cannot be switched off)API defaults; the API takes no seed

这三个本地模型涵盖三家公司、三种能在同一台笔记本电脑上运行的规模。从 OpenAI 我们取了一个中端模型和最小的那个,也是唯一一个关闭推理即可运行的模型;从 Anthropic,取了当前的 Sonnet 和 Opus。空回复、开头像拒绝的回复或大部分非英语的回复各重新生成一次。Opus 对一条提示拒绝了两次(一个网络安全问题),该回复被排除。

Tells。这 23 项来自我们对相关说法的审查,于 2026 年 11 月 6 日完成:约 2,440 条 2023 至 2026 年的 Hacker News 评论、维基百科关于 AI 写作迹象的指南、编辑和教师的建议、新闻报道和学术研究。我们选取了在这些来源中反复出现、且能在简短回复中计数或编码的迹象;其中 10 项登记为主要测试,其余为次要测试。我们按固定规则对其中 21 项进行了计数,规则在收集任何文本之前就已写下:针对单词和短语迹象使用正则表达式,针对三个并列项和句尾 “-ing” 从句使用依存句法分析器(spaCy)。Markdown 在双方以相同方式渲染;格式类迹象(列表、标题、加粗)仅在 Stack Exchange 上计数,因为那里的人类写作者也使用 Markdown。两项内容类迹象,“generic” 和 “hype”,没有可计数的形式,由两个模型在子样本上编码。

Analysis。每项迹象以每 1,000 词的比率进行比较,或在迹象罕见时以至少含有一处的回复占比进行比较(切换规则在探索性数据上固定)。模型为带稳健标准误的 Poisson GEE(占比用 modified Poisson;Zou 2004),按提示聚类,使每条人类回复及其对应的模型回复保持在一起,每个模型和语域权重相等。对于过于稀疏、不适用 GEE 的迹象(规则事先固定),比率使用 Haldane 校正,区间使用对提示的 bootstrap,检验使用提示内标签的置换。对这些迹象,裁定依据置换检验,区间可能跨过 1。我们在四分之一的提示上固定计数规则,并在其余四分之三上运行一次检验:每个语域 300 条提示,600 条人类回复和 4,199 条模型回复。多重检验用 Holm 1979 对 10 项主要迹象进行校正,用 Benjamini and Hochberg 1995 对其余迹象进行校正。

Verdicts。若一项迹象在经过多重检验校正后,在模型文本中显著更常见、至少常见两倍,并且看到它至少使回复为模型撰写的几率翻倍(正似然比 LR+ 为 2 或以上;该比率比较每词比率,或对罕见迹象比较回复占比,而 LR+ 始终统计包含该迹象的回复),则该迹象成立。如果显著但未达到上述任一门槛,则为真实但弱;如果其 90% 区间落在 0.67 至 1.5 之内,则不成立;如果在人类文本中显著更常见,则为反向;其他情况为不确定。两个门槛的比率 2 是使迹象可作为标记使用的最小差异。

文章标题:什么会暴露 LLM 写作

正文: 核对计数。两名模型编码员,GLM-4.7-Flash 在本地运行且关闭思考,以及 Claude Haiku,在不知道来源的情况下对 275 条回复进行编码,以核对计数。它们仅在三个迹象上达到了我们的一致性标准(Cohen's κ 为 0.6),因为 GLM 无法完成语法编码(它在任何回复中都找不到三连列表)。“Rather than”、破折号和被标记的词是精确文本匹配,不需要编码员。对于两个基于解析器的计数器,我们增加了一项人工检查:在任何编码之前,我们写下,人工必须在人类文本和模型文本上分别确认每个计数器至少 70% 的命中,同时对这两个比例之间的差距以及计数器遗漏的真实案例数量也设有限制(阈值在预注册中),并且如果某个计数器未通过,其比率将根据其错误进行校正,如果校正后低于 2,则该迹象不被列为成立。我们中的一人对 80 条回复进行了编码,不知道作者是谁,但知道假设,Claude Fable 对同样的回复进行了编码作为交叉检查。然后,我们在编码与计数器或与 Fable 不一致的地方审查了我们的编码,另外还审查了所有三者一致的 10 条回复;审查后的编码决定结果。所检查的回复来自本地模型,因此将校正应用于托管模型时,假设计数器在那里以同样的方式出错。没有外部读者检查每个声明是否与数据匹配。

偏差。计划、数据收集和第一次测试都发生在 2026 年 11 月 7 日。计划在任何文本收集之前写成并注明日期,但没有独立的时间戳。预注册记录了 19 项变更。每项变更在运行之前都被写下来,除了那些事后发现的,它们会注明这一点。在测试运行之前,计数规则在代码审查后收紧,Stack Exchange 样本被重新抽取,使每个问题只出现一次,Muse 的推理水平通过系统提示设置。第一次测试,如注册的那样,覆盖了三个本地模型(11 月 7 日)。在 11 月 8 日和 9 日,我们在主要结果之后增加了人工检查及其审查。在 11 月 9 日,我们增加了两个 OpenAI 模型,并在生成任何文本之前写下了每个模型中什么算作可复现的迹象。一个 Gemini 分支以同样的方式注册,并在测量前被放弃,因为免费 API 过载而无法完成。在看到 OpenAI 结果后,我们决定对所注册的测试不作更改地在每个模型上运行。在 11 月 14 日,我们在任何请求之前注册的规则下增加了两个 Claude 模型。该规则还说,只有在 Sonnet 和 Opus 在一个主要迹象上不一致时才会增加第三个 Claude 模型,而它们并没有不一致。在 11 月 14 日,为代码发布编写的一项测试发现,Llama 侧测试中的 125 个答案中有 27 个超过了抽样规则的 600 词限制;我们保留了按原样运行的测试,并在旁边报告了不含这些答案的重跑结果。七模型运行是主要结果,三模型运行在旁边报告。在两者之间,“it's not X, it's Y”和堆叠过渡从不确定变为反转,2026 年的词从不确定变为成立,句子长度均匀性保持在真实但微弱(它在一个五模型运行中短暂通过)。有一项规则是在结果之后添加的,不在预注册中:两个基于 3 条人类回复的判定,低于注册计划已经切换到稀疏迹象方法的 5 条,报告其计数但不计入成立或反转的迹象中(结果)。注册的稳健性检查(负二项模型、主要迹象的聚类自助法、两个迹象的替代计数规则以及 Hacker News 的 80 词下限)在三模型测试上运行;没有一个使迹象越过 2 的门槛或反转其方向。它们都在发布中。

Result

← 更多在人类回复中更多在模型回复中 →

  • “Y rather than X”4.26(95% CI 2.70 至 6.71)
  • 三连列表3.28(95% CI 2.52 至 4.26);校正后 3.04
  • 2026 words(悄悄地,承重)2.92(95% CI 1.38 至 6.18)
  • 被标记的词(delve、crucial)2.36(95% CI 1.39 至 4.02)
  • 破折号 2.12(95% CI 1.28 至 4.24)

测量存疑 1

  • 句尾“-ing”从句 2.26(95% CI 1.65 至 3.10);校正后 0.97

真实但微弱 2

  • 名词化 1.72(95% CI 1.60 至 1.85)
  • 句长更均一 d = −0.55(−0.65 至 −0.46),标准化差值
  • 加粗文本,Stack Exchange 0.63(95% CI 0.42 至 0.96)
  • “It's not X, it's Y” 0.63(95% CI 0.45 至 0.87)
  • 任意列表,Stack Exchange 0.45(95% CI 0.29 至 0.69)
  • 堆叠过渡词 0.40(95% CI 0.23 至 1.09)
  • “It's worth noting”、“Note that” 0.26(95% CI 0.13 至 0.64)
  • 自问自答 0.24(95% CI 0.13 至 0.68)
  • 断奏式片段 0.24(95% CI 0.15 至 0.36)

无定论 6

  • 谄媚式开头 1.26(95% CI 0.68 至 3.74)
  • 模糊式结尾 0.59(95% CI 0.30 至 1.37)
  • 总结式结尾 0.41(95% CI 0.22 至 1.01)
  • 路标式引导 人类 600 条中 0 条,模型 4,199 条回复中 24 条
  • “泛泛”内容 模型编码;编码者意见不一致
  • “炒作”内容 模型编码;编码者意见不一致

样本太少无法解读:各 3 条人类回复 2

  • 列表项中的加粗引导语,Stack Exchange 2.63(95% CI 0.98 至 16.96)
  • 标题,Stack Exchange 0.26(95% CI 0.09 至 1.72)

表 1 给出了七个模型上的所有判定,旁边附有注册的三模型运行结果。

特征七个模型判定三个本地模型(首次运行)
“Y rather than X”占比4.26 2.70–6.71成立3.38,成立
三个一组的列表“forms, census tables and medical records”;计数器未经验证3.28 2.52–4.26;校正后 3.04成立2.59,校正后 2.40,成立
破折号占比2.12 1.28–4.24成立4.11,成立
被标记的词:delve、crucial、robust、landscape 等占比2.36 1.39–4.02成立5.76,成立
2026 words:quietly、load-bearing 等占比2.92 1.38–6.18成立2.37,无定论
句尾“-ing”从句“……, highlighting the need for……”2.26 1.65–3.10;校正后 0.97测量存疑3.47,校正后 1.49,测量存疑
名词化“perform an evaluation of”1.72 1.60–1.85真实但微弱1.97,真实但微弱
句长更均一d = −0.55 −0.65 至 −0.46;LR+ 1.93真实但微弱d = −0.59,真实但微弱
“It's not X, it's Y”占比0.63 0.45–0.87反转1.18,无定论
断奏式片段“No setup. No config.”(占比)0.24 0.15–0.36反转0.22,反转
“It's worth noting”、“Note that”占比0.26 0.13–0.64反转0.11,反转
自问自答占比0.24 0.13–0.68反转0.23,反转
堆叠过渡词“Moreover, … Furthermore, …”(占比)0.40 0.23–1.09反转0.95,无定论
任意列表,Stack Exchange 占比0.45 0.29–0.69反转0.28,反转
加粗文本,Stack Exchange0.63 0.42–0.96反转0.17,反转
标题,Stack Exchange 占比0.26 0.09–1.72反转,基于 3 条人类和 5 条模型回复0.27,无定论
列表项中的加粗引导语,Stack Exchange 占比2.63 0.98–17.0成立,基于 3 条人类回复1.31,无定论
路标式引导“Here's the thing”、“Let's dive in”(占比)人类 600 条中 0 条,模型 4,199 条回复中 24 条无定论无定论
总结式结尾、谄媚式开头、模糊式结尾0.41 至 1.26,区间跨越 1无定论无定论
“泛泛”和“炒作”内容由模型编码,三个本地模型两位编码者在方向上不一致无定论(测量未经验证)无定论(测量未经验证)

标题:是什么暴露了 LLM 写作

这些小标题和加粗的开头结论各依赖 3 条人类回复(共 300 条),数量太少,无法解读。我们给出了计数,并按结果之后添加的规则(偏差),不把它们计入下面被推翻或站得住脚的线索。这样就剩下五条线索,在七个模型上都站得住脚:“rather than”、三个一组的列表、破折号、被标记的词,以及“quietly”这类较新的词。

每个模型都有两条线索。“Rather than”和三个一组的列表在全部七个模型中都比人类回复中更常见(表 2)。四个托管模型各自也按为其登记的规则单独做了测试。在每个模型中,两者都至少是人类比率的两倍,所有区间都高于 1,在两种语域中都是如此。在本地模型中,12 个模型与语域组合的单元格中有两个的区间包含 1:Muse 在 Stack Exchange 上的“rather than”(1.72,0.91 至 3.22)和 Gemma 在 Stack Exchange 上的三个一组列表(1.31,0.85 至 2.01)。三个一组的列表有一个注意事项:基于解析器的计数器未通过人类检查。复核之后,我们确认了它在人类回复中 75% 的命中,在模型回复中则是全部命中,这一差距超过了我们允许的 0.2。按其错误校正后,比率仍高于 2(七个模型合计 3.04),所以按事先设定的规则将其列入。校正是基于本地模型文本测得的,并假设计数器在托管模型上以同样方式出错。第一遍、复核之前,校正后的三模型比率为 1.75;复核主要把我们的编码移向了计数器的方向,而只复核分歧本就容易产生这种效果。它是两者中较不确定的一个。

线索人类QwenGemmaMusegpt-6.1-solgpt-6-lunaSonnet 5.5Opus 5.5
“Rather than”3.2%17.0%10.3%7.0%26.0%15.8%14.3%12.5%
三个一组的列表9.8%21.3%12.5%39.3%37.7%40.7%29.8%24.9%
破折号2.5%5.3%27.3%6.7%15.7%45.7%0.3%0.3%
被标记的词2.2%22.5%25.2%4.3%2.8%3.0%2.8%2.8%

有两条线索取决于模型。破折号从两个 Claude 模型中均为 0.3% 的回复(600 条 Sonnet 回复中有 2 条,599 条 Opus 回复中有 2 条)到 gpt-6-luna 的 45.7%;人类占比为 2.5%,所以对 Claude 来说这条线索是反向的。被标记的词是 Qwen 和 Gemma 的习惯,出现在它们约四分之一的回复中。其余五个模型与人类比率(2.2%)相差约两个百分点以内。两者在汇总平均值上都站得住脚,而平均值并不描述任何具体模型。2026 年的词(“quietly”、“load-bearing”)在每个模型中都更常见,但两边都很少见:人类回复中占 1.3%,模型回复中占 2.7% 至 7.2%。

这些线索作为标记有多大用处。即使是最强的线索,在大多数模型回复中也不存在。“Rather than”出现在 3.2% 的人类回复和平均 14.7% 的模型回复中:看到它会使一条回复由模型撰写的几率乘以 4.6(LR+,95% CI 3.2 至 8.0),而 85% 的模型回复中并没有它。三个一组的列表误报更频繁,大约每十条人类回复中就有一条。在三个本地模型中,一个获得所有被计数线索的分类器从人类-模型配对中挑出模型回复的准确率为 84%(AUC 0.84,0.83 至 0.86)。一个基于字符序列的分类器,在同样的三个模型上训练和测试,达到 AUC 0.995。这个数字是该语料库的上限:分类器可以学到每个模型的特点和残留的格式,作为检测器在其他地方不会奏效。

文章标题:什么会暴露 LLM 写作

对测量的疑问。句尾“-ing”从句在我们的计数器上达标(是人类出现率的 2.26 倍),但在人工检查中未通过:在人类回复中,计数器漏掉了我们所发现从句的一半以上。修正后,比率降至 0.97,因此按我们的规则,这一特征未被列为成立。但这并不意味着它是错的。修正基于少数人类回复,若只计入计数器的误报,比率会上升。该从句也难以精确定义:我们的两轮标注在 44 条人类回复中有 11 条不一致。

反转。有七项特征在人类回复中更常见。断奏式片段出现在 4.2% 的人类回复和 1.6% 的模型回复中;“Note that”和“it's worth noting”出现在 600 条人类回复中的 13 条和 4,199 条模型回复中的 23 条;自问自答出现在 5 条人类回复和 3 条模型回复中。“It's not X, it's Y”是我们在审查相关说法时网上最常被提及的特征,结果为 0.63。它出现在 6.7% 的人类回复中。按模型看,占比从 1.8%(gpt-6.1-sol)到 14.2%(Qwen)不等,Qwen 在 Hacker News 上使用它的频率是人类的两倍,而四个托管模型的使用频率是人类的四分之一到一半。我们的计数器对模型对比框架的漏检也多于对人类对比框架的漏检,至少在本地模型中如此(对照 Haiku 检查:模型框架捕获 62%,人类框架捕获 87%)。因此真实比率略高一些,但远不到 2。在 Stack Exchange 上,列表和加粗在合并平均值上出现反转,且按模型分化:Qwen、Muse 和 gpt-6-luna 在被要求“只给出回复文本”时几乎不使用任何格式,而两个 Claude 模型分别在 30% 和 50% 的回答中使用了加粗,人类则为 17%。

这些习惯从何而来。在一项旁路测试中,Llama 3.1 8B 续写了 125 条人类回答。经过指令微调的版本使用“rather than”的频率约是其训练所基于的基础模型的 6 倍(95% CI 2.1 至 37),使用句尾“-ing”从句的频率也约为 6 倍(2.7 至 15),且句子长度远为均匀。基础模型使用句尾“-ing”从句的频率低于人类(0.30,0.13 至 0.68)。在结果出来后,我们发现 125 条回答中有 27 条超过了采样规则允许的 600 词(预注册中偏差为 19)。剔除这些后,Instruct 使用“rather than”的频率仍是基础模型的 7.6 倍(2.3 至 33),使用句尾“-ing”从句的频率是 6.9 倍(2.5 至 19),但基础模型相对人类的不足消失了(0.70,0.24 至 2.0)。对于这对模型,这些习惯随指令微调而出现,尽管两者的提示方式不同:基础模型续写原始文本,而 instruct 模型则在对话中被要求续写。在同一测试中,instruct 模型在 31% 的续写中使用了“it's worth noting”,总结性收尾的使用频率是人类回答的 6.4 倍,与主测试中的 2026 模型相反。

讨论

有两项被声称的特征在我们尝试的每个模型中都成立,且都与句子形态有关:用于将选项与所选选项作对比的“rather than”,以及恰好三项的列表。Reinhart 等 2025 在 GPT-4o 和 Llama 3 中发现的名词化在这里也表现为一种模型习惯,真实但微弱。他们所说的分词从句在这里的测量上存疑:我们针对它们的计数器未通过人工检查。我们的基础模型对 instruct 模型测试在一对模型上与他们的结论一致:在 Llama 3.1 8B 中,这些习惯随指令微调而出现。

文章标题:什么会暴露 LLM 写作

正文: 在网上获得最多关注的识别特征,恰恰是最不普遍的。被标记的词汇与 PubMed 摘要中的上升趋势相符(Kobak et al. 2025),但仅适用于七个模型中的两个。其余模型使用这些词的频率与人类大致相当。“delve”一词在 arXiv 摘要中的使用在该词被点名后有所下降(Geng and Trotta 2025);模型厂商是否也随之弃用,这份数据无法说明。破折号是最鲜明的分界:在 OpenAI 的模型和 Gemma 中很常见,在 Claude 中则没有。从这份数据中我们无法说明原因。某家公司模型所缺乏的某个特征并非 LLM 的固有属性,而任何特征清单都会随着模型变化而过时。

对于评判单篇文本的读者来说,这意味着没有任何特征可以构成证据。这里最好的特征在 85% 的模型回复中缺失、在 3% 的人类回复中出现,而流传清单上的两种习惯——短促有力的片段和“note that”——在人类写作中反而更常见。这与“很少使用这些工具的人判断准确率约为随机水平”的发现相符(Jakesch et al. 2023;Russell et al. 2025),也表明判断准确率高的频繁使用者(Russell et al. 2025)所依赖的不止是那些被点名的特征:被计数的特征只能还原字符级分类器所发现的部分信号。其余部分可能是没有任何清单提及的习惯,或是这三个模型不会延续到其他模型上的怪癖。

局限性

  • 七个模型在同一个无系统提示的裸提示下运行:三个本地模型为 4-bit 量化,这本身可能改变风格;四个托管模型通过各自的 API 调用。研究未在其应用内测试 ChatGPT、Claude 或 Gemini,这些应用会附加系统提示,结果可能不适用于它们。每个模型在默认采样下对每个提示写一条回复;Claude 模型无法设置随机种子。
  • 两种回复语域:论坛回复和问题回答;未测试随笔、新闻和小说。这两种语域都不是经过编辑的散文。成立的那些特征可能部分标记的是正式写作,而一些反转的特征可能是论坛习惯。我们未将它们与经过编辑的人类写作进行对比测试。提示要求“只输出回复文本”,这很可能抑制了格式,因此格式方面的反转在聊天产品中可能不成立。模型被给定了目标长度,而人类写作者从未有过这一要求,且人类回复是按至少 1 分且不少于 40 词的标准筛选的。
  • 人类写作者是 2019 至 2022 年的 Hacker News 评论者和 Stack Exchange 高赞回答者,推测多为英语母语者;我们未对此进行测量。我们无法测试这些特征是否会标记非母语写作者,因为缺乏免费且获许可的此类文本来源。
  • 计数经过了多大程度的核查:“rather than”、破折号和被标记的词汇是精确文本匹配。三元列表和“-ing”从句由一名知晓假设的编码者手工核查(80 条回复,审阅一次),且仅针对本地模型文本。由两名模型编码者进行的预注册核查失败了,因为其中一名编码者无法完成任务,因此次要语法特征(片段、结尾句、自问自答)仅针对 Claude Haiku 进行了核查。
  • 稀有特征统计功效不足:对于在 1% 至 3% 人类回复中出现的特征,每个语域 300 条回复无法排除翻倍的可能性,因此这些结果不具结论性:它们表明未检测到效应,但不能表明不存在效应。
  • 模型是在首批结果之后加入的。每次加入都在其文本生成之前完成注册,而合并它们的决定是在 OpenAI 结果出来之后做出的。三模型运行结果与七模型运行结果并列保留。
  • 人类文本来自 2019 至 2022 年,模型来自 2026 年:语言变化与来源无法分离。对 2025 和 2026 年 200 条 Hacker News 回复的注册核查未发现任何特征比 2019 至 2022 年的回复更常见,但近期回复更短,且 Hacker News 会删除许多被标记的 LLM 评论,因此近期人类文本无法作为更干净的对照。

文章标题:What gives away LLM writing

正文:

  • 一个早期的 Claude 分支,通过 Claude Code 在上下文中带入我们的行文风格写出的 97 条回复,已被 API 分支取代,没有判定结果;其计数在发布版本中。“rather than”比率(4.8)接近 API 分支,且没有 em dash,这也正是被要求避免使用 em dash 的模型会产生的输出。
  • Claude 模型和两名编码者同属一家供应商,本研究的起草工具也是如此。我们在 Claude Fable 的编码可见的情况下审查了自己的编码。

接下来是什么

具名特征遗漏了什么。在三个本地模型中,一个获得了所有已计数特征的分类器在 84% 的情况下能从一对回复中挑出模型回复;一个仅获得字符序列的分类器则在 99.5% 的情况下做到这一点。这一差距是这里最大的未解问题。其中一部分是每个模型自身的怪癖和残留格式,这些不会迁移到其他模型。另一部分可能是没有任何清单能命名、也没有任何计数器能在此测量的东西:每个句子的可预测性、回复对其所回答评论的具体程度、对问题的贴合程度,或对冲的均匀程度。接下来我们将定义这类度量,进行注册,在同样的 800 个提示上分别用人类回复进行检验,并检查当分类器在某些模型上训练、在其他模型上测试时,这些度量能缩小多少差距。

读者是否使用这些特征。我们将请人们对配对的人类和模型回复进行判断,在有和没有经过筛选后保留的特征被编辑掉的情况下,以检验这些特征是否会改变他们的判断,以及经常使用这些工具的人是否更依赖它们。这需要参与者和伦理审查。

这些特征能否在指令下存活。这里的模型是在一个简单提示下写作的。我们将通过聊天产品运行相同的提示,使用它们自己的系统提示,并加入像人类一样写作的指令,以检验在人们使用的指令下哪些特征会保留。em dash 在 Claude 模型中几乎不存在,所以一家公司的模型可能缺少某个特征;这次运行检验请求是否也能移除一个特征。

其他写作和其他写作者。这里的两种语域都是回复。我们将用同样的特征测试散文和新闻,这些特征被声称适用于这些领域,对照 2022 年之前的人类文本,并且,一旦获得许可语料库,就检验这些特征是否更频繁地标记第二语言英语写作者而非母语写作者。

下一代。这些特征随着模型变化而变化:在 arXiv 摘要中,“delve”一经被点名便逐渐消失。我们将在下一代模型上运行同样的 800 个提示,使用相同的计数器和判定规则,以检验哪些特征会保留。

通过电子邮件获取下一项发现。

Ouyang, F. (2026). We checked 23 things people say give away AI writing. Five held up. Mnemosyne Research Labs, MRL:2611.0002v1.

图表:BibTeX


        @techreport{ouyang2026tells,  author      = {Ouyang, Flavia},  title       = {We checked 23 things people say give away {AI} writing. Five held up.},  institution = {Mnemosyne Research Labs},  number      = {MRL:2611.0002v1},  year        = {2026},  month       = nov,  url         = {https://mnemosyneresearch.com/findings/what-gives-away-ai-writing}}
      

图表:BibTeX, data and code


        @software{ouyang2026tellsdata,  author    = {Ouyang, Flavia},  title     = {What gives away {AI} writing: data and code},  publisher = {Zenodo},  version   = {v1.0.0},  year      = {2026},  month     = nov,  doi       = {10.5281/zenodo.24286168},  url       = {https://doi.org/10.5281/zenodo.24286168}}
      

Data and code

文章标题:是什么暴露了 LLM 写作

正文: llm-writing-tells 在 GitHub 上(Apache 2.0),以 DOI 10.5281/zenodo.24286168 归档。Hacker News 和 Stack Exchange 的文本以帖子 ID 和标签形式发布,因此任何人都可以获取原始内容。本地模型的回复、所有计数、提示词和代码均已包含;OpenAI 和 Claude 的回复仅以计数形式发布,因为其提供商的服务条款禁止将其用于训练,而开放许可证会允许这样做。所有七个模型的统计数据都可以从已发布的计数中重新运行,但计数本身只能对三个本地模型进行。

预注册

PREREGISTRATION.md,日期为 2026 年 11 月 7 日,包含 19 项带日期的偏离。

起草和分析代码(Claude)。GLM-4.7-Flash、Claude Haiku 和 Claude Fable 按照方法中所述对验证文本进行了编码。每个数字都由 Flavia 对照数据进行了核查。

  • ↑Benjamini, Y. and Hochberg, Y. (1995). Controlling the false discovery rate: a practical and powerful approach to multiple testing. Journal of the Royal Statistical Society, Series B 57(1), 289-300. doi.org/10.1111/j.2517-6161.1995.tb02031.x
  • ↑abGeng, M. and Trotta, R. (2025). Human-LLM coevolution: evidence from academic writing. Findings of ACL 2025, 12689-12696. doi.org/10.18653/v1/2025.findings-acl.657
  • ↑Holm, S. (1979). A simple sequentially rejective multiple test procedure. Scandinavian Journal of Statistics 6(2), 65-70. www.jstor.org/stable/4615733
  • ↑abJakesch, M., Hancock, J. T. and Naaman, M. (2023). Human heuristics for AI-generated language are flawed. PNAS 120(11), e2208839120. doi.org/10.1073/pnas.2208839120
  • ↑Juzek, T. S. and Ward, Z. B. (2025). Why does ChatGPT “delve” so much? Exploring the sources of lexical overrepresentation in large language models. COLING 2025, 6397-6411. aclanthology.org/2025.coling-main.426
  • ↑abKobak, D., González-Márquez, R., Horvát, E.-Á. and Lause, J. (2025). Delving into LLM-assisted writing in biomedical publications through excess vocabulary. Science Advances 11(27). doi.org/10.1126/sciadv.adt3813
  • ↑abReinhart, A., Markey, B., Laudenbach, M., Pantusen, K., Yurko, R., Weinberg, G. and Brown, D. W. (2025). Do LLMs write like humans? Variation in grammatical and rhetorical styles. PNAS 122(8). doi.org/10.1073/pnas.2422455122
  • ↑abcRussell, J., Karpinska, M. and Iyyer, M. (2025). People who frequently use ChatGPT for writing tasks are accurate and robust detectors of AI-generated text. ACL 2025, 5342-5373. doi.org/10.18653/v1/2025.acl-long.267
  • ↑Zou, G. (2004). A modified Poisson regression approach to prospective studies with binary data. American Journal of Epidemiology 159(7), 702-706. doi.org/10.1093/aje/kwh090

The translation is machine-generated and individual terms may be off. Nothing is rewritten or cut; the original is authoritative.

Published by HN AI
This site only summarises and aggregates; copyright stays with the original author. Headlines and summaries follow the source — where they differ, the original wins.
Read the original ↗