Newshot

HCI 先驱 de Souza:当 AI 替我们阅读,谁来为知识负责?| ACM MM 2026

Summary

研究者需要的不只是AI生成的答案,更是审查答案、追溯来源并为知识判断负责的能力。 作者丨 张 璐 编辑丨马晓宁 你有没有过这样的经历:面对几十页密密麻麻的PDF,实在抽不出时间细读,于是把论文丢给ChatGPT或Claude,让它帮你提炼核心观点。 几秒钟后,一份条理清晰的摘要出现在屏幕上。你点点头,觉得自己已经掌握了论文的主要内容,甚至直接将其中的观点引用进了自己的研究。 但是,等等——你确定AI总结的,真的是原作者想表达的意思吗?如果它悄悄引入了原文没有的观点,甚至将毫不相干的概念联系在一起,作为研究者的我们,能否及时发现? 在正在举行的 ACM Multimedia 2026 上,人机交互领域先驱、巴西里约热内卢天主教大学(PUC-Rio)荣休教授 Clarisse Sieckenius de Souza 带来了一场主题演讲。 她从自己提出的“语义工程”(Semiotic Engineering)理论出发,讨论AI如何改变人与信息之间的关系,以及当我们把文献阅读和理解的工作交给AI时,如何守住研究者的“认知权威”(Epistemic Authority)。 从界面如何传递设计者的意图,到AI摘要如何偏离原文,再到如何借助 PEEL 方法审视AI的文本处理过程,这场演讲为我们理解AI时代的知识责任提供了一个新的视角。 以下是演讲全文雷峰网: 01 界面是一场对话: 我们如何理解机器的语言? 在我看来,人机交互(HCI)可以被理解为一场对话。 但这并不是应用程序或系统与用户之间简单的对话,而是一场由计算机媒介实现的、发生在人类群体之间的对话:一方是设计和开发应用程序的人,另一方是使用这些应用程序的人。 这场对话通过界面展开。界面实际上扮演着设计者代理人的角色,代替设计者向用户传递信息。它只能按照设计者预先设定的方式和语言进行表达,也就是我们通常所说的人工语言。 举个例子,当我们使用一个网站时,界面会告诉我们哪些操作是允许的,哪些操作是不允许的。在一个Cookie偏好设置页面中,用户可能尝试切换某项必要的设置,但界面却告诉我们,这项操作无法完成。 这条信息实际上来自设计者。用户通过界面得到的反馈,反映了设计者希望用户做什么、能够做什么,以及不能做什么。 这就是语义工程(Semantic Engineering)的基本思想: 界面代表设计者发声,用户则通过学习和使用界…

Original text(via 雷锋网)
HCI 先驱 de Souza:当 AI 替我们阅读,谁来为知识负责?| ACM MM 2026
HCI 先驱 de Souza:当 AI 替我们阅读,谁来为知识负责?| ACM MM 2026
HCI 先驱 de Souza:当 AI 替我们阅读,谁来为知识负责?| ACM MM 2026
HCI 先驱 de Souza:当 AI 替我们阅读,谁来为知识负责?| ACM MM 2026

你有没有过这样的经历:面对几十页密密麻麻的PDF,实在抽不出时间细读,于是把论文丢给ChatGPT或Claude,让它帮你提炼核心观点。

几秒钟后,一份条理清晰的摘要出现在屏幕上。你点点头,觉得自己已经掌握了论文的主要内容,甚至直接将其中的观点引用进了自己的研究。

但是,等等——你确定AI总结的,真的是原作者想表达的意思吗?如果它悄悄引入了原文没有的观点,甚至将毫不相干的概念联系在一起,作为研究者的我们,能否及时发现?

在正在举行的 ACM Multimedia 2026 上,人机交互领域先驱、巴西里约热内卢天主教大学(PUC-Rio)荣休教授 Clarisse Sieckenius de Souza 带来了一场主题演讲。

她从自己提出的“语义工程”(Semiotic Engineering)理论出发,讨论AI如何改变人与信息之间的关系,以及当我们把文献阅读和理解的工作交给AI时,如何守住研究者的“认知权威”(Epistemic Authority)。

从界面如何传递设计者的意图,到AI摘要如何偏离原文,再到如何借助 PEEL 方法审视AI的文本处理过程,这场演讲为我们理解AI时代的知识责任提供了一个新的视角。

以下是演讲全文雷峰网(公众号:雷峰网):

在我看来,人机交互(HCI)可以被理解为一场对话。

但这并不是应用程序或系统与用户之间简单的对话,而是一场由计算机媒介实现的、发生在人类群体之间的对话:一方是设计和开发应用程序的人,另一方是使用这些应用程序的人。

这场对话通过界面展开。界面实际上扮演着设计者代理人的角色,代替设计者向用户传递信息。它只能按照设计者预先设定的方式和语言进行表达,也就是我们通常所说的人工语言。

举个例子,当我们使用一个网站时,界面会告诉我们哪些操作是允许的,哪些操作是不允许的。在一个Cookie偏好设置页面中,用户可能尝试切换某项必要的设置,但界面却告诉我们,这项操作无法完成。

HCI 先驱 de Souza:当 AI 替我们阅读,谁来为知识负责?| ACM MM 2026
HCI 先驱 de Souza:当 AI 替我们阅读,谁来为知识负责?| ACM MM 2026

这条信息实际上来自设计者。用户通过界面得到的反馈,反映了设计者希望用户做什么、能够做什么,以及不能做什么。

这就是语义工程(Semantic Engineering)的基本思想:界面代表设计者发声,用户则通过学习和使用界面语言,与设计者进行交流。

HCI 先驱 de Souza:当 AI 替我们阅读,谁来为知识负责?| ACM MM 2026
HCI 先驱 de Souza:当 AI 替我们阅读,谁来为知识负责?| ACM MM 2026

当然,界面语言不一定是文字。它也可以是一套完全图形化、以对象为中心的语言。我们通过操纵屏幕上的对象来表达自己的意图,界面则通过对象的变化回应我们的操作。

不过,界面并不总能按照用户的预期作出回应。

我曾经在准备这场演讲时遇到一个很有意思的情况:我试图在界面中插入一个文本框,结果它竟然上下颠倒了。我完全不知道为什么会发生这种情况。

这恰恰说明,我们有时无法准确预测界面会如何回应。面对意料之外的结果,我们只能尝试理解它,并调整自己的操作。

HCI 先驱 de Souza:当 AI 替我们阅读,谁来为知识负责?| ACM MM 2026
HCI 先驱 de Souza:当 AI 替我们阅读,谁来为知识负责?| ACM MM 2026

通常,每个系统都有一套约定俗成的交互模式。这些模式在一定程度上限定了用户能够表达什么、能够做什么。我们需要不断尝试,寻找通过界面表达自己意图的方式。

更重要的是,每个系统都有自己独特的语言。即使两个系统使用相同的词汇,这些词汇背后的语义也可能完全不同。

因此,每当我们接触一个新系统,就需要经历一次语言学习的过程。

这与儿童学习母语,或者成年人学习第二语言有些相似。我们会不断尝试,观察系统如何回应,理解不同词汇和视觉符号的含义,再逐渐掌握这套语言。

当我们面对一个从未使用过的系统时,往往会进行大量尝试。我们不知道某个按钮意味着什么,也不知道某个视觉元素会产生怎样的结果,只能通过交互来建立理解。

那么,语义工程究竟包含哪些核心内容?我想从三个方面来说明。

第一,人机交互是一种中介传播。设计者和开发者通过人工界面语言,将自己的设计意图传递给用户。用户通过学习这套语言,与设计者的代理人进行交流,并尝试实现自己的目标。

当然,用户的目标不一定总是设计者预先设想的目标。有时候,我们会创造性地使用一个应用程序,完成设计者从未预料到的任务,而这些操作甚至可能运行得很好。

第二,界面中的交流依赖三种符号。

  • 第一种是静态符号。它们固定存在于界面中,仅凭自身的呈现方式就能传递意义。
  • 第二种是动态符号。它们需要通过时间和状态变化来传递意义。例如,当我们点击一个按钮,按钮产生的变化以及随后发生的行为,都会告诉我们这个按钮意味着什么。
  • 第三种是元语言符号(Metalinguistic Signs)。这是一个专业术语,指那些能够解释其他符号的符号。例如,界面提示可以告诉我们某个图形对象代表什么,也可以引导我们采取某种操作,以实现特定目标。

第三,用户具有很强的语言学习能力。设计者会利用已有的交互模式、熟悉的语言体系以及元语言提示,帮助用户理解新的界面词汇和语义。

HCI 先驱 de Souza:当 AI 替我们阅读,谁来为知识负责?| ACM MM 2026
HCI 先驱 de Souza:当 AI 替我们阅读,谁来为知识负责?| ACM MM 2026

以上三个方面构成了语义工程的基本框架。但随着AI的发展,我们与计算机交流的方式正在发生变化。AI已经能够使用自然语言与我们对话。

那么,一个问题随之出现:既然AI能够理解自然语言,语义工程是不是已经没有那么重要了?

HCI 先驱 de Souza:当 AI 替我们阅读,谁来为知识负责?| ACM MM 2026
HCI 先驱 de Souza:当 AI 替我们阅读,谁来为知识负责?| ACM MM 2026

大约四周前,我在使用Claude准备这场演讲时,遇到了一件让我非常意外的事情。

Claude的界面看起来很简单,就是一种对话式交互模式。我们在输入框中提出问题,Claude则在屏幕上给出回答。

但在某些情况下,界面还会根据当前对话的上下文,预测用户接下来可能输入的内容,并主动提供建议回复。

这本身并不奇怪。真正让我感到惊讶的是一次具体的对话。

当时,我正在和Claude讨论一些问题。它突然列出了一份清单,其中第一项竟然是它认为我想要表达的论文主旨。它给出的观点大致是:问责机制必须被设计出来,而不能被想当然地假定存在。

我当时非常惊讶,因为我从来没有想过要把这个观点作为自己的论文主旨。但我觉得这个想法很有意思,于是顺着它的建议继续讨论。我告诉Claude,它提出的这个论点很好,我们可以围绕它展开讨论。

没想到,Claude很快就纠正了我。它说,首先需要澄清一点:它之前并没有提出这个论文主旨,只是在询问我真正想表达什么。现在回顾整个对话,它才意识到这个观点似乎出现过。

于是,我继续追问:如果不是你做出了这个判断,那么究竟是谁,或者是什么,向我提出了这个观点?Claude给出的回答非常有意思:

“我不知道。我看不到你的输入框,所以无法判断应用程序是否提供了建议回复,也不知道这些回复由什么生成、依据什么上下文。这个消息传递到我这里时,看起来就像是你说的。我没有办法知道实际情况。之前我的纠正是准确的——我确实没有在这次对话中写下那个论文主旨,但我也无法知道这个表达究竟来自哪里。我本应该说明这一点。”

这是一段非常有意思的对话。我完全没有编造这个例子,事实上,即使我想编造,也很难想象出这样一个场景。

HCI 先驱 de Souza:当 AI 替我们阅读,谁来为知识负责?| ACM MM 2026
HCI 先驱 de Souza:当 AI 替我们阅读,谁来为知识负责?| ACM MM 2026

这次经历让我意识到,我们面对的AI对话系统,可能比表面看起来复杂得多。我们以为自己正在和一个能够理解上下文的系统交流,却未必知道,界面背后还有哪些代理、机制或其他信息来源参与了这场对话。

那么,语义工程是不是已经失去了价值?我的结论恰恰相反。语义工程不仅没有失去价值,反而面临着更加艰巨的任务。因为即使到了今天,人与AI之间的信息传递仍然可能存在混乱:我们看到了一条信息,却未必清楚它究竟从何而来。

HCI 先驱 de Souza:当 AI 替我们阅读,谁来为知识负责?| ACM MM 2026
HCI 先驱 de Souza:当 AI 替我们阅读,谁来为知识负责?| ACM MM 2026

我们需要重新思考:界面究竟应该向用户传递什么信息?用户是否知道自己正在与谁交流?当一条信息出现在对话框中时,我们是否能够判断它究竟来自用户、AI,还是其他中间环节?

这也是我接下来真正想讨论的问题。

我真正关心的,是AI在科学研究中的广泛应用,尤其是AI辅助文献综述。

文献阅读是我们研究工作的日常组成部分。我们需要阅读大量论文,了解某篇论文讲了什么、另一篇论文有哪些贡献,以及某个研究问题与已有工作之间存在怎样的联系。

但现在,我们需要阅读的东西实在太多了。

HCI 先驱 de Souza:当 AI 替我们阅读,谁来为知识负责?| ACM MM 2026
HCI 先驱 de Souza:当 AI 替我们阅读,谁来为知识负责?| ACM MM 2026

我想起这次会议的投稿数量,据说超过了8000篇。面对如此庞大的论文数量,谁能够仅凭个人的时间和精力完成全部阅读?在某些情况下,我们确实需要借助AI。我自己也会使用AI。

我们可以让AI告诉我们一篇论文讲了什么,某个研究方向有哪些重要工作,或者某个具体问题与哪些研究有关。

但这里存在一个值得认真对待的问题:当我们把文献阅读委托给AI时,还能否保有自己的认知权威(Epistemic Authority)?

认知权威是一个具有特定含义的哲学概念。相关讨论可以追溯到Linda Zagzebski等学者的研究,之后也有其他哲学家对这一概念进行了进一步发展。

在这场演讲中,我关注的是一个具体问题:当我们把文献阅读和理解的工作交给AI时,能否信任它提供的摘要和研究报告

HCI 先驱 de Souza:当 AI 替我们阅读,谁来为知识负责?| ACM MM 2026
HCI 先驱 de Souza:当 AI 替我们阅读,谁来为知识负责?| ACM MM 2026

为什么认知权威如此重要?

因为作为科学家和研究者,我们必须对自己所说的话、表达观点的方式承担责任。我们的研究具有社会责任,我们提出的知识主张是否成立,并不是一件可以随意对待的事情。

为了能够做出判断,我们依赖集体知识,依赖其他研究者发表的论文、开展的实验以及积累的研究成果。

如果我们使用AI来完成文献综述,就必须考虑一个问题:我们能否评估其中可能存在的风险?

请注意,我并不是在说我们不应该使用AI。我想强调的是:当我们使用AI时,是否有能力识别并判断自己正在承担怎样的风险?

也许这些风险并不存在,也许它们确实存在。但如果我们没有相应的机制,就很难知道风险究竟有多大。

这正是我们团队正在尝试解决的问题。

我们在研究机构中开发了一套名为PEEL的方案,全称是Protocols for Epistemically Engaged AI Literacy。

HCI 先驱 de Souza:当 AI 替我们阅读,谁来为知识负责?| ACM MM 2026
HCI 先驱 de Souza:当 AI 替我们阅读,谁来为知识负责?| ACM MM 2026

它的核心目标,是尝试建立三个要素之间的联系:确定性计算、人工智能和人类。

因为我们之所以长期信任计算机,一个重要原因在于它们具有确定性:在相同条件下,它们会重复执行相同的操作。

但现在,我们却开始信任一种每次运行都可能产生不同结果的AI系统。这本身就值得我们思考。

第二个要素是人工智能。AI能够以前所未有的方式处理自然语言,为信息理解和文本分析提供新的可能性。

而第三个,也是最重要的要素,是人类。人类拥有知识、意图和判断能力。面对复杂的信息,我们需要综合考虑各种因素,最终决定什么才是可信的、什么才是成立的。

因此,我们希望通过这三个要素的结合,让AI参与信息处理,同时保留人类对知识的判断和审查能力。

为了验证这一思路,我们选择了Voyant作为确定性计算工具,Claude作为AI工具,而人类则负责最终的理解与判断。

PEEL并不是一个封闭的自动化系统。我们希望研究者能够访问相关工具,亲自参与整个过程。接下来,我想给大家展示一下,这套方法具体是如何工作的。

在PEEL的工作流程中,研究者可以先借助AI生成文本摘要,再通过Voyant等文本分析工具,将摘要与原文进行对照。我们关注的不只是摘要写了什么,还要检查它与原文之间究竟存在怎样的关系。

但它与普通AI摘要有一个非常重要的区别:我们不仅关注摘要写了什么,还会检查摘要与原文之间究竟存在怎样的关系。

HCI 先驱 de Souza:当 AI 替我们阅读,谁来为知识负责?| ACM MM 2026
HCI 先驱 de Souza:当 AI 替我们阅读,谁来为知识负责?| ACM MM 2026

PEEL系统介绍与体验入口

我们曾经做过一项实验:将同一份文本交给不同的AI系统进行摘要,其中包括ChatGPT的不同版本以及Claude,再将它们生成的摘要与PEEL生成的结果进行比较。

从符号学的角度来看,我会将这种尽可能保留原文特征的摘要理解为原文的一个图像符号(Icon)。这里的图像并非指视觉图片,而是强调符号与其所指对象之间存在某种可感知的相似性。

例如,如果原文按照章节和小节组织,那么PEEL生成的摘要也会保留完全相同的章节结构。

如果原文采用第一人称写作,摘要也会尽可能保留第一人称的表达方式。

这样做的好处,是当摘要保留原文的结构和表达方式时,我们就能更容易地回到原文对应的位置,检查摘要究竟有没有准确传递作者的意思。

我们还会利用文本分析工具,对原文和不同摘要中的语义类别、关键词及其出现频率进行比较。

例如,我们可以观察某个术语在原文中出现了多少次,在不同摘要中又出现了多少次。也可以检查某个术语是否出现在摘要中,却从未在原文中出现过。

HCI 先驱 de Souza:当 AI 替我们阅读,谁来为知识负责?| ACM MM 2026
HCI 先驱 de Souza:当 AI 替我们阅读,谁来为知识负责?| ACM MM 2026

PEEL利用Voyant对比原文与多个AI版本(ChatGPT、Claude)在关键词连接度上的差异

这些变化是否意味着存在问题?不一定。

如果我让你总结一篇文章,你和坐在你旁边的人很可能会给出不同的摘要。你们可能会根据自己的理解,引入一些原文没有直接使用的术语。这是正常的,因为每个人都有自己的知识背景和解释方式。AI也会发生类似的情况。

真正的问题在于,当我们完全把文本解释工作交给AI时,它可能会不受约束地引入一些相关话题。这些话题与原文存在联系,却未必真正属于原文的论述。

HCI 先驱 de Souza:当 AI 替我们阅读,谁来为知识负责?| ACM MM 2026
HCI 先驱 de Souza:当 AI 替我们阅读,谁来为知识负责?| ACM MM 2026

Voyant生成的可视化图

如果你只阅读AI生成的摘要,而没有阅读原文,那么你实际上读到的可能是AI对相关话题的延伸和建议,而不是原作者真正表达的内容。这就是认知权威面临风险的地方。

你可能会在自己的研究中声称,某位作者提出了某个观点,但实际上,这位作者从未这样说过。

我们还可以利用Voyant提供的可视化功能,观察原文与不同摘要之间的语义联系。

HCI 先驱 de Souza:当 AI 替我们阅读,谁来为知识负责?| ACM MM 2026
HCI 先驱 de Souza:当 AI 替我们阅读,谁来为知识负责?| ACM MM 2026

PEEL利用Voyant生成的可视化网络图,直观展示不同概念在摘要中的语义连接变化

在这些可视化结果中,原文构成了我们的参照基础。不同摘要则会呈现出各自引入的新术语、新联系,以及原有联系发生的变化。

例如,一些连接可能在摘要中首次出现,另一些原本存在于原文中的联系,则可能在摘要中变得更加频繁或不再那么突出。

这些变化本身并不能直接证明摘要有问题,但它们能够帮助我们发现值得进一步检查的地方。

我们还可以利用图中的不同颜色区分这些联系,观察不同AI系统生成摘要时,哪些语义关联发生了变化。

通过这样的方式,我们不再只是接受AI给出的结果,而是获得了一套可以进一步检查结果的工具。

那么,我们应该怎样检查AI生成的摘要?

在PEEL中,我们还有一个非常重要的设计思路:让AI成为自己的对手。

我们利用Voyant提供的文本可视化、传统文本分析以及计算语言学资源,为AI生成的内容提供一套审查机制。换句话说,AI生成摘要,而文本分析工具则为用户提供检查摘要的资源。

无论AI提出什么观点,用户都可以借助这些工具判断它是否需要进一步核实。当然,并不是所有情况都需要同样严格的检查。

例如,如果我们只是想确认某篇论文是否包含某项信息,那么只需要快速浏览原文,确认这项信息是否确实存在即可。我们不一定需要深入研究作者是如何得出这一结论的。如果我们要将某个观点作为自己研究的重要依据,就需要进行更加严格的核查。

这就是我们所说的认知权威风险评估。

我还想介绍一下我们如何约束Claude的工作方式。如果要对整个过程进行概括,我会这样描述:

“使用我的语言,但要提醒我,你并不知道自己在说什么。不要擅自使用我的语言替我做出判断,而要让我知道,你并不真正理解自己正在处理的内容。”

HCI 先驱 de Souza:当 AI 替我们阅读,谁来为知识负责?| ACM MM 2026
HCI 先驱 de Souza:当 AI 替我们阅读,谁来为知识负责?| ACM MM 2026

这是一种非常重要的约束。我们希望Claude尽可能忠实地处理原文,而不是根据自己的世界知识不断延伸和补充。它的任务是对文本进行压缩和转换,而不是替研究者完成所有解释工作。

PEEL的一个典型工作环境是Jupyter Notebook。用户可以看到其中的参数、代码以及具体分析过程,也可以根据自己的需要修改代码。

如果你不同意我的分析方式,完全没有问题。你可以编写自己的分析程序,按照自己的标准检查文本。

我们希望整个过程保持开放。因为摘要生成本身也可能引入偏差,包括提示词带来的偏差,以及文本分析方式带来的偏差。用户不仅可以修改提示词,还可以调整文本分析过程,进一步检查这些偏差从何而来。

在具体的摘要呈现中,我们还会提供不同的压缩比例。

例如,一篇20页的论文可以被压缩到原文长度的10%,也可以进一步压缩到25%的篇幅。用户可以比较不同压缩程度下,原文的结构和主要观点是否得到了保留。

这里有一个很重要的特点:我们尽可能保留原文作者的声音。如果原文作者写道“I argue”,那么摘要也会尽可能保留这样的第一人称表达。这样一来,我们就能迅速回到原文对应的位置,检查作者究竟提出了什么论点。

除此之外,PEEL还会对摘要过程中涉及的不同操作进行分类,评估它们可能带来的风险。

例如,将四个句子合并成一个句子,通常比直接重复原文中的句子具有更高的解释风险。我们也会尽可能使用原文中的直接引语,并通过颜色标记和来源链接,让用户能够追溯相关内容。

另一个重要的特点是,用户可以参与摘要生成过程,而不是被动接受结果。

例如,AI会向用户询问:这些语义类别是否符合你的理解?你是否同意这样的分类?是否希望进行调整?

最初的语义类别会根据文本中的词语分布和词汇关系提出,但用户可以根据自己的理解修改它们。

此外,我们还提供了大量可视化结果,让用户比较原文与摘要之间的结构、语义和变化趋势。其中,我认为非常重要的一项功能是Voyant中的语境检索列表(Concordance)。

假设我们想研究一篇论文中关于“AI信任”的讨论,就可以通过语境检索找到这个词语在原文中出现的所有位置,再检查不同摘要是否保留了这些内容,以及它们是否仍然处于相同的语境之中。通过这些方法,我们希望提高用户对摘要的信心,也提高摘要本身的质量。

当然,PEEL目前只是一个起点。我们所解决的只是AI给人类知识理解带来的一个很小的问题。语言本身也只是符号系统中的一种。

对于今天在座的多媒体研究者来说,还有一个更加值得思考的问题:

当信息不再通过文字传递,而是通过声音、手势、情绪以及其他多模态信息表达时,我们是否也会遇到类似的认知权威问题?

我想,这些问题都值得进一步讨论。

HCI 先驱 de Souza:当 AI 替我们阅读,谁来为知识负责?| ACM MM 2026
HCI 先驱 de Souza:当 AI 替我们阅读,谁来为知识负责?| ACM MM 2026

▎问:如果我们使用AI,意味着需要解决越来越多的问题,那么这些问题什么时候才能结束?

这是一个非常具有哲学意味的问题。我认为,我们可以通过很多不同的方式使用AI。AI拥有大量令人难以置信的可能性。

具体到认知权威问题,目前有一条研究路径,是尝试提高AI本身的认知可信度。也就是说,我们希望让AI变得更加可靠,让它能够更好地支持人类的知识判断。

但还有另一条路径:我们不妨先接受AI存在局限性,评估使用它可能带来的风险,再决定在什么情况下应该依赖AI,以及在什么情况下应该保持谨慎。

我的直觉是,我们或许应该同时探索这两条路径。在某些场景中,我们确实希望AI拥有比现在更强的认知能力;但在另一些场景中,尤其是研究结果可能产生重大社会影响时,我们应该更加谨慎地呈现和使用AI辅助研究的结果。

例如,疫情带来的影响涉及地球上的每一个人,甚至整个地球本身。这样的研究具有极其重大的社会意义。因此,我们需要在现阶段认真评估其中的风险。

▎问:对于界面中的符号,我们应该如何理解它们的意义?这些符号的含义究竟取决于单个界面,还是取决于一类界面所形成的共同参照体系?

我从来不敢说哪一种界面是最好的。我们现在正在使用的界面,或许就是一个很好的例子:你使用一种我能够理解的语言与我交流,但反过来,我未必能够完全理解你的意思。你也可能并不确定自己是否完全理解了我。

既然如此,我们又怎么能够轻易地断言,某一种界面就是最好的?

我真正想讨论的是,界面应该帮助我们进行更好的意义协商(Meaning Negotiation)。

当我们无法理解彼此时,就需要通过各种策略来协商意义。这不仅涉及语言符号,也涉及其他类型的符号。

我目前的一个想法是,我们应该让AI以它真实的状态呈现在用户面前。

也就是说,我们不应该把AI塑造成一个无所不知、能够完全理解一切的存在,而应该让用户知道:这是一个能够使用我的语言与我交流,但并不一定知道自己在谈论什么的系统。

还记得我之前讲到的Claude案例吗?我当时完全不知道,Claude的对话过程可能受到其他代理的中介影响。更令人惊讶的是,它自己也不知道这些信息究竟来自哪里。

因此,我们应该在界面中明确呈现这种可能性。我们需要设计某种符号,无论是文字提示还是视觉提示,让用户意识到系统可能存在这样的信息来源和中间环节。因为这正是风险产生的地方。

至于最好的界面是什么,我仍然没有一个确定的答案。我一直很喜欢让用户自行配置界面的设计思路。不同用户可能需要不同的交流方式,界面应该允许他们根据自己的需求进行调整。

▎问:PEEL能否检测AI生成摘要时出现的幻觉?例如,原文说2+2=4,但AI却总结成2+2=5。

有些类型的幻觉是可以被发现的。

例如,我们可以将原文中关于AI信任的具体论述,与摘要中的相关内容进行对照。如果两者存在明显差异,就可以进一步检查。

不过,我目前并没有专门针对幻觉进行分析,但PEEL所提供的材料和工具已经具备开展这类分析的基础。如果你感兴趣,也完全可以利用这些资源进行研究。

我还想补充一点:很多幻觉实际上来自AI的世界知识,而不是单纯的语言处理。AI可能会根据自己掌握的背景知识,认为某篇论文实际上是在讨论另一个相关话题,于是在摘要中加入一些原文并没有涉及的内容。

这也是为什么我们会约束Claude,让它以一种更接近机器翻译的方式处理文本,对原文进行压缩和转换,而不是自由发挥。这样做的目的,是让读者接触到一个更加浓缩的文本版本,同时仍然保留自己的解释工作。

当然,压缩程度过高也可能产生问题。即使摘要本身没有出现错误,读者也可能因为信息过于浓缩而产生误解。

但我认为,这是我们在选择使用这种工具时需要承担的一种风险。从目前的实验来看,当压缩比例达到25%或30%左右时,文本已经能够保留相当不错的可读性。当然,这也意味着算法还有很多优化空间,整个过程仍然需要大量工作。

▎问:当AI能够完成越来越多的工作时,这种变化是否会降低人类的创造力?过去,我们会不断开发新的工具来完成不同任务;现在,我们似乎可以直接使用AI生成几乎所有东西。这会不会影响技术创新?

我不认为这必然会降低创造力。

我喜欢用无穷的概念来思考这个问题。我们可以拥有无穷多种相同类型的事物,但这并不意味着我们只能拥有一种创造方式。

如果创造力意味着从一种事物跳跃到另一种完全不同的事物,那么我们确实需要警惕:我们可能正在生成无穷多种相同类型的东西,而不是不断进入新的领域。

2024年,Nature上有一篇由相关研究者发表的文章,讨论了科学研究可能走向同质化的问题。越来越多的人开始按照AI能够完成的任务来组织自己的研究,研究者也可能逐渐把自己的工作调整成适合AI处理的形式。

不过,我仍然愿意相信,AI可以被使用几十种、几百种,甚至几千种不同的方式。我们为什么一定要选择同一种使用方式?在我看来,还有一个更加重要的问题,那就是生产力,尤其是科学研究中的生产力。

现在,人们经常根据发表了多少篇论文来衡量研究者的表现。AI正在服务于这种生产力循环,而这可能比AI本身对创造力的影响更加值得关注。如果我们能够暂时跳出这种生产力循环,我认为AI会展现出非常多令人惊喜的使用方式。

我很幸运,现在已经退休,可以在一定程度上跳出这种循环。在这样的情况下,我们或许能够真正探索AI的不同可能性,而不只是让它帮助我们更快地完成已有的工作。这才是我更愿意看到的方向。

ACM MM 正在召开,欢迎参会的研究者、学生,以及关注 AI 前沿进展的读者加入我们的交流群。

在这里,你可以认识同行、交流研究,分享招生信息、科研合作、约饭、投稿、组队参会等,寻找潜在的合作伙伴。

大会期间,我们也会持续带来现场报道速递、嘉宾演讲解读、前沿方向梳理和论坛精华。

? 进群传送门: 扫码进群或添加微信A17648278904,备注:ACMMM+单位/学校+姓名+方向。

HCI 先驱 de Souza:当 AI 替我们阅读,谁来为知识负责?| ACM MM 2026
HCI 先驱 de Souza:当 AI 替我们阅读,谁来为知识负责?| ACM MM 2026

未经「AI科技评论」授权,严禁以任何方式在网页、论坛、社区进行转载!公众号转载请先在「AI科技评论」后台留言取得授权,转载时需标注来源并插入本公众号名片。

未经「AI科技评论」授权,严禁以任何方式在网页、论坛、社区进行转载!

公众号转载请先在「AI科技评论」后台留言取得授权,转载时需标注来源并插入本公众号名片。

雷峰网原创文章,未经授权禁止转载。详情见转载须知。

The text above was extracted automatically from the source page and may miss images, tables or code blocks. The original is authoritative.

Published by 雷锋网
This site only summarises and aggregates; copyright stays with the original author. Headlines and summaries follow the source — where they differ, the original wins.
Read the original ↗