纽扣上的贴纸
2026年11月18日 · 2026年11月19日编辑
明天早上,超过55万人报名参加修能考试。 1 他们每个人的衣服纽扣上都会被贴上贴纸。8点10分到8点40分之间,在第一科开考之前,他们会卷起双袖,接受衣领检查。每一副眼镜也会被检查。总理昨天在全国讲话中宣布了这一消息,距离这个国家最重要的考试还有两天。 2
我先说显而易见的部分。周四,纽扣里的摄像头就是作弊。修能是闭卷考试,它的存在是为了给人排名,所以遵守规则的孩子不应该输给不遵守规则的孩子。如果我处在那样的处境,我也会希望有这样的检查。但我认为这些贴纸只是在一块已经不值得我们再去修补的东西上打的补丁。我想解释为什么,然后说说我会怎么做,以及目前更好的应对方式。以下是本文的内容:
- 补丁:宣布了什么,以及为什么它撑不住。
- 真正的问题:修能测的是什么,以及为什么那才是真正的问题。
- 明天的热修复:明天真正有用的做法。
- 可持续的修复:考试中增加一个开放模型部分。
- 如果这些变化发生,学校将不得不教什么
1. 补丁
先从手机说起。8点25分到8点30分之间的某个时刻,全国每一部手机都会响起最高级别的紧急警报。政府会同时向全韩国发送,那种你无法退订的、为大规模灾难设计的警报。警报持续约10秒。目的是让任何藏在考场里的手机响起来。官员承认政府内部对此有分歧,并表示他们找不到其他方法来检测藏匿的手机。 3 我会在第3节提出真正可行的方法(比这个更好)。
政府的逻辑是,智能眼镜和纽扣摄像头需要附近有手机才能连上AI,所以找到手机就找到了作弊者。 2 对于你从Meta这样的官方商家购买的眼镜来说,这是对的,但对于有人专门为作弊而制造的专用设备来说,这不对。自带蜂窝模块的摄像头,或者口袋路由器,没有扬声器也没有屏幕。它不会响。而且如果有手机,它会在8点25分之前关机,之后开机。设计这些工具的人不傻,他们听到了和我们一样的公告。所以警报会抓住忘记关机的孩子,而不是计划好的孩子。全国都收到了灾难警报,而它瞄准的人恰恰是它抓不到的人。此外,下次那个声音因为真正的紧急情况响起时,我们中有些人会先想到考试。
再看看硬件发展有多快。一周前恐慌的是智能眼镜。这周是纽扣。我以前作为副业设计过自己的智能眼镜,硬件正变得更小、更轻,且与普通物品无法区分。最新的镜框看起来已经和普通眼镜一样了。你没法靠贴纸来解决这个问题。明年会被遮盖的是什么?作弊者会想出更好的选择和方法。而且我很确定其他方法已经存在多年了,用的是真人而不是AI,用的是摄像头加耳机而不是AI眼镜。 4 不过技术进步降低了入门成本。
作弊的禁令从一年延长到十年,政府想追溯适用。考试结束后,它计划在全球AI公司的帮助下,调取可疑学生的AI服务访问记录和电信记录。部长承认合作的细节尚未商定,也没有人说明法律依据。 5 我不是说他们会读每个人的聊天记录。我是说,一个政府在考试前两天宣布可以访问AI日志,而范围仍未界定。
2. 真正的问题
最让我困扰的是这一点。一位 YouTuber 的 AI 眼镜在 18 分钟内于一次 Suneung 数学模拟测试中拿到 96 分(满分 100)。6 在《Teenagers in the Age of Artificial Intelligence》中,我称 Suneung 为已解决的基准测试。一旦机器能比考试原本面向的人更好、更快地完成考试,这场考试就不再具有我们需要它具备的意义。它仍然给学生排名。只是排名依据变成了如今几乎免费的东西。所以问题在于,这场考试到底在衡量什么。
想想 Suneung 实际奖励的是什么:速度、准确度、识别你见过一千遍的题型,并在时间压力下无误地执行已知方法。这仍然是一项技能,学生为此付出多年生命去培养它。这也正是语言模型最擅长的事。我们围绕那个变得廉价的能力构建了一场考试。但说实话,这套考试系统就是非常过时。这项考试在最初推出时还相对可以理解。
我们以前见过这种情况。当 Roy Lee 做出了一个击败编程面试的工具
而我会去掉两样东西。全国警报,它会把整个国家叫醒,去找一部考试策划者早已关掉的手机。还有那些贴纸。那间教室里最稀缺的是监考人员三十分钟的注意力,而它正被花在按钮上。这些都解决不了真正的问题。它是更好的热修复,但仍然只是热修复。
4. 可持续的修复方案
我的答案就是我在那篇文章中提出的方案:一场开放模型考试——给每个学生同一个模型,以及一个大到无法独自完成的问题。评分看他们做出了什么、他们如何检查 AI,以及当 AI 自信地出错时他们做了什么。判断力仍然会把人区分开,而这也是他们实际会使用的技能。
具体来说,我会在 Suneung 中新增一个部分,考试时桌上放着一个 AI 模型。每个学生都拿到相同的考试发放设备,封存,带有一个固定的模型快照,没有人自带 AI。模型运行在考点内部的服务器上或封闭线路上,没有公共互联网,因此没有外部帮助,也不依赖某家供应商那天早上保持在线。每个提示词和每个回复都会被记录,日志是答题纸的一部分。
任务是一道大题,约 100 分钟,基于当天早上发布的一套材料:数据、文档、一份简报。部分材料包含预埋错误,任务存在权衡且没有唯一正确答案,所以模型无法独自完成。任务类型每年变化,因此不能像题库一样反复训练。
评分主要看学生在考试过程中的推理,直接从日志读取。不是看他们打了多少字。而是看他们想了什么。满分 100 分,我会给这部分推理 45 分,按评分者能指出的四件事来打分。他们是否在提出任何请求之前拆解问题并说明什么重要?他们是否带来了自己的想法,还是只向模型要想法?他们是否质疑模型、发现预埋错误,并在模型自信地出错时反驳?当存在权衡时,他们是否做出选择并给出理由?另外 30 分给最终成果,因为听起来很好但最终答案错误的推理不应该得高分。最后 25 分给一份简短的手写备忘录,在设备被收走后不用任何设备写成:你验证了什么,你仍不确定什么,以及你为什么做出主要决定。这份备忘录是用来核查这份工作是你自己完成的。丹麦正在试点同样的形式:学生可以使用任何工具,包括 AI 来准备,然后必须当面为结果辩护。12
给推理打分的风险在于,学生会学会表演推理:为评分者写长长的、听起来很厉害的消息。所以评分标准评的是动作,不是字数。一行能发现错误的消息胜过一段什么也没说的文字,长度不得分。
它仍然会给人排名。评分标准分数会转换成与其他所有部分相同的九个等级,每份试卷两名评分者,出现分歧时由第三名评分者处理。AI 可以对日志做第一轮处理,但每个分数都由人签字。它也改变了作弊的含义。当 AI 已经放在桌上,而且任务是那天早上新出的,把摄像头藏进按钮的动机基本就消失了。你仍然要检查外部帮助,但不再是在对抗工具本身。
人们会说,那所有人都会拿 100 分。在今天的题目上他们确实会,因为今天的题目是模型 18 分钟就能做完的那种。把问题出得足够大、足够开放,模型就不再是答案,而会成为工具。两个学生用同一个工具,不会产出同样的作品。任何看过两个人使用同一个 AI 的人,都已经知道这一点。
人们还会说,这对接触 AI 较少的学生不公平。我认为恰恰相反。现在优势属于家里付
更新(11 月 19 日下午):今天上午 8:30,全国性的 10.5 秒警报在韩国各地响起。教育部在午间简报中报告,在九个道共发现 22 部智能手机,涉及微型摄像头或其他 AI 硬件的确认案例为零。Maeil Business 的另一则报道显示,按照实际监考指南,在按钮上贴贴纸对考生而言是自愿的,而非强制。警报声逮住了那些忘记贴的考生。