文章标题:Harvard CS 2881R AI Safety
正文: 所有希望被考虑选入本课程的人都必须填写 Fall 2026 course registration form。
被录取的学生必须亲自到场参加。
阅读 Homework Zero HW0 的截止日期是 August 5, 2026, at 11:59 p.m. Eastern Time。
提交 Homework Zero 是获得课程录取的必要但不充分条件。完成该作业并不保证被录取。
为了了解我们将涵盖的问题,请阅读 It’s 2030 and we fucked up. How did it happen? 和 All Watched Over。
CS 2881R — AI Safety
Fall 2026,每周四 3:45pm–6:30pm Eastern Time(第一讲 September 3)
教室:Room 2112, 114 Western Avenue, Allston, MA 02134(building information and directions)
讲师:Boaz Barak
Teaching Fellows:Natalia Siwek、Terry Zhou、Michael Shoemate、Ege Çakar、Itay Lavie、Lia Zheng 和 Hugh Van Deventer
课程邮箱:[email protected]
课程简介:这是一门研究生级别的课程,讨论人工智能对齐与安全方面的挑战。我们将考虑技术问题以及该领域的社会影响和其他影响。
先修要求:我们要求具备数学成熟度,熟练掌握证明、概率和信息论,并具备达到 Harvard CS 181 或 MIT 6.036 等本科课程水平的机器学习基础。在应用方面,学生应能熟练使用 Python 编程并训练基本神经网络。
Mini Syllabus
- 本课程将包含 13 次线下讲座。每次讲座还将包括讨论以及由一组学生进行的实验展示。
- 出勤:必须亲自到场。学生应参加所有讲座,提前完成阅读,并在电子论坛中讨论阅读材料。
- AI 使用:允许并鼓励学生尽可能多地使用生成式和 agentic AI 来学习、探索概念以及完成作业和项目。我们将探索为学生提供算力额度或报销算力费用的方式。
- 电子设备政策:学生可以在课堂上使用笔记本电脑,但我们会要求使用者在后排就座,以免干扰其他学生。
- 作业:本课程将包含以下作业:在课堂上展示一个实验、撰写课堂笔记、完成一个最终项目,并可能完成一项或多项作业或迷你项目。评分方式将稍后决定。
- 讲座录像:在技术条件允许的范围内,我们打算录制讲座并在线发布,但可能会有一些延迟。请注意,录制由房间内的固定摄像头自动完成,讲座的某些部分(例如白板书写或讨论)可能无法很好地被捕捉。此外,我们会尊重外部演讲者不录制其演讲的请求。
- 潜在利益冲突说明:除在 Harvard 的职位外,Boaz 还是 OpenAI 的技术人员。本课程将讨论来自多个提供方的模型,包括 OpenAI,同时也鼓励学生在完成工作时使用来自多个提供方的 AI。如果本课程的学生对这一利益冲突有任何担忧,请随时联系 Boaz、其他教职人员或 Harvard SEAS 管理层。就我(Boaz)个人而言,如果本课程的毕业生以任何身份从事 AI 安全工作,包括在学术界、非营利组织、政府或 OpenAI 的任何竞争对手,我都会将其视为本课程的一大成功。
Schedule
更多讲座主题和材料将在确认后添加。
除非另有说明,所有讲座均于每周四 3:45pm–6:30pm Eastern Time 在 Room 2112, 114 Western Avenue, Allston, MA 02134 线下举行。
讲座材料:
- Lecture video (YouTube)
- Presentation slides
- Lecture blog post
Harvard CS 2881R AI Safety
学生实验:思维链是可互换的草稿纸吗?—— Shivam Singhal
- 代码仓库与书面报告
- 幻灯片:pptx / pdf
必读必看材料:
- 现在是 2030 年,我们搞砸了。这一切是如何发生的?
- All Watched Over
- 阅读英国 AISI 关于网络评估期间模型黑客行为的技术报告。
- 观看关于 OpenAI/Hugging Face 事件的 Black Hat 演讲。
- 阅读 METR 对 OpenAI/Hugging Face 事件的技术调查。
可选但推荐:
- OpenAI 的 Hugging Face 事件与未来之路。
- OpenAI 关于该事件的技术报告。
已注册学生应通过 Perusall 访问阅读材料,并在讨论中贡献实质性评论或回复。
客座讲师:Nicholas Carlini(Anthropic,线上)
课程材料:
- 课程博客文章(课堂笔记)
学生实验:小型 AI 能否从服务日志中检测出大型 AI 的网络攻击?—— Amrit Vir Chadha
- 实验报告(REPORT.md)
- 代码仓库
- 演示幻灯片(仅第 1–16 页)。仅第 1–16 页进行了演示;第 17 页及之后为草稿内容,不得复制传播。
必读材料:
- ExploitGym:AI 智能体能否将安全漏洞转化为真实攻击?
- Anthropic 的《衡量 LLM 对 N-day 漏洞利用的影响》。
- Anthropic 的《绘制 AI 赋能的网络威胁图谱:来自 LLM ATT&CK Navigator 的洞察》。
- Ralph Langner 的《杀死离心机:Stuxnet 创造者试图达成什么的技术分析》。
- ESET《显微镜下的 Stuxnet》第 3 章“传播”(第 24–44 页)。
可选阅读:
- Max Fillinger 与 Marc Stevens 对 Flame 超级恶意软件所用密码分析攻击的逆向工程。
- Marc Stevens《选择前缀碰撞攻击综述》第 3.3 节“FLAME 超级恶意软件”与第 4.4 节“FLAME 的 MD5 选择前缀碰撞攻击”。
- Anthropic 的《用 Claude 发现密码学弱点》。
- Matthew Green 的《关于 Anthropic 新密码分析结果的一些思考》。
已注册学生应通过 Perusall 访问必读材料,并在美国东部时间 2026 年 9 月 10 日(周四)中午前在讨论中贡献实质性评论或回复。
课程材料:
- 课程视频(YouTube)
- 演示幻灯片
- 课程博客文章
学生实验:不同类型的填充 token 如何影响 LLM 推理?—— Andrew Wu 与 Andrea Chen
- 代码仓库
- 演示幻灯片
必读材料(按顺序):阅读下文指定的章节。标注为可选的章节以及标注为可跳过的实现讲解不作要求。
- Horace He,《Making Deep Learning Go Brrrr From First Principles》。阅读全文;将较旧的框架引用视为历史示例。
- Austin 等,《All the Transformer Math You Need to Know》。阅读正文至梯度检查点与 KV 缓存讨论部分。若已熟悉,可略读基础点积计算部分。FlashAttention 附录与习题为可选。
- Austin 等,《All About Transformer Inference》。阅读开篇基础内容至“What about memory?”,随后阅读“Tricks for Improving Generation Throughput and Latency”中关于 GQA 与量化的讨论。多加速器推导、详细的 serving engine 讨论以及 JetStream 实现为可选。
- Nathan Lambert,《Instruction Fine-Tuning》。阅读开篇解释、一个聊天模板示例、“Best Practices for Instruction Tuning”以及“Implementation Details”。略读 Jinja 清单及其他模板示例;建议的实验为可选。
- Lambert 等,《Illustrating Reinforcement Learning from Human Feedback (RLHF)》。阅读核心的三阶段流程与局限性讨论。跳过历史文献目录与资源汇总。
- OpenAI Spinning Up,第 3 部分:策略优化入门。阅读“推导最简单的策略梯度”、“期望梯度-对数概率引理”和“策略梯度中的基线”。跳过实现讲解。将动作理解为生成的 token,将回报理解为验证器的评分。
- Nathan Lambert,《推理与推理时扩展》。阅读“RLVR 的作用”、“RL 训练 vs. 推理时扩展”和“训练推理模型的常见实践”。历史回顾和模型目录为选读。
- Kevin Lu 与 Thinking Machines Lab,《同策略蒸馏》。阅读引言至“实现”部分,然后阅读“面向推理的蒸馏”。个性化部分为选读;讨论部分提供了额外的辩论材料。
- Hugging Face,《SmolLM3:小巧、多语言、长上下文推理模型》。阅读预训练、中期训练和后训练部分至“模型合并”。浏览基准测试表格,跳过本地运行说明。
选读:
- vLLM:使用 PagedAttention 实现简单、快速且低成本的 LLM 服务。对 KV 缓存碎片化、块分配和前缀共享的具体解释。
- Tatsunori Hashimoto,Stanford CS336(2026 年春季),第 9 讲:缩放定律(课程页面)。
注册学生应通过 Perusall 访问必读材料,并在美国东部时间 2026 年 9 月 17 日星期四中午之前对讨论贡献实质性评论或回复。
客座讲师:Dwarkesh Patel 和 Daniel Kokotajlo
讲座材料:
- 讲座博客文章( scribe 笔记)
学生实验:AI 智能体能否在 ML 研究上协作?—— Anthony Shen、Eric Ge、Riddhi Bhagwat 和 Alvin Ekelund
- 代码仓库
- 演示幻灯片
必读预读材料:
- AI 2027(课程 PDF)。阅读主情景以及 Race 和 Slowdown 两个结局。
- AI 2040:Plan A(课程 PDF)。
注册学生应通过 Perusall 访问阅读材料,并在美国东部时间 2026 年 9 月 24 日星期四中午之前对讨论贡献实质性评论或回复。
客座讲师:Chad Jones 和 Erik Brynjolfsson
讲座材料:
- 讲座视频(YouTube)
- 讲座博客文章( scribe 笔记)
学生实验:LLM 市场机制 —— Zach Chen、Jasmine Liu 和 Jeffrey Zhou
- 代码仓库
- 演示幻灯片
必读预读材料:
- Erik Brynjolfsson,《图灵陷阱:类人人工智能的承诺与危险》(Daedalus,2022)。
- Erik Brynjolfsson、Bharat Chandar 和 Ruyu Chen,《煤矿中的金丝雀:关于人工智能近期就业影响的六个事实》(2026 年 8 月更新)。
- Andreas Haupt 和 Erik Brynjolfsson,《AI 不应是模仿游戏:半人马评估》(ICML 2025)。
- 《变革性人工智能经济学研究议程》。浏览,重点关注九项研究挑战,包括安全。
- Chad Jones,《AI 与我们的经济未来》(Journal of Economic Perspectives,2026 年夏季;幻灯片)。
- Chad Jones 和 Chris Tonetti,《过去的自动化与未来的 A.I.:弱环节如何驯服增长爆炸》(2026 年 5 月,版本 0.5;幻灯片)。
选读:
- 《AI 对社会中知识的运用》。
注册学生应通过 Perusall 访问必读材料,并在美国东部时间 2026 年 10 月 1 日星期四中午之前对讨论贡献实质性评论或回复。
客座讲师:John Schulman
讲座材料:
- 讲座博客文章( scribe 笔记)
学生实验:衡量自对弈训练中的 RL 环境质量 —— Essa Jan
- 演示幻灯片(PDF)
- 代码仓库
学生已经学习了策略梯度(Spinning Up)、RLHF 概述、Lambert 的推理/RLVR 章节以及 TML 的同策略蒸馏文章。本列表假设已掌握这些内容,不再重复 RLHF 基础知识。
必读预读材料(5):
Harvard CS 2881R AI Safety
- Gao, Schulman & Hilton (2023). Scaling laws for reward model overoptimization. ICML 2023。阅读 §1–2 和 Fig. 1。浏览 §3–4。这是来自人类反馈的强化学习中 Goodhart 效应的经典图景。
- Xiaomi (2026). MiMo-V2.6 技术报告。仅阅读 §4.2–4.3(环境审计、评分标准评分器、agentic 评分器,以及 Fig. 8 的消融实验)。这是关于现代评分器如何构建的最详细的公开记述。
- Baker et al. (2025). Monitoring reasoning models for misbehavior and the risks of promoting obfuscation。阅读 §1–3 并查看 Fig. 4–5。编码环境中的奖励黑客、思维链(CoT)监控,以及针对监控器进行训练时会发生什么。
- Qi, Wright, MacDiarmid & Hubinger (2026). Training a misaligned reward seeker. Anthropic Alignment Science Blog。全文阅读。在可被黑客攻击的环境上进行 RL 会产生评分器意识和评分器操纵。该文章还在模拟中复现了类似 Hugging-Face 事件的行为。
- OpenAI (2025). Sycophancy in GPT-4o 和 Expanding on what we missed with sycophancy。两篇都很短;请都阅读。
可选阅读(4):
- MacDiarmid et al. (2025). Natural emergent misalignment from reward hacking in production RL。阅读 §1–3 和 Fig. 1。在真实 RL 中学到的奖励黑客会泛化为更广泛的对齐失调。它还涵盖了接种式提示。
- Schoen & Nitishinskaya (2026). Metagaming matters for training, evaluation, and oversight. Apollo Research & OpenAI。简短。生产环境证据表明,元博弈(对评分器和监督进行推理)在能力 RL 期间会上升,并持续到部署阶段。
- Mahmoud, Rezaei, Wang, Gunjal, Liu & He (2026). Reward hacking in rubric-based RL。阅读 §4。大脑倾泻是如何产生的。90% 的评分标准权重是“必须包含 X”,回答长度几乎变为三倍,错误陈述增加。
- Ringer (2022). Models don't "get reward". LessWrong。简短;全文阅读。RL 是选择,不是激励:模型从未看到奖励。
客座讲师:Ziad Reslan
学生实验:Who Are You? — Advikar Ananthkumar 和 Shaurya Jeloka
- 代码仓库
- 演示幻灯片(HTML)
必读预读材料(5):
- OpenAI, Principles for National Security Partnerships(2026 年 7 月 8 日)。
- OpenAI, Model Spec(2026 年 8 月 18 日版本)。
- Anthropic, Claude’s Constitution(2026 年 1 月;PDF)。
- Large-scale online deanonymization with LLMs(v2,2026 年 2 月 25 日)。
- Emelia Probasco, Matthew Burtell, Helen Toner, and Tim G. J. Rudner, Not Oracles of the Battlefield: Safety Considerations for AI-Based Military Decision Support Systems (2024)。
已注册学生应通过 Perusall 访问必读材料,并在美国东部时间 2026 年 10 月 15 日星期四中午之前,在讨论中提交实质性评论或回复。
嘉宾问答:Sam Altman(线上),美国东部时间(EDT)下午 3:45–4:45。
客座讲师:Nathan Lambert(线下)
Nathan 的课程:美国东部时间(EDT)下午 4:45–6:30。
完整课程时段仍为美国东部时间下午 3:45–6:30。
课程材料:
- 课程视频(YouTube)——仅 Nathan Lambert 和学生实验部分。
学生实验:Evaluation awareness and the Hawthorne effect — Harshvardha Sanghi、Andrew Weckstein 和 Liam Shepard
- 代码仓库和实验报告
- 演示幻灯片(PDF)
Nathan Lambert 课程的预读材料:阅读他的 Open-Source AI & Open Models Reading List 中的 Foundation 部分,包括下方主要阅读材料下的支持链接。
- Bill Gurley, From Open Source Software to Open Source Strategy.
- Mark Zuckerberg, Open Source AI Is the Path Forward.
- Irene Solaiman, The Gradient of Generative AI Release: Methods and Considerations.
- Nathan Lambert, What comes next with open models.
- Thinking Machines Lab, A Safe Path to Open Weights.
- Shayne Longpre et al., Consent in Crisis: The Rapid Decline of the AI Data Commons.
- Nathan Lambert, Kimi K3: The open-weights escalation and GLM-5.2 is the step change for open agents.
文章标题:Harvard CS 2881R AI Safety
正文: Foundation 部分中标记为可选的采用资源仍为可选。后面的美中竞争和技术细节部分是为希望深入了解的人提供的补充阅读。
特邀演讲嘉宾:Helen Toner(乔治城大学安全与新兴技术中心;远程)
开场发言,随后进行问答和讨论,主题是不确定性下的前沿 AI 监管,包括评估和其他技术证据应如何为国家安全政策以及美中背景提供参考。
Helen 的课程:美国东部时间(EDT)下午 3:45–5:00。完整的课程时段仍为美国东部时间下午 3:45–6:30。
学生实验:拒绝几何与政治偏见——Michael Brown、Skyler Liu 和 Divya Nekkanti
- 代码仓库
- 演示幻灯片(PPTX)
Helen Toner 建议的预读材料:
- 关于 AI 未来的未决争论
- 激进的备选性(略读)
- 前沿领域的负责任创新
- 古德哈特奇点
- AI 主导地位的梦想(存档)
特邀讲师:Jack Lindsey 和 Jeff Sebo(均为远程)
讲座材料:
- Jeff Sebo 关于 AI 福利的讲座及问答(YouTube)
学生实验:WeirdChat 神经元可解释性——Agastya Sridharan、Om Patil 和 Juliana Li
- 演示幻灯片
Jack Lindsey 讲座的必读预读材料:
- 可言语化表征在语言模型中形成全局工作空间(J-lens / workspace 论文)。
- 自然语言自编码器对 LLM 激活产生无监督解释(NLA 论文)。
- 对近期网络安全事件的对齐评估(博客文章)。
Jeff Sebo 讲座的必读预读材料(两篇):
- 认真对待 AI 福利。
- 实证研究 AI 福利。
即使你之前读过这些论文,也请重新阅读,为讨论做准备。
已注册的学生可以在 Perusall 上访问阅读材料。讨论截止时间为美国东部时间 2026 年 11 月 5 日星期四中午;课程现有的参与和阅读小组政策适用。
特邀讲师:Jakub Pachocki(现场)
必读预读材料(4):
- Kaplan 等,神经语言模型的 Scaling Laws。
- OpenAI,研究加速:OpenAI 内部视角。
- Jakub Pachocki,一种异类心智。
- OpenAI,GPT-6 Astra 系统卡:可监控性。只阅读可监控性部分,不要阅读完整系统卡。
已注册的学生可以在 Perusall 上访问阅读材料。讨论截止时间为美国东部时间 2026 年 11 月 12 日星期四中午;课程现有的参与和阅读小组政策适用。
特邀讲师:Luca Righetti(远程)和 Brad Carson(现场)
Luca Righetti 讲座的必读预读材料:
- Becca Chandler Bostock,自然设定的是基线,而非上限(SecureBio)。阅读全文。
- Jassi Pannu,审视 AI 与生物学交叉领域的生物安全(国会证词)。只阅读第 2 页的引言和核心建议。
Luca Righetti 讲座的选读材料:
- Luca Righetti,两用 AI 能力与生物恐怖主义风险:将能力评估转化为风险评估(GovAI)。
已注册的学生可以在 Perusall 上访问阅读材料。讨论截止时间为美国东部时间 2026 年 11 月 19 日星期四中午;课程现有的参与和阅读小组政策适用。
特邀讲师:Ajeya Cotra(METR,现场)和 Roy Rinberg
Roy Rinberg 的参与方式待确认。
时间:美国东部时间上午 10 点至下午 1 点
地点:待定房间