文章标题:AI 可探索:机器学习中的大思想(人与 AI 研究 (Pair))
正文:

用稀疏自编码器映射 LLM
稀疏自编码器简介,一种拆解和理解 LLM 隐藏表征的技术。


大型语言模型能解释其内部机制吗?
Patchscopes 简介,一个用 LLM 来解释 LLM 隐藏表征的检查框架。

机器学习模型是记忆还是泛化?
grokking 与机制可解释性简介。

语言模型学到了什么?
通过让语言模型填空,我们可以探查它们对世界的理解。

自信错误的模型与谦逊的集成
ML 模型在遇到分布外数据时,有时会做出自信但错误的预测。模型集成可以通过平均掉错误来做出更好的预测。

收集敏感信息
巨型数据集和更快计算机的出现,使得在无意侵犯人们隐私的情况下收集和研究私人信息变得更加困难。

为什么有些模型会泄露数据
机器学习模型使用大量数据,其中一些可能是敏感的。如果训练不当,有时这些数据会被无意泄露。

模型可以既具备差分隐私又保持公平吗?
使用差分隐私训练模型可以阻止模型无意泄露敏感数据,但有一个意想不到的副作用:在代表性不足的子群体上准确率降低。

联邦学习
大多数机器学习模型是通过在中央服务器上收集大量数据来训练的。联邦学习使得在没有任何用户原始数据离开其设备的情况下训练模型成为可能。

模型预测是概率吗?
机器学习模型将其不确定性表达为模型分数,但通过校准,我们可以将这些分数转化为概率,以便做出更有效的决策。

用显著性搜索非预期偏差
机器学习模型有时会从训练数据中的虚假相关性中学习。试图理解模型如何做出预测,让我们有机会发现有缺陷的模型。

数据集有其世界观
每个数据集都传达不同的视角。当你转变视角时,你的结论也可能随之转变。

衡量多样性
反映历史不平等的搜索结果可能放大刻板印象并延续代表性不足。仔细衡量数据集中的多样性会有所帮助。

衡量公平性
衡量准确率有多种方式。无论我们如何构建模型,当应用于不同人群时,这些衡量标准下的准确率都会有所不同。

隐藏偏差
标题:AI 可解释性:机器学习中的大思想(人与人工智能研究 (Pair))
在真实世界数据上训练的模型可能会编码真实世界的偏见。隐藏关于受保护群体的信息并不总能解决问题——有时甚至可能适得其反。