Newshot

走向可评估性理论

AI summary

机器学习模型,尤其是大型基础模型,越来越多地沿着与其使用相关的多个维度受到评估。除了适用于特定任务的准确率指标外,人们往往还关注衡量安全性、校准性和公平性的指标。处理这些问题的经典方法假设测试集已从训练过程中留出,而对于大型基础模型,这一假设越来越难以成立。在这项工作中,我们在不依赖该假设的情况下形式化了一种可评估性的概念,并追问它是否……

Translation(model translation, not the source's own text)

查看出版物

机器学习模型,尤其是大型基础模型,越来越多地沿着与其使用相关的多个维度进行评估。除了适用于特定任务的准确性度量之外,捕捉安全性、校准性和公平性属性的度量也常常受到关注。解决这些问题的经典方法假设测试集已从训练过程中留出,而对于大型基础模型而言,这一假设越来越难以成立。在本工作中,我们形式化了一个不依赖该假设的可评估性概念,并追问:在我们的测试样本可能在训练期间被使用过的情况下,评估黑盒模型是否可行。我们在不同设置下研究这一问题,捕捉对模型不同级别的访问权限。我们首先研究自然设置,即评估者只查看模型在测试集上的输出。我们完整刻画了能够实现准确评估的分布类,并给出了评估样本复杂度的紧致上界和下界。我们的结果表明,在此设置下的黑盒评估可行,当且仅当该分布接近于小支撑集。随后我们考虑可以在额外输入上查询模型的评估算法,并展示其与程序测试中所研究的自校正器之间的联系。利用这些,我们表明少量的查询访问能够提升评估器对自然分布和概念类的效力。

Only about 427 characters could be extracted — the rest did not come through (common on sites that need scrolling or a login). Read the original for the full piece.

Published by Apple Machine Learning
This site only summarises and aggregates; copyright stays with the original author. Headlines and summaries follow the source — where they differ, the original wins.
Read the original ↗