Translation(model translation, not the source's own text)
引言
我们推出 SimpleBench,这是一个面向 LLM 的多项选择文本基准测试,在该测试中,具备非专业化(高中)知识的个人表现优于 SOTA 模型。SimpleBench 包含 200 多道题目,涵盖时空推理、社会智能,以及我们称之为语言对抗鲁棒性(或称陷阱题)的内容。在绝大多数基于文本的基准测试中,LLM 的表现都优于非专业人类,并且越来越多地超过专家人类的表现。然而,在 SimpleBench 上,非专业人类基线为 83.7%(基于我们九名参与者的小样本),优于所有受测 LLM,包括当今顶级模型 Claude Fable,其得分为 81.9%。尽管我们预计模型表现会随时间提升,但 SimpleBench 的结果证实,前沿 LLM 所利用的记忆知识和近似推理检索,目前并不总是足以回答基础问题。
如需深入了解我们的结果和方法,请在此处查看完整技术报告。
在 Simple Bench 应用 - LMcouncil.ai 上使用所有这些模型