Newshot

Astra 6.2 和 Sol 6.2 在 Simple Bench 上表现不佳

Translation(model translation, not the source's own text)

引言

我们推出 SimpleBench,这是一个面向 LLM 的多项选择文本基准测试,在该测试中,具备非专业化(高中)知识的个人表现优于 SOTA 模型。SimpleBench 包含 200 多道题目,涵盖时空推理、社会智能,以及我们称之为语言对抗鲁棒性(或称陷阱题)的内容。在绝大多数基于文本的基准测试中,LLM 的表现都优于非专业人类,并且越来越多地超过专家人类的表现。然而,在 SimpleBench 上,非专业人类基线为 83.7%(基于我们九名参与者的小样本),优于所有受测 LLM,包括当今顶级模型 Claude Fable,其得分为 81.9%。尽管我们预计模型表现会随时间提升,但 SimpleBench 的结果证实,前沿 LLM 所利用的记忆知识和近似推理检索,目前并不总是足以回答基础问题。

如需深入了解我们的结果和方法,请在此处查看完整技术报告。

在 Simple Bench 应用 - LMcouncil.ai 上使用所有这些模型

Only about 433 characters could be extracted — the rest did not come through (common on sites that need scrolling or a login). Read the original for the full piece.

Published by Hacker News
This site only summarises and aggregates; copyright stays with the original author. Headlines and summaries follow the source — where they differ, the original wins.
Read the original ↗