Newshot 要点
- Artificial Analysis 发布了 Endpoint Accuracy Index v1.1，发现近四分之一的无服务器端点得分低于参考部署。
- 该指数将 BFCL v4-500（工具）、HLE-250（推理）和 AA-LCR-25（长上下文）与自托管基线进行复合评分。
- AA-LCR-25 的重复次数从 10 提高到 25，使 95% CI 从正负 4.7 个点缩小到 2.6 个点。
- 覆盖范围现在涵盖六个开放权重模型，包括 GLM-5.3 Flash 和 Meta 的 Muse Spark Open。
- 影响准确率的主要因素是输出 token 上限和被截断的推理循环，而不是 FP4 量化。
- DeepSeek V4.1 Flash 1017 最为一致：全部 22 个端点与参考部署的差距都在 3.9 个点范围内。
Artificial Analysis 已发布其 Endpoint Accuracy Index 的 1.1 版，该指数将托管的开放权重模型与其官方权重的参考部署进行比较。在超过 100 个无服务器端点中，大约四分之一得分低于其参考部署。
这种差距很重要
文章标题：四分之一第三方 AI 端点表现低于其宣称的模型
正文：
- 更短的推理会降低准确率。另外两个端点在 HLE-250 上生成的推理 token 大约少 30%，且没有记录到截断。它们的原始准确率仅达到 48%，比参考值低七分。
提供商的经济性差异同样悬殊。Intelligence Index 每项任务的混合成本跨度达 4.4 倍，从 GMI 的 $0.41 到 Modal 的 $1.81。完成时间从 Inco FAST 端点的 5.5 分钟到 SiliconFlow 的 51.5 分钟不等。因此，一个得分为 79% 或 83% 的端点可能在价格或速度上看起来有竞争力，但实际结果却明显更弱。
一个 Schema 缺陷拖垮了工具调用
Meta 的 Muse Spark Open 提供了一个更窄的端点特定故障示例。在 xhigh 推理设置下测试的五个端点中，有三个的得分达到参考值的 99.5% 到 99.9%，其中包括一个使用 FP4 权重的部署。另外两个端点将声明为字符串的工具参数（例如预订 ID）编码为数字。
这种 schema 不匹配使其原始 BFCL v4-500 得分降至 50% 和 51%，而参考值为 59%。同样的端点在 HLE-250 和 AA-LCR-25 上仍与基线相差不超过两分，因此不涉及工具调用的工作负载可能永远不会遇到该缺陷。
输出限制导致了 GLM 的最大差距
GLM-5.3 在该指数中覆盖范围最广，有 26 个端点得分从 67.2% 到 99.3%。其三个最大的差距源于输出上限和推理循环导致 HLE-250 响应被截断。六个 FP4 端点中有五个在统计上与 FP8 参考值一致，这削弱了“低精度权重总是带来最大准确率损失”这一假设。
DeepSeek 的提供商结果显示出该指数中最小的范围。全部 22 个端点在统计上都与参考值一致，得分跨度从 97.5% 到 101.4%。
实用的提供商检查
选择托管开放权重模型的团队可以将该指数作为更广泛端点评估的一个阶段：
- 筛选价格、延迟、吞吐量、上下文窗口和区域可用性符合工作负载需求的提供商。
- 检查确切模型和端点的准确率得分及 95% 置信区间。
- 查看评估细分。BFCL 对使用工具的代理最重要，HLE 对困难推理最重要，AA-LCR 对长上下文检索最重要。
- 查看关于输出上限、截断率、推理设置和 schema 缺陷的说明。
- 在部署前运行应用程序特定的金丝雀测试，尤其是针对结构化输出、多语言提示以及指数之外的领域特定任务。
该指数覆盖固定的评估套件，托管配置在测量后可能发生变化。即使在这一范围内，结果也表明检查点名称是不完整的 API 规范。记录在案的参考部署和端点级置信区间使质量损失在到达生产环境之前就可见。
报道索引自 AlphaSignal。权利归原发布者和引用来源所有。
来源
- 02artificialanalysis.ai
- 03artificialanalysis.ai
- 04artificialanalysis.ai
- 05artificialanalysis.ai
- 06twitter.com