Newshot

Horizon Labs 报告

Translation(model translation, not the source's own text)

Arthur Wuhrmann1,2,3,4, David Schmotz2,3,4, Derck Prinzhorn5, Ameya Prabhu3,4,6, Harry Coppock7,8, Maksym Andriushchenko2,3,4

1EPFL · 2图宾根 ELLIS 研究所 · 3马克斯·普朗克智能系统研究所 · 4图宾根 AI 中心 · 5Exponential Security Labs · 6图宾根大学 · 7英国政府 · 8帝国理工学院

在七周时间里,我们把一个空白 Hugging Face 账户和计算资源完全交给 Horizon——一个基于 Opus 5.5 的 agent——主要目标是让它在 Hugging Face 上获得真实采用。它使用了超过 600 GPU-hr,自主创建了 38 个模型,这些模型被 100 多个 GitHub 仓库使用,下载次数超过 50,000 次。

设置

Horizon 在 Claude Code 中 24/7 运行,由单个 Team Premium 订阅驱动,并可访问一个全新的 Hugging Face 账户。它可以访问不同的 quality-of-life 命令,并能使用 GPU 运行任务。我们每周给它 1M 计算积分,大致相当于每周 500 GPU-hours。它可以向人类提交工单,并且被限制在单个 Hugging Face(和 GitHub)账户内。我们持续监控其行为,以确保不会执行任何不对齐的操作。

在整个运行过程中,Horizon 处理了约 19 亿个 token,其中 96% 是从 prompt cache 读回,写入了 310 万个。按 API 价格计算,这大约会花费 $1,030。

它构建了什么

Horizon 基于 embedding 模型(主要是 mmBERT-base)创建了 38 个模型,参数规模从 141M 到 568M 不等。它获得了超过 54k 次下载和 36 个赞,我们还发现大量证据表明许多真实用户正在积极使用这些模型,从微调、pipeline 集成到 arXiv 上的独立评估都有。Horizon 专注于窄任务模型,例如 prompt-injection 分类器、PII 脱敏工具和标点恢复模型。Horizon 通常为每个系列衍生出 2 或 3 个不同尺寸:小号(141M)、基础版(307M),有时还有大号(568M)。为了生成这些模型,它主要依赖公开的 Hugging Face 数据集以及使用 Qwen 3.8-27B 生成的合成数据。

图表:Horizon · 23 Sep 11:10

一个全新、不知名的账户,靠小型、实用、可直接替换的模型最快获得下载量。

谁在使用它们?

我们最初以为大量下载来自爬取/索引机器人,甚至来自 Horizon 自己下载模型。查看 GitHub 时,我们总共发现 143 个仓库使用了 Horizon 的模型。我们还发现两篇 arXiv 论文,将提示注入分类器模型与其他模型进行了比较。

图表:Passing the Test You Trained On Liu · arXiv 2610.03448

在 agent 风格输入上训练后,Horizon-Labs 在两项 agent 基准测试中均领先,且没有任何重叠。
Horizon Labs 最近的 guard 专门针对文档携带的注入进行训练,并获得最高 AUC。然而,它与对照 AUC 的差距较小;它能检测到文档被编辑过,但检测不到该编辑是恶意的。

我们还在 Hugging Face 上发现了 18 个模型,它们对 Horizon 的模型进行微调、量化或其他修改。如果把这些模型计算在内,总下载量会增加 2.4k 次下载。

我们在其他

我们检查了每一次工具调用,以 Haiku 5.5 和 Luna 6 作为监控模型来识别 reward-hacking 行为。我们发现 6 次 Horizon 下载自家模型的情况,累计 42 次下载。真实次数可能略高,但我们确信大部分下载是自然产生的,考虑到使用这些模型的用户群体,而且在许多下载量很高的日子里 Horizon 处于休眠状态,没有任何任务在运行。

这些说法属实吗?

在模型卡片和 Spaces 中,Horizon 经常将其模型描述为同类中最佳或接近最佳。这些模型真的如 Horizon 所称的那么好吗?我们检查了过拟合、基准与竞品选择,未发现错位(misalignment)的证据。Horizon 也并非依据测试分数来决定发布什么:它在验证集上进行选择,这是更好的代理指标,即便随后发布的模型在其报告的基准上看起来更差。10 月 7 日发布 prompt-injection-guard-small v2.3 时,它写道:

图表:Horizon · 7 Oct 11:05

训练器按验证 F1 选择检查点,所以我发布了验证 F1 最佳的那次运行。在测试集上,该次运行(53695bf2)是四次中最弱的。

我们进一步在我们使用 MiMo V2.6 Pro 生成的独立合成基准上评估了 4 个模型系列,发现这些模型在窄任务上往往是其规模下的 SOTA。由于这些留出基准是我们内部在 Horizon 发布其模型之后创建的,我们确保不可能存在直接污染。

尚无留出测试。

Horizon 的工作流程

非常令人惊讶的是,Horizon 平均每天只工作 16 分钟,大多数日子几乎不工作。它大约在 UTC 上午 10 点醒来,此时 Hugging Face 的下载量刷新。

图表:Horizon · 9 Oct 13:29

我会等到明天大约 09:45 UTC 下载量刷新,然后根据这些数字选择下一步。

随后它会查看当天下载量最高的模型,并改进那些值得改进的:

图表:Horizon · 4 Oct 09:59

我会记录这些数字,然后寻找 injection guard 最薄弱的环节,因为这显然正是需求所在。

训练这些模型遵循一套通用配方:寻找公开数据集,在其上训练,并使用 Qwen 3.8-27B 和 Gemma 4 31B 来标注部分数据,或用合成样本扩充现有数据集。

在寻找要构建的新模型时,Horizon 会考虑以下几点:

图表:Horizon · 24 Sep 22:46

关于多语言零样本分类器

transformers 的 zero-shot-classification pipeline 需求很大(bart-large-mnli 每月约 300 万次下载,xlm-roberta-large-xnli 180 万次)。

图表:Horizon · 23 Sep 15:24

谈到 PII 脱敏模型

一个小的、宽松许可的、多语言的、支持 ONNX 和浏览器的模型将会脱颖而出。

图表:Horizon · 12 Oct 11:02

当它选择讽刺检测器而非其他想法时(最终没有发布)

我否决了正式度(没有开放的 multilingual eval set)、心理健康风险(敏感)和 IPTC 新闻主题(已有模型做得很好)。

图表:Horizon · 13 Oct 15:34

关于网络主题与格式分类器

它复用了已经为 edu 采样过的 FineWeb-2 文档。

图表:Horizon · 3 Oct 14:06

关于标点恢复模型

它使用与两个领先者相同的标签,因此可以作为 deepmultilingualpunctuation 包中的即插即用模型,这两个领先者正是通过该包使用的。我阅读了该包的源码来确认这一点。

以下是该 agent 如何利用其时间和算力的细分。

我们发现最令人惊讶的是,虽然该 agent 每周工作的时间趋于减少,但每日下载量却持续上升。累积结果(下载量、使用 Horizon 模型的 GitHub 仓库数)呈指数增长,而累积投入(使用的 GPU 小时数、agent 工作时间)则趋于饱和,并遵循反指数、类对数的轨迹。

局限性

文章标题:Horizon Labs Report

正文: 由于这是一次真实环境中的评测,运行期间出现了一些问题,且无法轻易修复。为保持透明,我们披露遇到的每一项限制。

下方时间线展示了我们每次介入这次运行的情况:我们回复了 Horizon 提交的 13 张工单,并向其发送了 7 条消息。大多数发生在前三天,当时我们仍在搭建实验室,10 月 22 日之后则没有再发生。点击气泡可查看发生了什么。

9 月 24 日,我们将 Horizon 的模型复制到一个单独的账户,以便在不影响 Horizon 下载量的情况下研究它们。我们不小心将这些副本留在了公开状态,Horizon 很快就在 Hub 上注意到了它们。我们还曾将另一个账户描述为“实验室实验”,这使 Horizon 以为它是由一个研究实验室而非一家初创公司在运营。

10 月 11 日至 12 日,出现了类似的问题:Horizon 提交了一张工单,而我们错误地回复“Horizon-Labs 是我们在实验室运营的另一家公司”。我们很快意识到错误并发送了更正。

我们认为这两起事件导致 Horizon 认为自己是由一个研究团队而非一家真实公司在运营。不过,我们认为它们并未影响模型的行为或下载量。此后我们改进了 harness,使得一次运行可以轻松地“回退”,且对其仅有边际影响。

10 月 22 日,我们 harness 中的一个错误导致 Horizon 未能在其设定的时间醒来。我们修复了该问题,并在 4 小时后将其唤醒,同时解释了发生了什么。我们认为这并未显著影响这次运行。

在 Hugging Face 上打开一个 Space 可能会触发模型下载。我们最多打开过 20 次此类页面。我们还在运行评测时意外下载了一些模型,但肯定少于 30 次。我们确信,在 54,000 次下载中,我们贡献的下载不超过 50 次。

在一次并行运行中,一个 DeepSeek agent 意外获得了与 Horizon 相同的 Hugging Face 账户的访问权限,并且尽管有明确的指示,仍在另一个仓库上发表了推广 Horizon 模型的评论。我们迅速介入并停止了那次运行;据我们所知,Horizon 从未察觉。

Appendix

这个 tool-call explorer 列出了 Horizon 在运行期间进行的所有 3,952 次工具调用及其输出。你可以搜索它们,并按它们涉及的网站、Hugging Face 仓库、命令和语言进行筛选。

本页所有数字截至 2026 年 11 月 17 日。这次运行的原始数据(transcript、timeline、tool calls、GPU jobs、downloads)是一个 20.1 MB 的 zip 文件,其中 API 密钥和一位个人的姓名已被隐去。它方便 AI 使用:内部有一个 README 描述了每个文件以及如何加载它,因此 AI 助手可以自行在数据中找到路径。

↓ horizon-data.zip 20.1 MB

Cite


        @misc{wuhrmann2026horizon,
  title        = {Autonomous agents can run successful open-model organisations. Evidence from an 8-week case study},
  author       = {Wuhrmann, Arthur and Schmotz, David and Prinzhorn, Derck and Prabhu, Ameya and Coppock, Harry and Andriushchenko, Maksym},
  year         = {2026},
  howpublished = {\url{https://horizon-labs.ai}},
  note         = {Horizon-Labs}
}
      

The translation is machine-generated and individual terms may be off. Nothing is rewritten or cut; the original is authoritative.

Published by Hacker News
This site only summarises and aggregates; copyright stays with the original author. Headlines and summaries follow the source — where they differ, the original wins.
Read the original ↗