Newshot
Account

为何每个 AI 模型都将以种子文件形式发布

AI summary

文章提出,AI 模型未来可能以 BitTorrent 种子文件的形式分发,而非集中托管下载。作者认为这种点对点方式能绕开单点带宽瓶颈与平台审查。

Translation(model translation, not the source's own text)
题图
题图

DeepSeek 的 DeepSeek-V4.1-Flash-1017 由 48 个 safetensors 分片加上配置和 tokenizer 组成,总计 510 GB。一旦发布,这些文件就不再变化,每个想运行该模型的人下载的都是相同的字节。正因如此,torrent 非常适合用于模型分发。

电影则不同。在 torrent 网站上搜索一部电影,你会看到 4K remux、1080p、720p,以及带有不同音轨和字幕的各种版本。每个版本都是一个独立的 torrent,受众被分散成许多小的 swarm。大多数人随便挑一个版本就能播放。

但没有人这样下载模型:任何想要 DeepSeek-V4.1-Flash-1017 的人想要的都是同样的 48 个分片。

名字来自内容

要理解为什么这很重要,首先得看看 torrent 的名字从何而来。每个 torrent 都以其内容的哈希命名。无论谁用相同的文件和设置制作 torrent,得到的哈希都是相同的。

最早的 v1 格式(BEP 3)将所有文件首尾相连,切成同样大小的块,用 SHA-1 为每个块计算哈希,然后把这些哈希连同文件名和块大小放进一个称为 info dictionary 的结构中。这个字典的 SHA-1 是一个 40 位的十六进制字符串。

后来的 v2 格式(BEP 52)对模型分发更加友好。它不再把文件拼接在一起,而是为每个文件单独构建一棵 Merkle 树:每个 16 KiB 数据块用 SHA-256 计算哈希,然后两两合并继续计算,直到每个文件只剩一个根哈希。

图表:How v1 and v2 hash the same files

文件按列出的顺序首尾相连,然后被切成块。改变顺序,块和哈希都会改变。

  • model-00001.safetensorsroot A
  • model-00002.safetensorsroot B
  • config.jsonroot C

每个文件都有自己的 Merkle 树和根哈希,无论文件顺序如何。

混合 torrent 在同一份 info dictionary 中同时携带两套哈希,因此 v1 和 v2 客户端可以留在同一个 swarm 中。

找到彼此:tracker 与 Model DHT

即使有了共同的名字,下载者仍然需要找到彼此。最简单的方法是询问 tracker。tracker 是一台服务器:你问它“还有谁拥有 be10fee2...?”,它就会告诉你哪些节点在分享。每个 Pirate Face 磁力链接都带有 udp://tracker.pirateface.co:6969/announce。

Model DHT 是一种分布式哈希表,无需依赖中心服务器就能回答同样的问题。它是一张散布在数百万 torrent 客户端上的表。你可以用 torrent 的哈希找到正在分享该 torrent 的节点。

搜索时,客户端先向它知道的、离目标最近的节点询问,然后这些节点再告诉它更近的节点。即使网络中有数百万个节点,也只需几步就能找到。

图表:Two views of one catalog

Live · tracker checked this minute

Model DHT 的首页

早期的互联网也经历过类似的阶段。先是有 Yahoo! 这样的手工目录,然后有 AltaVista 这样的全文搜索。直到 1998 年 Google 开始按网页之间的链接排序,大多数人才真正有了找东西的办法。Model DHT 可以帮你找到节点,但并没有一个首页告诉你该找哪个 torrent。

Pirate Face 可以成为你通往 Model DHT 的首页:每个模型版本都有一个经过验证的 torrent、一个 tracker 以及实时的 swarm 数据。

The translation is machine-generated and individual terms may be off. Nothing is rewritten or cut; the original is authoritative.

Published by HN AI
This site only summarises and aggregates; copyright stays with the original author. Headlines and summaries follow the source — where they differ, the original wins.
Read the original ↗