Newshot

微软公布 USB4 多 Win11 电脑协同 AI 方案,搭积木式叠加内存 / 显卡算力跑本地模型

Summary

IT之家 11 月 20 日消息,微软昨日(11 月 19 日)发布博文,宣布以开发者预览方式, 推出基于 USB4 的远程直接内存访问(RDMA)体验,实现多台 Windows 11 电脑合力跑 AI 模型体验。 IT之家注:RDMA 是让一台电脑能够高效地向另一台电脑中获授权的内存区域读写数据,减少操作系统和 CPU 在数据搬运过程中的介入,主要优势是低延迟、高吞吐和较低的 CPU 占用。 根据官方描述,两台或多台符合要求的电脑通过 USB4 线缆连接后,无需另购专用 RDMA 网卡或配置交换机,可借助兼容的推理框架,调动各自的内存和 GPU 算力,共同运行一个 AI 模型。 在延迟方面,微软测试显示,在单次传输数据量较小的情况下,电脑间通信的往返延迟约为 28 至 50 微秒,仅为同一 USB4 链路上传统以太网 UDP 方式的四分之一。 初步测试中,微软使用三台各配 128GB 统一内存的 AMD 迷你电脑,通过 40Gbps USB4 连接,运行 4 位量化的 2350 亿参数 Qwen3 模型,生成速度约为每秒 18.5 个词元;AMD 自测约为 22 个。 在三台搭载 AMD Ryzen AI Max+ 395 处理器的迷你电脑上,通过 USB4 实现 RDMA 性能: 测试方 模型与量化方式 上下文长度 / 生成词元数 解码速度(词元 / 秒) 提示词处理速度(词元 / 秒) AMD Qwen3-235B-A22B,4 位量化(Q4_K_M) 1,600 / 2,048 21.98 117.98 英特尔则以四台各配 64GB 内存的酷睿 Ultra Series 3 电脑运行 GPT-OSS-120B,在约 1000 词元上下文下达到每秒 54.2 个词元。 电脑数量(台) 上下文长度(词元) 首个词元生成时间(秒) 解码速度(词元 / 秒) 3 1K 1.1 49.4 4 1K 1.2 54.2 3 2K 2.9 49.4 4 2K 3.2 51.7

Original text(via IT之家)

微软公布 USB4 多 Win11 电脑协同 AI 方案,搭积木式叠加内存 / 显卡算力跑本地模型

IT之家 11 月 20 日消息,微软昨日(11 月 19 日)发布博文,宣布以开发者预览方式,推出基于 USB4 的远程直接内存访问(RDMA)体验,实现多台 Windows 11 电脑合力跑 AI 模型体验。

IT之家注:RDMA 是让一台电脑能够高效地向另一台电脑中获授权的内存区域读写数据,减少操作系统和 CPU 在数据搬运过程中的介入,主要优势是低延迟、高吞吐和较低的 CPU 占用。

根据官方描述,两台或多台符合要求的电脑通过 USB4 线缆连接后,无需另购专用 RDMA 网卡或配置交换机,可借助兼容的推理框架,调动各自的内存和 GPU 算力,共同运行一个 AI 模型。

在延迟方面,微软测试显示,在单次传输数据量较小的情况下,电脑间通信的往返延迟约为 28 至 50 微秒,仅为同一 USB4 链路上传统以太网 UDP 方式的四分之一。

初步测试中,微软使用三台各配 128GB 统一内存的 AMD 迷你电脑,通过 40Gbps USB4 连接,运行 4 位量化的 2350 亿参数 Qwen3 模型,生成速度约为每秒 18.5 个词元;AMD 自测约为 22 个。

在三台搭载 AMD Ryzen AI Max+ 395 处理器的迷你电脑上,通过 USB4 实现 RDMA 性能:

测试方模型与量化方式上下文长度 / 生成词元数解码速度(词元 / 秒)提示词处理速度(词元 / 秒)
AMDQwen3-235B-A22B,4 位量化(Q4_K_M)1,600 / 2,04821.98117.98

英特尔则以四台各配 64GB 内存的酷睿 Ultra Series 3 电脑运行 GPT-OSS-120B,在约 1000 词元上下文下达到每秒 54.2 个词元。

电脑数量(台)上下文长度(词元)首个词元生成时间(秒)解码速度(词元 / 秒)
31K1.149.4
41K1.254.2
32K2.949.4
42K3.251.7

相关文章

  • 微软推送 Win11 26x00.10075 可选更新:重构搜索体验,内存占用降低 15%~20%
  • 6 位 PIN 码破解从 19 年缩至 20 天:部分微软 Win11 设备 TPM 防暴力破解机制被绕过
  • 微软 Win11 酝酿“新兴风险”功能:提醒第三方软件 / 驱动漏洞
  • 微软推出 Win11 新安全检查机制:未达标情况下应用可设置拒绝运行
  • 部分 Win11 用户反馈安装微软 11 月更新后打印机“失联”、财务软件 Sage 50 崩溃等
  • 微软拟升级 Copilot,要给你的 Win11 电脑“看病”

The text above was extracted automatically from the source page and may miss images, tables or code blocks. The original is authoritative.

Published by IT之家
This site only summarises and aggregates; copyright stays with the original author. Headlines and summaries follow the source — where they differ, the original wins.
Read the original ↗