Newshot

Show HN:Shard —— 跨多台计算机的分布式 AI 推理

Translation(model translation, not the source's own text)

英语 | 俄语版 | 哈萨克语版

SHARD

一张网络。多台服务器。共享的 AI 基础设施。分布式本地 LLM 推理引擎,跨局域网机器池化 GPU VRAM 与系统内存 —— 由 PyTorch、FastAPI、llama.cpp RPC 以及原生 C++20 / MASM AVX2 SIMD 内核驱动。

最新版本
最新版本
测试 CI
测试 CI

SHARD 分布式推理集群:中央主协调器通过 UDP 发现(:8001)与 FastAPI SSE 端点(:8000),在已连接的局域网工作节点之间池化 VRAM。

SHARD 主视觉网络动画 —— 分布式 AI 推理集群
SHARD 主视觉网络动画 —— 分布式 AI 推理集群

概览 · 工作原理 · 特性 · 快速开始 · CLI 参考 · 架构 · 仪表盘 · 社区

SHARD 是什么?

SHARD(shard-engine)是一个开源的分布式本地 LLM 推理引擎,用 Python(FastAPI + PyTorch)编写,后端为 GGUF / llama.cpp,并带有原生 C++20 / MASM AVX2 SIMD 加速。

它解决的问题

在本地运行能力可用的 14B、32B 或 70B+ 开放权重语言模型,通常会撞上一堵硬性的硬件墙:单卡 VRAM 上限。大多数开发者、实验室和小团队都拥有多台机器——一台台式游戏 GPU、一台工作站笔记本、一台辅助迷你主机——它们的内存碎片化地散布在本地网络上,而没有任何一台设备能装下完整的模型权重和 KV cache。

为什么要有 SHARD

SHARD 把局域网(LAN)中闲置的 GPU 和系统内存整合成一个逻辑推理集群:

  • 池化硬件,避免云锁定:在标准千兆 LAN 上把 transformer 层拆分到多块消费级 GPU 和主机内存中(lan.py、gguf_backend.py),零外部云依赖,也无经常性 API 费用。
  • 下载前先知(shard fit):在下载数 GB 的权重之前,先检查任意 Hugging Face 模型是否能装进你的单块 GPU、CPU+GPU 混合配置或池化的 LAN 集群(fit.py)。
  • 即插即用的 Agent 与 IDE 后端:在 8000 端口同时暴露 OpenAI(/v1/chat/completions、/v1/completions、/v1/models)与 Anthropic(/v1/messages)兼容端点,让编码 agent 与 SDK 立即接入。

谁应该使用 SHARD?

  • 本地 AI 开发者与研究人员:在家庭实验室或办公工作站上跨机器运行 7B–70B 的 GGUF 或 PyTorch SafeTensors 模型。
  • 软件工程团队:为 Cursor、Claude Code、Aider、Continue、Zed 和 OpenCode 托管私有、零遥测的编码助手。
  • AI Agent 构建者:针对自托管硬件,通过 OpenAI Python SDK、LangChain 或 LlamaIndex 编排多 agent 流水线。

SHARD 如何工作

SHARD 把分布式本地 AI 基础设施变成一个四步工作流:CREATE → SHARE → CONNECT → USE。

Show HN: Shard – 跨多台计算机的分布式 AI 推理

| 1. 创建 — 启动你的服务器 使用 shard start 或 python main.py 启动本地 SHARD 节点。引擎通过 hardware.py 探测你的 CPU、系统 RAM 和 NVIDIA CUDA / Apple MPS GPU,加载你选择的 GGUF 或 Hugging Face 模型,并在 http://localhost:8000 上启动 FastAPI 服务器和 Web UI。 | 2. 共享 — 广播到局域网 使用 shard lan create --open 打开局域网计算池(或通过 shard lan create 生成配对码)。SHARD 在端口

类别能力源代码模块描述
局域网集群与分片UDP 自动发现与局域网池化lan.py , docs/LAN_SHARDING_DESIGN.md广播 UDP 信标 ( :8001 ),通过配对码或 --open 模式配对节点,监控节点心跳 ( /api/lan/heartbeat ),并跨机器池化 VRAM/RAM。
推理后端双 PyTorch 与 GGUF ( llama.cpp ) 引擎engine.py , gguf_backend.py在 CUDA/CPU/MPS 上运行 Hugging Face transformers / safetensors 模型,并通过受管理的 llama-server 与 ggml-rpc-server 子进程运行量化 GGUF 权重,支持可配置的 GPU 层卸载 ( -ngl )。
硬件规划预检模型适配顾问 ( shard fit )fit.py , hardware.py在下载前检查模型架构参数(config.json 或参数启发式)与主机 VRAM 和 RAM 的匹配情况,返回 GPU 、 HYBRID 或 IMPOSSIBLE 判定、最大上下文长度、估计 tok/s 以及量化建议。
原生加速C++20 与 MASM AVX2 SIMD 内核native/shard_core.cpp , native/shard_asm.asm , shard_bridge.py自定义 C++20 与 x86-64 AVX2 汇编例程,用于 RMSNorm 、 LayerNorm 、 旋转位置编码 ( RoPE )、 Softmax 、 GELU 、 SiLU 和 MatMul ,通过 ctypes 加载。
API 与流式传输OpenAI 与 Anthropic 兼容服务器server.py提供 /v1/chat/completions 、 /v1/completions 、 /v1/models 、 /v1/messages (Anthropic 协议)、 /api/generate 和 /api/generate/stream ,支持实时服务器发送事件 (SSE) 以及可选的 API 密钥认证 ( shard key )。
Web 控制面板零依赖仪表板与演练场dashboard.html内置浏览器界面位于 http://localhost:8000 ,具有实时 GPU/VRAM/RAM 遥测、Hugging Face 模型搜索与下载、量化选择器、流式聊天演练场、局域网节点管理器以及一键 IDE 集成片段。
容器化Docker 与 NVIDIA GPU Compose 栈Dockerfile , docker-compose.yml生产就绪的容器设置,具有持久命名卷 ( shard_models_volume , shard_data_volume ) 和 NVIDIA GPU 预留。
协作训练可选的 SOUP 微调生态系统soup_adapter.py , feedback.py , training.py , docs/COLLABORATIVE_TRAINING.md隐私优先的同意反馈、机密/PII 脱敏、不可变 SFT/DPO 数据集快照、带取消功能的动态 SOUP 训练编排、基线 vs 候选评估、模型版本控制、部署以及一键回滚。
统一托管与隐私模型优先托管与私有会话server.py , lan.py在创建/发布服务器之前强制执行已加载模型验证(HTTP 409 MODEL_NOT_READY ),保证零泄漏的参与者隔离私密聊天,并强制执行计算工作节点 VRAM/CPU 配额。
全球网络与发现自动网络与一键集群net_strategy.py , net_discovery.py , cluster.py在 shard start 时自动初始化网络、带搜索和 VRAM 过滤器的公共服务器目录、STUN/NAT 穿透、盲加密 WebSocket 中继、加入前硬件探测、明确同意强制执行以及分布式张量流水线。

实验性功能

  • 多主机 llama.cpp RPC 张量分布 (gguf_backend.py, lan.py):跨异构局域网 GPU 的分布式层执行在低延迟有线千兆/2.5GbE 以太网子网上效果最佳;Wi-Fi 链路可能会经历更高的令牌间延迟。
  • 原生 Win32 桌面 GUI (native/shard_gui.cpp):与跨平台 Web 仪表板(dashboard.html)并行的原生 C++ Windows 桌面封装。

计划功能

  • 节点掉线时的自动动态重新分片:如果工作节点意外断开连接,实现生成中途的无缝层迁移(docs/LAN_SHARDING_DESIGN.md)。
  • Linux / macOS ARM64 NEON 内建指令:将原生 SIMD 内核套件(native/)扩展到 x86-64 AVX2/FMA 之外,以支持原生 Apple Silicon / ARM64 汇编路径。

安装与快速开始

先决条件

  • 操作系统:Windows 10/11(64 位)、Linux(Ubuntu 20.04+ / Debian 12+)或 macOS。
  • Python:Python 3.8+(推荐 3.10+)。
  • 硬件:带 CUDA 驱动的 NVIDIA GPU(推荐用于 GPU 加速)、Apple Silicon(MPS),或支持 AVX2 的 x86-64 CPU。
  • 网络(LAN 分片可选):同一局域网内有两台或更多机器,并开放 TCP 端口 8000(HTTP/API)和 UDP/TCP 端口 8001(LAN 发现与 RPC)。

安装

选项 1:通过 PyPI 安装(推荐)

在任何环境中直接从 PyPI 安装 SHARD:


        # Core install: CLI, FastAPI server, web dashboard, GGUF (llama.cpp) + LAN clustering
pip install shard-engine

# Full install: adds PyTorch/Transformers safetensors & Hugging Face extras
pip install "shard-engine[full]"
      

直接从 GitHub 安装最新的开发快照:


        # Core install from GitHub
pip install "git+https://github.com/avelone123123/shard.git"

# Full install from GitHub
pip install "shard-engine[full] @ git+https://github.com/avelone123123/shard.git"
      

安装完成后立即验证环境:


        shard doctor
      
Windows PATH 说明:如果 Windows 提示 shard.exe 不在 PATH 中,你可以直接通过 Python 运行 SHARD:python -m shard_engine <command>(例如 python -m shard_engine help 或 python -m shard_engine start)。GPU 与运行时说明:GGUF 推理会在首次运行时自动下载适用于 llama-server / ggml-rpc-server 的平台二进制文件,无需额外的 ML 包。对于 CUDA PyTorch 推理,请在执行 pip install "shard-engine[full]" 之前安装与 CUDA 匹配的 torch 构建版本。

选项 2:从源码可编辑安装(开发者)


        git clone https://github.com/avelone123123/shard.git
cd shard
pip install -e ".[dev]"
      

选项 3:Docker Compose(支持 NVIDIA GPU)


        git clone https://github.com/avelone123123/shard.git
cd shard
docker-compose up --build
      

这会构建 shard-engine、挂载持久化卷(/data/models 和 /data/shard)、暴露端口 8000:8000,并启用 NVIDIA GPU 直通。

选项 4:编译原生 C++20 / MASM AVX2 内核(可选加速)

编译 shard_core.dll(Windows MSVC cl.exe + ml64.exe)或 shard_core.so(Linux GCC/Clang):


        python native/build_native.py
      

升级与卸载


        shard update --check
pip install --upgrade shard-engine
pip uninstall shard-engine
      

卸载 Python 包会保留你已下载的模型、设置和 API 密钥,它们仍保存在你的用户数据目录中。

快速开始工作流

1. 验证环境并启动 SHARD


        # Check Python runtime, dependencies, GPU VRAM, ports, and writable paths
shard doctor

# Start FastAPI server in background (--daemon / -d) and inspect logs/status
shard start --daemon
shard status

# Or open the interactive Web Dashboard at http://localhost:8000 immediately
shard gui

# Stop or restart background server cleanly
shard restart
shard stop
      

2. 下载前检查硬件与模型适配性


        # Check if a model fits your local machine or LAN cluster before downloading
shard fit Qwen/Qwen2.5-Coder-7B-Instruct
shard fit meta-llama/Llama-3.1-8B-Instruct
      

3. 下载并运行模型


        # Download and start an interactive terminal chat (default: Qwen/Qwen2.5-Coder-1.5B-Instruct)
shard run Qwen/Qwen2.5-Coder-7B-Instruct

# List cached and catalog models
shard list
      

4. 创建或加入分布式 LAN 集群

在主控机器上(shard lan create 会打印该主机检测到的实时 LAN IPv4 地址):


        # Create an open LAN pool (auto-accepts subnet workers and sets target model)
shard lan create --open --share --model Qwen/Qwen2.5-Coder-7B-Instruct

# Or create a code-protected LAN pool
shard lan create --share
      

在同一子网的每台工作机器上,将 <SERVER_IP> 替换为主控机器上 shard lan create 打印的 IP:


        # Join an open LAN pool and contribute local GPU/RAM
shard lan join <SERVER_IP> --share
      

        # Or join a code-protected pool
shard lan join <SERVER_IP> <PAIR_CODE> --share

# Inspect cluster nodes, host IPv4 addresses, and pooled VRAM/RAM
shard lan status

# Leave or disable LAN pooling
shard lan off
      

CLI 参考与配置

已验证的 CLI 命令 (shard_engine/cli.py)

命令参数与标志描述
shard start[--host HOST] [--port PORT] [-d│--daemon] [--no-browser]启动 SHARD FastAPI 服务器和 Uvicorn 运行时(默认 0.0.0.0:8000 )。
shard stop(none)安全停止由 PID 跟踪管理的后台 SHARD 服务器。
shard restart[--host HOST] [--port PORT] [--foreground] [--no-browser]干净地停止并重启 SHARD 服务器。
shard gui(none)启动服务器(如果存在原生 Win32 桌面 UI 则启动它)并打开 Web 仪表盘。
shard status(none)显示检测到的 CPU、RAM、GPU VRAM、活动模型以及检测到的 LAN IPv4 地址。
shard doctor(none)审计 Python、打包资源、依赖项、CUDA/GPU、LAN IP、端口和用户目录。
shard version[-V│--version]打印已安装的 SHARD 版本、Python 可执行文件路径、操作系统信息以及活动目录。
shard update[--check]检查 PyPI 上是否有更新的 shard-engine 版本,或通过 pip 以非破坏性方式升级。
shard fit<model_id> [--ctx N] [--no-fetch]在下载前计算 VRAM/RAM 需求、量化适配情况以及预估吞吐量。
shard run[model_id]下载(如需要)、加载模型并打开交互式终端聊天 REPL。
shard list[--category CAT]列出已缓存和精选的目录模型( all、ideal、coding、reasoning、compact )。
shard lan[status│create│join│model│off] [extra] [--share] [--open] [--model ID] [--port N]创建、加入、配置、检查或停止跨机器的分布式 LAN 计算池。

| shard network | [status│doctor│radmin [status│install│repair│gui│decline]] | 检查多层级自主网络,运行网络

变量 / 文件默认值用途
SHARD_HOST0.0.0.0由 server.py 绑定的网络接口 IP 地址。
SHARD_PORT8000API 服务器和 Web Dashboard 的 HTTP 端口。
SHARD_DATA_DIR操作系统数据目录(Docker 中为 /data/shard)覆盖 settings.json、keys_db.json、lan.json、日志和 PID 元数据的根目录。
SHARD_MODELS_DIR<data_dir>/models(Docker 中为 /data/models)用于存放下载的 Hugging Face SafeTensors 和 GGUF 权重的存储目录。
SHARD_NO_BROWSER / SHARD_DOCKER(未设置)启动 SHARD 时抑制自动打开浏览器标签页。
SHARD_NATIVE_LIB(自动发现)对 shard_core.dll / .so / .dylib 的路径覆盖(设为 none 以强制使用 Python 回退)。
SHARD_SOUP_PYTHON / SHARD_SOUP_CMD(自动发现)在 Python 3.14+ 主机上训练时,可选指定运行 soup-cli 的 Python 3.11–3.13 环境或二进制的路径。
HF_HOME / TRANSFORMERS_CACHE~/.cache/huggingfaceengine.py 和 hf_hub.py 遵循的标准 Hugging Face 缓存覆盖。
engine_optimizations.json打包在 shard_engine 内通过 importlib.resources 加载的运行时优化配置。

架构

SHARD 生态系统拓扑:编码 IDE、agent 框架、主协调器以及分布式 LAN 工作节点,作为一个统一的推理网络运行。

SHARD 网络生态系统概览
SHARD 网络生态系统概览

系统架构图


        flowchart TB
    subgraph Clients["AI Agents, IDEs & SDK Clients"]
        IDE["Cursor / Claude Code / Aider / Continue / Zed"]
        SDK["OpenAI SDK / Anthropic SDK / LangChain / LlamaIndex"]
        Browser["Web Dashboard UI (dashboard.html)"]
    end

subgraph Master["SHARD Master Node (FastAPI :8000)"]
        Server["server.py\n(/v1/chat/completions, /v1/messages, /api/*)"]
        Fit["fit.py & hardware.py\n(Pre-Flight VRAM/RAM Advisor)"]
        Engine["engine.py\n(PyTorch Transformers & Token Streamer)"]
        GGUF["gguf_backend.py\n(llama-server & Layer Offload -ngl)"]
        Bridge["shard_bridge.py\n(ctypes C++20 / MASM AVX2 SIMD Core)"]
        LANCoord["lan.py\n(UDP Discovery :8001 & Cluster Coordinator)"]
    end

subgraph Workers["Distributed LAN Worker Nodes (:8001)"]
        W1["Worker Node 1\nggml-rpc-server / GPU VRAM Shard"]
        W2["Worker Node 2\nggml-rpc-server / GPU VRAM Shard"]
        W3["Worker Node N\nggml-rpc-server / System RAM + GPU"]
    end

IDE -->|HTTP / SSE :8000| Server
    SDK -->|HTTP / SSE :8000| Server
    Browser -->|REST / SSE :8000| Server

Server --> Fit
    Server --> Engine
    Server --> LANCoord
    Engine --> GGUF
    Engine --> Bridge

LANCoord <-->|UDP Broadcast & Heartbeat :8001| W1
    LANCoord <-->|UDP Broadcast & Heartbeat :8001| W2
    LANCoord <-->|UDP Broadcast & Heartbeat :8001| W3

GGUF <-->|TCP Tensor RPC Stream| W1
    GGUF <-->|TCP Tensor RPC Stream| W2
    GGUF <-->|TCP Tensor RPC Stream| W3
      

核心仓库模块

Show HN: Shard – 跨多台计算机的分布式 AI 推理


        shard/
├── assets/
│   ├── branding/              # 官方 SHARD SVG 与 PNG 徽标、图标和 favicon
│   ├── animations/            # 等距像素艺术 / 体素动画 GIF
│   └── screenshots/           # 仪表盘与 CLI 适配顾问视觉素材
├── docs/
│   └── LAN_SHARDING_DESIGN.md # 分布式 LAN 分片协议与架构规范
├── native/
│   ├── build_native.py        # 用于 C++20 与 MASM AVX2 内核的跨平台编译器
│   ├── shard_core.cpp         # C++20 RMSNorm、LayerNorm、RoPE、Softmax、GELU、SiLU、MatMul
│   ├── shard_asm.asm          # x86-64 MASM AVX2 SIMD 汇编内核
│   └── shard_gui.cpp          # 原生 Win32 桌面 GUI 封装
├── shard_engine/                # 可安装的 Python 包(路径、进程、CLI、API、推理)
│   ├── paths.py                 # 跨平台 XDG / AppData / macOS 路径与打包资源
│   ├── process.py               # 分离式守护进程启动器与经验证的 PID 生命周期管理
│   ├── cli.py                   # `shard` 命令行接口入口点(`shard_engine.cli:main`)
│   ├── main.py                  # 应用程序启动器与 Uvicorn 引导程序
│   ├── server.py                # FastAPI 服务器(OpenAI、Anthropic、模型与 LAN 路由)
│   ├── engine.py                # 核心 LLM 推理编排器与 SSE 生成器
│   ├── gguf_backend.py          # 托管的 llama.cpp / GGUF 服务器与 RPC 集成
│   ├── lan.py                   # 动态子网 IP 发现、UDP 信标与 LAN 池化
│   ├── fit.py                   # 预检模型内存与吞吐量计算器
│   ├── hardware.py              # GPU VRAM(nvidia-smi)、CPU 与 RAM 探测
│   ├── hf_hub.py                # Hugging Face Hub 搜索、元数据与下载器
│   ├── shard_bridge.py          # 到原生 shard_core.dll / .so 的 Python ctypes 桥接
│   ├── settings.py              # 持久化配置管理器
│   └── dashboard.html           # 打包的 Web 控制面板与代理配置生成器
├── pyproject.toml               # 单一来源打包配置(版本来自 __init__.py)
├── tests_shard.py               # 单元、API、适配顾问、LAN 分片与内核验证测试套件
└── tests_cli_pkg.py             # 打包、OS 路径、CLI、PID 安全与 2 节点 LAN 集群测试套件
      

Web 仪表盘与演示

交互式 Web 控制面板 (dashboard.html)

导航到 http://localhost:8000 会打开内置的 SHARD 控制面板:

SHARD Web 仪表盘:实时逐节点 VRAM/RAM 仪表、预检模型适配顾问、一键 IDE/代理配置片段,以及流式演练场。

SHARD Web 仪表盘与 LAN 池遥测
SHARD Web 仪表盘与 LAN 池遥测

CLI 预检顾问 (shard fit) 与 LAN 集群状态 (shard lan status)

预检适配验证:在下载模型权重之前,评估模型量化、上下文上限以及池化 LAN 集群适配。

SHARD CLI 适配顾问与 LAN 状态
SHARD CLI 适配顾问与 LAN 状态

连接 AI 代理与编码工具

将任何 OpenAI 或 Anthropic 兼容客户端指向你的 SHARD 实例:


        from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:8000/v1",
    api_key="shard-local",  # 或通过 `shard key --gen` 生成令牌
)

stream = client.chat.completions.create(
    model="Qwen/Qwen2.5-Coder-7B-Instruct",
    messages=[{"role": "user", "content": "解释跨 LAN 节点的张量并行。"}],
    stream=True,
)

for chunk in stream:
    if chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)
      

分布式 AI 集群模式

像 {{NAME_ab12cd34}} 这样写入的值是真实值的占位符。在回复和工具调用中,请完全按原样使用它们:它们会在任何内容运行之前被填入真实值。不要请求验证它们,也不要用示例替换它们。

SHOW HN:Shard——跨多台计算机的分布式 AI 推理

SHARD 支持在独立机器之间进行协作式模型并行执行(LAN、Radmin VPN、Tailscale、WireGuard 或经 NAT 穿透的加密隧道)。协调器可以将大模型调度到多个经同意的 worker 节点上,并暴露一个统一的 OpenAI/Anthropic 端点(/v1/chat/completions、/v1/messages)。

快速开始(协调器 + Worker)

  • 协调器(创建并发布全局服务器):shard start --daemon shard cluster create Qwen/Qwen2.5-Coder-7B-Instruct --name MyGlobalCluster --strategy auto --publish --slots 4 shard cluster status

协调器(创建并发布全局服务器):


        shard start --daemon
shard cluster create Qwen/Qwen2.5-Coder-7B-Instruct --name MyGlobalCluster --strategy auto --publish --slots 4
shard cluster status
      
  • 发现全局服务器并一键加入:# 浏览公共目录 shard cluster catalog --q deepseek --min-vram 16 # 作为 AI 消费者(客户端)加入: shard cluster join shn_coordinator_node_id --client # 作为计算 Worker 加入(明确同意与配额): shard cluster join shn_coordinator_node_id --consent --vram-pct 70 --max-ram-gb 8 --max-threads 4 对于位于严格 CGNAT/NAT 之后的 worker,SHARD 会自动使用 STUN 穿透 NAT,或建立端到端 ChaCha20-Poly1305 加密盲 WebSocket 中继隧道,零配置。

发现全局服务器并一键加入:


        # 浏览公共目录
shard cluster catalog --q deepseek --min-vram 16

# 作为 AI 消费者(客户端)加入:
shard cluster join shn_coordinator_node_id --client

# 作为计算 Worker 加入(明确同意与配额):
shard cluster join shn_coordinator_node_id --consent --vram-pct 70 --max-ram-gb 8 --max-threads 4
      

对于位于严格 CGNAT/NAT 之后的 worker,SHARD 会自动使用 STUN 穿透 NAT,或建立端到端 ChaCha20-Poly1305 加密盲 WebSocket 中继隧道,零配置。

  • 部署与监控:shard cluster plan shard cluster deploy shard cluster status

部署与监控:


        shard cluster plan
shard cluster deploy
shard cluster status
      

支持的执行后端与文档

  • GGUF 分布式 RPC(gguf_rpc_layer_split):通过 llama-server --rpc 将模型层和 KV 缓存拆分到 ggml-rpc-server worker 与本地卸载设备上,并支持连续批处理(--parallel、--cont-batching)。
  • PyTorch 流水线并行(torch_pipeline_parallel):每个 worker 仅直接加载分配给自己的 safetensors 层分片(llama、qwen2、qwen3、mistral、gemma、gemma2、phi3、gpt2),维护每 worker 的分布式 KV 缓存,并通过经过认证的 SHPT TCP socket 流式传输二进制张量激活值。
  • 自治全球网络与基础设施规范:自治架构:AUTONOMOUS_NETWORK_ARCHITECTURE.md Radmin VPN 集成与回退:RADMIN_VPN_INTEGRATION_REPORT.md 生产部署与 Docker:SHARD_PRODUCTION_INFRASTRUCTURE_REPORT.md 自治安装与操作系统工作流:AUTONOMOUS_INSTALLATION_REPORT.md 真实环境测试验证报告:REAL_WORLD_NETWORK_TEST_REPORT.md 目录与发现:GLOBAL_SERVER_DISCOVERY_REPORT.md 一键 Worker 接入:AUTOMATIC_WORKER_JOIN_REPORT.md
  • 自治架构:AUTONOMOUS_NETWORK_ARCHITECTURE.md
  • Radmin VPN 集成与回退:RADMIN_VPN_INTEGRATION_REPORT.md
  • 生产部署与 Docker:SHARD_PRODUCTION_INFRASTRUCTURE_REPORT.md
  • 自治安装与操作系统工作流:AUTONOMOUS_INSTALLATION_REPORT.md
  • 真实环境测试验证报告:REAL_WORLD_NETWORK_TEST_REPORT.md
  • 目录与发现:GLOBAL_SERVER_DISCOVERY_REPORT.md
  • 一键 Worker 接入:AUTOMATIC_WORKER_JOIN_REPORT.md
  • 技术规范:DISTRIBUTED_AI_ARCHITECTURE.docx | DISTRIBUTED_AI_IMPLEMENTATION_REPORT.docx | DISTRIBUTED_AI_TEST_REPORT.docx

项目状态与社区

技术栈

  • 运行时与 API:Python 3.8+ / 3.10+、FastAPI、Uvicorn、Pydantic v2
  • 机器学习与量化:PyTorch、Hugging Face transformers、accelerate、safetensors、huggingface_hub、llama.cpp GGUF

Show HN: Shard – 跨多台计算机的分布式 AI 推理

  • 原生加速:C++20 (native/shard_core.cpp) + x86-64 MASM AVX2 汇编 (native/shard_asm.asm)
  • 系统与网络:psutil、UDP 广播发现 (:8001)、HTTP/SSE 流式传输 (:8000)

社区、贡献与治理

  • 架构与局域网设计规范:docs/LAN_SHARDING_DESIGN.md
  • 贡献指南:CONTRIBUTING.md — 涵盖零拷贝内存规则、原生 C++20/AVX2 构建步骤以及运行 shard test。
  • 行为准则:CODE_OF_CONDUCT.md
  • 发布历史:CHANGELOG.md(当前版本:v1.8.1)
  • 错误报告与功能请求:GitHub Issues
  • 社区问答与想法:GitHub Discussions
  • 安全政策:请通过 GitHub Security Advisories 私下报告安全漏洞,或在公开披露前联系维护者。
  • 许可证:在 MIT

The translation is machine-generated and individual terms may be off. Nothing is rewritten or cut; the original is authoritative.

Published by HN AI
This site only summarises and aggregates; copyright stays with the original author. Headlines and summaries follow the source — where they differ, the original wins.
Read the original ↗