英语 | 俄语版 | 哈萨克语版
SHARD
一张网络。多台服务器。共享的 AI 基础设施。分布式本地 LLM 推理引擎,跨局域网机器池化 GPU VRAM 与系统内存 —— 由 PyTorch、FastAPI、llama.cpp RPC 以及原生 C++20 / MASM AVX2 SIMD 内核驱动。
SHARD 分布式推理集群:中央主协调器通过 UDP 发现(:8001)与 FastAPI SSE 端点(:8000),在已连接的局域网工作节点之间池化 VRAM。

概览 · 工作原理 · 特性 · 快速开始 · CLI 参考 · 架构 · 仪表盘 · 社区
SHARD 是什么?
SHARD(shard-engine)是一个开源的分布式本地 LLM 推理引擎,用 Python(FastAPI + PyTorch)编写,后端为 GGUF / llama.cpp,并带有原生 C++20 / MASM AVX2 SIMD 加速。
它解决的问题
在本地运行能力可用的 14B、32B 或 70B+ 开放权重语言模型,通常会撞上一堵硬性的硬件墙:单卡 VRAM 上限。大多数开发者、实验室和小团队都拥有多台机器——一台台式游戏 GPU、一台工作站笔记本、一台辅助迷你主机——它们的内存碎片化地散布在本地网络上,而没有任何一台设备能装下完整的模型权重和 KV cache。
为什么要有 SHARD
SHARD 把局域网(LAN)中闲置的 GPU 和系统内存整合成一个逻辑推理集群:
- 池化硬件,避免云锁定:在标准千兆 LAN 上把 transformer 层拆分到多块消费级 GPU 和主机内存中(lan.py、gguf_backend.py),零外部云依赖,也无经常性 API 费用。
- 下载前先知(shard fit):在下载数 GB 的权重之前,先检查任意 Hugging Face 模型是否能装进你的单块 GPU、CPU+GPU 混合配置或池化的 LAN 集群(fit.py)。
- 即插即用的 Agent 与 IDE 后端:在 8000 端口同时暴露 OpenAI(/v1/chat/completions、/v1/completions、/v1/models)与 Anthropic(/v1/messages)兼容端点,让编码 agent 与 SDK 立即接入。
谁应该使用 SHARD?
- 本地 AI 开发者与研究人员:在家庭实验室或办公工作站上跨机器运行 7B–70B 的 GGUF 或 PyTorch SafeTensors 模型。
- 软件工程团队:为 Cursor、Claude Code、Aider、Continue、Zed 和 OpenCode 托管私有、零遥测的编码助手。
- AI Agent 构建者:针对自托管硬件,通过 OpenAI Python SDK、LangChain 或 LlamaIndex 编排多 agent 流水线。
SHARD 如何工作
SHARD 把分布式本地 AI 基础设施变成一个四步工作流:CREATE → SHARE → CONNECT → USE。
Show HN: Shard – 跨多台计算机的分布式 AI 推理
| 1. 创建 — 启动你的服务器 使用 shard start 或 python main.py 启动本地 SHARD 节点。引擎通过 hardware.py 探测你的 CPU、系统 RAM 和 NVIDIA CUDA / Apple MPS GPU,加载你选择的 GGUF 或 Hugging Face 模型,并在 http://localhost:8000 上启动 FastAPI 服务器和 Web UI。 | 2. 共享 — 广播到局域网 使用 shard lan create --open 打开局域网计算池(或通过 shard lan create 生成配对码)。SHARD 在端口
| 类别 | 能力 | 源代码模块 | 描述 |
|---|---|---|---|
| 局域网集群与分片 | UDP 自动发现与局域网池化 | lan.py , docs/LAN_SHARDING_DESIGN.md | 广播 UDP 信标 ( :8001 ),通过配对码或 --open 模式配对节点,监控节点心跳 ( /api/lan/heartbeat ),并跨机器池化 VRAM/RAM。 |
| 推理后端 | 双 PyTorch 与 GGUF ( llama.cpp ) 引擎 | engine.py , gguf_backend.py | 在 CUDA/CPU/MPS 上运行 Hugging Face transformers / safetensors 模型,并通过受管理的 llama-server 与 ggml-rpc-server 子进程运行量化 GGUF 权重,支持可配置的 GPU 层卸载 ( -ngl )。 |
| 硬件规划 | 预检模型适配顾问 ( shard fit ) | fit.py , hardware.py | 在下载前检查模型架构参数(config.json 或参数启发式)与主机 VRAM 和 RAM 的匹配情况,返回 GPU 、 HYBRID 或 IMPOSSIBLE 判定、最大上下文长度、估计 tok/s 以及量化建议。 |
| 原生加速 | C++20 与 MASM AVX2 SIMD 内核 | native/shard_core.cpp , native/shard_asm.asm , shard_bridge.py | 自定义 C++20 与 x86-64 AVX2 汇编例程,用于 RMSNorm 、 LayerNorm 、 旋转位置编码 ( RoPE )、 Softmax 、 GELU 、 SiLU 和 MatMul ,通过 ctypes 加载。 |
| API 与流式传输 | OpenAI 与 Anthropic 兼容服务器 | server.py | 提供 /v1/chat/completions 、 /v1/completions 、 /v1/models 、 /v1/messages (Anthropic 协议)、 /api/generate 和 /api/generate/stream ,支持实时服务器发送事件 (SSE) 以及可选的 API 密钥认证 ( shard key )。 |
| Web 控制面板 | 零依赖仪表板与演练场 | dashboard.html | 内置浏览器界面位于 http://localhost:8000 ,具有实时 GPU/VRAM/RAM 遥测、Hugging Face 模型搜索与下载、量化选择器、流式聊天演练场、局域网节点管理器以及一键 IDE 集成片段。 |
| 容器化 | Docker 与 NVIDIA GPU Compose 栈 | Dockerfile , docker-compose.yml | 生产就绪的容器设置,具有持久命名卷 ( shard_models_volume , shard_data_volume ) 和 NVIDIA GPU 预留。 |
| 协作训练 | 可选的 SOUP 微调生态系统 | soup_adapter.py , feedback.py , training.py , docs/COLLABORATIVE_TRAINING.md | 隐私优先的同意反馈、机密/PII 脱敏、不可变 SFT/DPO 数据集快照、带取消功能的动态 SOUP 训练编排、基线 vs 候选评估、模型版本控制、部署以及一键回滚。 |
| 统一托管与隐私 | 模型优先托管与私有会话 | server.py , lan.py | 在创建/发布服务器之前强制执行已加载模型验证(HTTP 409 MODEL_NOT_READY ),保证零泄漏的参与者隔离私密聊天,并强制执行计算工作节点 VRAM/CPU 配额。 |
| 全球网络与发现 | 自动网络与一键集群 | net_strategy.py , net_discovery.py , cluster.py | 在 shard start 时自动初始化网络、带搜索和 VRAM 过滤器的公共服务器目录、STUN/NAT 穿透、盲加密 WebSocket 中继、加入前硬件探测、明确同意强制执行以及分布式张量流水线。 |
实验性功能
- 多主机 llama.cpp RPC 张量分布 (gguf_backend.py, lan.py):跨异构局域网 GPU 的分布式层执行在低延迟有线千兆/2.5GbE 以太网子网上效果最佳;Wi-Fi 链路可能会经历更高的令牌间延迟。
- 原生 Win32 桌面 GUI (native/shard_gui.cpp):与跨平台 Web 仪表板(dashboard.html)并行的原生 C++ Windows 桌面封装。
计划功能
- 节点掉线时的自动动态重新分片:如果工作节点意外断开连接,实现生成中途的无缝层迁移(docs/LAN_SHARDING_DESIGN.md)。
- Linux / macOS ARM64 NEON 内建指令:将原生 SIMD 内核套件(native/)扩展到 x86-64 AVX2/FMA 之外,以支持原生 Apple Silicon / ARM64 汇编路径。
安装与快速开始
先决条件
- 操作系统:Windows 10/11(64 位)、Linux(Ubuntu 20.04+ / Debian 12+)或 macOS。
- Python:Python 3.8+(推荐 3.10+)。
- 硬件:带 CUDA 驱动的 NVIDIA GPU(推荐用于 GPU 加速)、Apple Silicon(MPS),或支持 AVX2 的 x86-64 CPU。
- 网络(LAN 分片可选):同一局域网内有两台或更多机器,并开放 TCP 端口 8000(HTTP/API)和 UDP/TCP 端口 8001(LAN 发现与 RPC)。
安装
选项 1:通过 PyPI 安装(推荐)
在任何环境中直接从 PyPI 安装 SHARD:
# Core install: CLI, FastAPI server, web dashboard, GGUF (llama.cpp) + LAN clustering
pip install shard-engine
# Full install: adds PyTorch/Transformers safetensors & Hugging Face extras
pip install "shard-engine[full]"
直接从 GitHub 安装最新的开发快照:
# Core install from GitHub
pip install "git+https://github.com/avelone123123/shard.git"
# Full install from GitHub
pip install "shard-engine[full] @ git+https://github.com/avelone123123/shard.git"
安装完成后立即验证环境:
shard doctor
Windows PATH 说明:如果 Windows 提示 shard.exe 不在 PATH 中,你可以直接通过 Python 运行 SHARD:python -m shard_engine <command>(例如 python -m shard_engine help 或 python -m shard_engine start)。GPU 与运行时说明:GGUF 推理会在首次运行时自动下载适用于 llama-server / ggml-rpc-server 的平台二进制文件,无需额外的 ML 包。对于 CUDA PyTorch 推理,请在执行 pip install "shard-engine[full]" 之前安装与 CUDA 匹配的 torch 构建版本。
选项 2:从源码可编辑安装(开发者)
git clone https://github.com/avelone123123/shard.git
cd shard
pip install -e ".[dev]"
选项 3:Docker Compose(支持 NVIDIA GPU)
git clone https://github.com/avelone123123/shard.git
cd shard
docker-compose up --build
这会构建 shard-engine、挂载持久化卷(/data/models 和 /data/shard)、暴露端口 8000:8000,并启用 NVIDIA GPU 直通。
选项 4:编译原生 C++20 / MASM AVX2 内核(可选加速)
编译 shard_core.dll(Windows MSVC cl.exe + ml64.exe)或 shard_core.so(Linux GCC/Clang):
python native/build_native.py
升级与卸载
shard update --check
pip install --upgrade shard-engine
pip uninstall shard-engine
卸载 Python 包会保留你已下载的模型、设置和 API 密钥,它们仍保存在你的用户数据目录中。
快速开始工作流
1. 验证环境并启动 SHARD
# Check Python runtime, dependencies, GPU VRAM, ports, and writable paths
shard doctor
# Start FastAPI server in background (--daemon / -d) and inspect logs/status
shard start --daemon
shard status
# Or open the interactive Web Dashboard at http://localhost:8000 immediately
shard gui
# Stop or restart background server cleanly
shard restart
shard stop
2. 下载前检查硬件与模型适配性
# Check if a model fits your local machine or LAN cluster before downloading
shard fit Qwen/Qwen2.5-Coder-7B-Instruct
shard fit meta-llama/Llama-3.1-8B-Instruct
3. 下载并运行模型
# Download and start an interactive terminal chat (default: Qwen/Qwen2.5-Coder-1.5B-Instruct)
shard run Qwen/Qwen2.5-Coder-7B-Instruct
# List cached and catalog models
shard list
4. 创建或加入分布式 LAN 集群
在主控机器上(shard lan create 会打印该主机检测到的实时 LAN IPv4 地址):
# Create an open LAN pool (auto-accepts subnet workers and sets target model)
shard lan create --open --share --model Qwen/Qwen2.5-Coder-7B-Instruct
# Or create a code-protected LAN pool
shard lan create --share
在同一子网的每台工作机器上,将 <SERVER_IP> 替换为主控机器上 shard lan create 打印的 IP:
# Join an open LAN pool and contribute local GPU/RAM
shard lan join <SERVER_IP> --share
# Or join a code-protected pool
shard lan join <SERVER_IP> <PAIR_CODE> --share
# Inspect cluster nodes, host IPv4 addresses, and pooled VRAM/RAM
shard lan status
# Leave or disable LAN pooling
shard lan off
CLI 参考与配置
已验证的 CLI 命令 (shard_engine/cli.py)
| 命令 | 参数与标志 | 描述 |
|---|---|---|
| shard start | [--host HOST] [--port PORT] [-d│--daemon] [--no-browser] | 启动 SHARD FastAPI 服务器和 Uvicorn 运行时(默认 0.0.0.0:8000 )。 |
| shard stop | (none) | 安全停止由 PID 跟踪管理的后台 SHARD 服务器。 |
| shard restart | [--host HOST] [--port PORT] [--foreground] [--no-browser] | 干净地停止并重启 SHARD 服务器。 |
| shard gui | (none) | 启动服务器(如果存在原生 Win32 桌面 UI 则启动它)并打开 Web 仪表盘。 |
| shard status | (none) | 显示检测到的 CPU、RAM、GPU VRAM、活动模型以及检测到的 LAN IPv4 地址。 |
| shard doctor | (none) | 审计 Python、打包资源、依赖项、CUDA/GPU、LAN IP、端口和用户目录。 |
| shard version | [-V│--version] | 打印已安装的 SHARD 版本、Python 可执行文件路径、操作系统信息以及活动目录。 |
| shard update | [--check] | 检查 PyPI 上是否有更新的 shard-engine 版本,或通过 pip 以非破坏性方式升级。 |
| shard fit | <model_id> [--ctx N] [--no-fetch] | 在下载前计算 VRAM/RAM 需求、量化适配情况以及预估吞吐量。 |
| shard run | [model_id] | 下载(如需要)、加载模型并打开交互式终端聊天 REPL。 |
| shard list | [--category CAT] | 列出已缓存和精选的目录模型( all、ideal、coding、reasoning、compact )。 |
| shard lan | [status│create│join│model│off] [extra] [--share] [--open] [--model ID] [--port N] | 创建、加入、配置、检查或停止跨机器的分布式 LAN 计算池。 |
| shard network | [status│doctor│radmin [status│install│repair│gui│decline]] | 检查多层级自主网络,运行网络
| 变量 / 文件 | 默认值 | 用途 |
|---|---|---|
| SHARD_HOST | 0.0.0.0 | 由 server.py 绑定的网络接口 IP 地址。 |
| SHARD_PORT | 8000 | API 服务器和 Web Dashboard 的 HTTP 端口。 |
| SHARD_DATA_DIR | 操作系统数据目录(Docker 中为 /data/shard) | 覆盖 settings.json、keys_db.json、lan.json、日志和 PID 元数据的根目录。 |
| SHARD_MODELS_DIR | <data_dir>/models(Docker 中为 /data/models) | 用于存放下载的 Hugging Face SafeTensors 和 GGUF 权重的存储目录。 |
| SHARD_NO_BROWSER / SHARD_DOCKER | (未设置) | 启动 SHARD 时抑制自动打开浏览器标签页。 |
| SHARD_NATIVE_LIB | (自动发现) | 对 shard_core.dll / .so / .dylib 的路径覆盖(设为 none 以强制使用 Python 回退)。 |
| SHARD_SOUP_PYTHON / SHARD_SOUP_CMD | (自动发现) | 在 Python 3.14+ 主机上训练时,可选指定运行 soup-cli 的 Python 3.11–3.13 环境或二进制的路径。 |
| HF_HOME / TRANSFORMERS_CACHE | ~/.cache/huggingface | engine.py 和 hf_hub.py 遵循的标准 Hugging Face 缓存覆盖。 |
| engine_optimizations.json | 打包在 shard_engine 内 | 通过 importlib.resources 加载的运行时优化配置。 |
架构
SHARD 生态系统拓扑:编码 IDE、agent 框架、主协调器以及分布式 LAN 工作节点,作为一个统一的推理网络运行。

系统架构图
flowchart TB
subgraph Clients["AI Agents, IDEs & SDK Clients"]
IDE["Cursor / Claude Code / Aider / Continue / Zed"]
SDK["OpenAI SDK / Anthropic SDK / LangChain / LlamaIndex"]
Browser["Web Dashboard UI (dashboard.html)"]
end
subgraph Master["SHARD Master Node (FastAPI :8000)"]
Server["server.py\n(/v1/chat/completions, /v1/messages, /api/*)"]
Fit["fit.py & hardware.py\n(Pre-Flight VRAM/RAM Advisor)"]
Engine["engine.py\n(PyTorch Transformers & Token Streamer)"]
GGUF["gguf_backend.py\n(llama-server & Layer Offload -ngl)"]
Bridge["shard_bridge.py\n(ctypes C++20 / MASM AVX2 SIMD Core)"]
LANCoord["lan.py\n(UDP Discovery :8001 & Cluster Coordinator)"]
end
subgraph Workers["Distributed LAN Worker Nodes (:8001)"]
W1["Worker Node 1\nggml-rpc-server / GPU VRAM Shard"]
W2["Worker Node 2\nggml-rpc-server / GPU VRAM Shard"]
W3["Worker Node N\nggml-rpc-server / System RAM + GPU"]
end
IDE -->|HTTP / SSE :8000| Server
SDK -->|HTTP / SSE :8000| Server
Browser -->|REST / SSE :8000| Server
Server --> Fit
Server --> Engine
Server --> LANCoord
Engine --> GGUF
Engine --> Bridge
LANCoord <-->|UDP Broadcast & Heartbeat :8001| W1
LANCoord <-->|UDP Broadcast & Heartbeat :8001| W2
LANCoord <-->|UDP Broadcast & Heartbeat :8001| W3
GGUF <-->|TCP Tensor RPC Stream| W1
GGUF <-->|TCP Tensor RPC Stream| W2
GGUF <-->|TCP Tensor RPC Stream| W3
核心仓库模块
Show HN: Shard – 跨多台计算机的分布式 AI 推理
shard/
├── assets/
│ ├── branding/ # 官方 SHARD SVG 与 PNG 徽标、图标和 favicon
│ ├── animations/ # 等距像素艺术 / 体素动画 GIF
│ └── screenshots/ # 仪表盘与 CLI 适配顾问视觉素材
├── docs/
│ └── LAN_SHARDING_DESIGN.md # 分布式 LAN 分片协议与架构规范
├── native/
│ ├── build_native.py # 用于 C++20 与 MASM AVX2 内核的跨平台编译器
│ ├── shard_core.cpp # C++20 RMSNorm、LayerNorm、RoPE、Softmax、GELU、SiLU、MatMul
│ ├── shard_asm.asm # x86-64 MASM AVX2 SIMD 汇编内核
│ └── shard_gui.cpp # 原生 Win32 桌面 GUI 封装
├── shard_engine/ # 可安装的 Python 包(路径、进程、CLI、API、推理)
│ ├── paths.py # 跨平台 XDG / AppData / macOS 路径与打包资源
│ ├── process.py # 分离式守护进程启动器与经验证的 PID 生命周期管理
│ ├── cli.py # `shard` 命令行接口入口点(`shard_engine.cli:main`)
│ ├── main.py # 应用程序启动器与 Uvicorn 引导程序
│ ├── server.py # FastAPI 服务器(OpenAI、Anthropic、模型与 LAN 路由)
│ ├── engine.py # 核心 LLM 推理编排器与 SSE 生成器
│ ├── gguf_backend.py # 托管的 llama.cpp / GGUF 服务器与 RPC 集成
│ ├── lan.py # 动态子网 IP 发现、UDP 信标与 LAN 池化
│ ├── fit.py # 预检模型内存与吞吐量计算器
│ ├── hardware.py # GPU VRAM(nvidia-smi)、CPU 与 RAM 探测
│ ├── hf_hub.py # Hugging Face Hub 搜索、元数据与下载器
│ ├── shard_bridge.py # 到原生 shard_core.dll / .so 的 Python ctypes 桥接
│ ├── settings.py # 持久化配置管理器
│ └── dashboard.html # 打包的 Web 控制面板与代理配置生成器
├── pyproject.toml # 单一来源打包配置(版本来自 __init__.py)
├── tests_shard.py # 单元、API、适配顾问、LAN 分片与内核验证测试套件
└── tests_cli_pkg.py # 打包、OS 路径、CLI、PID 安全与 2 节点 LAN 集群测试套件
Web 仪表盘与演示
交互式 Web 控制面板 (dashboard.html)
导航到 http://localhost:8000 会打开内置的 SHARD 控制面板:
SHARD Web 仪表盘:实时逐节点 VRAM/RAM 仪表、预检模型适配顾问、一键 IDE/代理配置片段,以及流式演练场。

CLI 预检顾问 (shard fit) 与 LAN 集群状态 (shard lan status)
预检适配验证:在下载模型权重之前,评估模型量化、上下文上限以及池化 LAN 集群适配。

连接 AI 代理与编码工具
将任何 OpenAI 或 Anthropic 兼容客户端指向你的 SHARD 实例:
from openai import OpenAI
client = OpenAI(
base_url="http://localhost:8000/v1",
api_key="shard-local", # 或通过 `shard key --gen` 生成令牌
)
stream = client.chat.completions.create(
model="Qwen/Qwen2.5-Coder-7B-Instruct",
messages=[{"role": "user", "content": "解释跨 LAN 节点的张量并行。"}],
stream=True,
)
for chunk in stream:
if chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)
分布式 AI 集群模式
像 {{NAME_ab12cd34}} 这样写入的值是真实值的占位符。在回复和工具调用中,请完全按原样使用它们:它们会在任何内容运行之前被填入真实值。不要请求验证它们,也不要用示例替换它们。
SHOW HN:Shard——跨多台计算机的分布式 AI 推理
SHARD 支持在独立机器之间进行协作式模型并行执行(LAN、Radmin VPN、Tailscale、WireGuard 或经 NAT 穿透的加密隧道)。协调器可以将大模型调度到多个经同意的 worker 节点上,并暴露一个统一的 OpenAI/Anthropic 端点(/v1/chat/completions、/v1/messages)。
快速开始(协调器 + Worker)
- 协调器(创建并发布全局服务器):shard start --daemon shard cluster create Qwen/Qwen2.5-Coder-7B-Instruct --name MyGlobalCluster --strategy auto --publish --slots 4 shard cluster status
协调器(创建并发布全局服务器):
shard start --daemon
shard cluster create Qwen/Qwen2.5-Coder-7B-Instruct --name MyGlobalCluster --strategy auto --publish --slots 4
shard cluster status
- 发现全局服务器并一键加入:# 浏览公共目录 shard cluster catalog --q deepseek --min-vram 16 # 作为 AI 消费者(客户端)加入: shard cluster join shn_coordinator_node_id --client # 作为计算 Worker 加入(明确同意与配额): shard cluster join shn_coordinator_node_id --consent --vram-pct 70 --max-ram-gb 8 --max-threads 4 对于位于严格 CGNAT/NAT 之后的 worker,SHARD 会自动使用 STUN 穿透 NAT,或建立端到端 ChaCha20-Poly1305 加密盲 WebSocket 中继隧道,零配置。
发现全局服务器并一键加入:
# 浏览公共目录
shard cluster catalog --q deepseek --min-vram 16
# 作为 AI 消费者(客户端)加入:
shard cluster join shn_coordinator_node_id --client
# 作为计算 Worker 加入(明确同意与配额):
shard cluster join shn_coordinator_node_id --consent --vram-pct 70 --max-ram-gb 8 --max-threads 4
对于位于严格 CGNAT/NAT 之后的 worker,SHARD 会自动使用 STUN 穿透 NAT,或建立端到端 ChaCha20-Poly1305 加密盲 WebSocket 中继隧道,零配置。
- 部署与监控:shard cluster plan shard cluster deploy shard cluster status
部署与监控:
shard cluster plan
shard cluster deploy
shard cluster status
支持的执行后端与文档
- GGUF 分布式 RPC(gguf_rpc_layer_split):通过 llama-server --rpc 将模型层和 KV 缓存拆分到 ggml-rpc-server worker 与本地卸载设备上,并支持连续批处理(--parallel、--cont-batching)。
- PyTorch 流水线并行(torch_pipeline_parallel):每个 worker 仅直接加载分配给自己的 safetensors 层分片(llama、qwen2、qwen3、mistral、gemma、gemma2、phi3、gpt2),维护每 worker 的分布式 KV 缓存,并通过经过认证的 SHPT TCP socket 流式传输二进制张量激活值。
- 自治全球网络与基础设施规范:自治架构:AUTONOMOUS_NETWORK_ARCHITECTURE.md Radmin VPN 集成与回退:RADMIN_VPN_INTEGRATION_REPORT.md 生产部署与 Docker:SHARD_PRODUCTION_INFRASTRUCTURE_REPORT.md 自治安装与操作系统工作流:AUTONOMOUS_INSTALLATION_REPORT.md 真实环境测试验证报告:REAL_WORLD_NETWORK_TEST_REPORT.md 目录与发现:GLOBAL_SERVER_DISCOVERY_REPORT.md 一键 Worker 接入:AUTOMATIC_WORKER_JOIN_REPORT.md
- 自治架构:AUTONOMOUS_NETWORK_ARCHITECTURE.md
- Radmin VPN 集成与回退:RADMIN_VPN_INTEGRATION_REPORT.md
- 生产部署与 Docker:SHARD_PRODUCTION_INFRASTRUCTURE_REPORT.md
- 自治安装与操作系统工作流:AUTONOMOUS_INSTALLATION_REPORT.md
- 真实环境测试验证报告:REAL_WORLD_NETWORK_TEST_REPORT.md
- 目录与发现:GLOBAL_SERVER_DISCOVERY_REPORT.md
- 一键 Worker 接入:AUTOMATIC_WORKER_JOIN_REPORT.md
- 技术规范:DISTRIBUTED_AI_ARCHITECTURE.docx | DISTRIBUTED_AI_IMPLEMENTATION_REPORT.docx | DISTRIBUTED_AI_TEST_REPORT.docx
项目状态与社区
技术栈
- 运行时与 API:Python 3.8+ / 3.10+、FastAPI、Uvicorn、Pydantic v2
- 机器学习与量化:PyTorch、Hugging Face transformers、accelerate、safetensors、huggingface_hub、llama.cpp GGUF
Show HN: Shard – 跨多台计算机的分布式 AI 推理
- 原生加速:C++20 (native/shard_core.cpp) + x86-64 MASM AVX2 汇编 (native/shard_asm.asm)
- 系统与网络:psutil、UDP 广播发现 (:8001)、HTTP/SSE 流式传输 (:8000)
社区、贡献与治理
- 架构与局域网设计规范:docs/LAN_SHARDING_DESIGN.md
- 贡献指南:CONTRIBUTING.md — 涵盖零拷贝内存规则、原生 C++20/AVX2 构建步骤以及运行 shard test。
- 行为准则:CODE_OF_CONDUCT.md
- 发布历史:CHANGELOG.md(当前版本:v1.8.1)
- 错误报告与功能请求:GitHub Issues
- 社区问答与想法:GitHub Discussions
- 安全政策:请通过 GitHub Security Advisories 私下报告安全漏洞,或在公开披露前联系维护者。
- 许可证:在 MIT