Shard 開源引擎匯集區域網路 GPU 進行 LLM 推論
先了解這件事
SHARD 發布 Shard(shard-engine),這是一款開源分散式本機 LLM 推論引擎,可匯集同一區域網路上多台機器的 GPU VRAM 與系統 RAM。主節點透過 UDP 連接埠 8001 探索工作節點,將模型層拆分到各節點,並在連接埠 8000 上提供相容於 OpenAI(/v1/chat/completions)與相容於 Anthropic(/v1/messages)的端點,供 Cursor、Claude Code 與 Aider 等工具使用。 該專案目前為 v1.8.1,採用 MIT 授權,可透過 pip install shard-engine 安裝;shard fit 指令可在下載前估算模型是否能放入單一 GPU、CPU+GPU 混合配置或匯集的區域網路叢集。區域網路分片需要兩台以上機器,並開放 TCP 連接埠 8000 與 UDP/TCP 連接埠 8001;該專案表示,跨異質區域網路 GPU 的分散式層執行,在低延遲有線 Gigabit/2.5GbE 乙太網路上效果最佳,Wi-Fi 可能出現較高的 token 間延遲。
AI 依報導生成 · 2 小時前更新
報導時間線
沿著報導,了解事件的不同側面。
- Hacker News · AISHARD 推出開源引擎,實現跨 LAN 機器的分散式 LLM 推論
SHARD(shard-engine)是一個開源分散式本機 LLM 推論引擎,可匯集 LAN 機器上的 GPU VRAM 與系統 RAM,使用 PyTorch、FastAPI、llama.cpp RPC 及原生 C++20/MASM AVX2 核心。主節點透過 UDP 連接埠 8001 探索工作節點,將模型層拆分到各節點,並在連接埠 8000 提供與 OpenAI(/v1/chat/completions)及 Anthropic(/v1/messages)相容的端點,供 Cursor、Claude Code 與 Aider 等工具使用。該專案為 v1.8.1 版,採用 MIT 授權,可透過 pip install shard-engine 安裝,並提供 shard fit 指令,可在下載前估算模型是否能放入單一 GPU、CPU+GPU 混合配置或匯集式 LAN 叢集。
本事件熱度走勢
還沒有足夠的連續觀測資料,暫不繪製趨勢。