跳至正文
Hacker News · AI·· 2 小時前AI 評分58

SHARD 推出開源引擎,實現跨 LAN 機器的分散式 LLM 推論

Show HN: Shard – Distributed AI Inference Across Multiple Computers

AI 導讀

SHARD(shard-engine)是一個開源分散式本機 LLM 推論引擎,可匯集 LAN 機器上的 GPU VRAM 與系統 RAM,使用 PyTorch、FastAPI、llama.cpp RPC 及原生 C++20/MASM AVX2 核心。主節點透過 UDP 連接埠 8001 探索工作節點,將模型層拆分到各節點,並在連接埠 8000 提供與 OpenAI(/v1/chat/completions)及 Anthropic(/v1/messages)相容的端點,供 Cursor、Claude Code 與 Aider 等工具使用。該專案為 v1.8.1 版,採用 MIT 授權,可透過 pip install shard-engine 安裝,並提供 shard fit 指令,可在下載前估算模型是否能放入單一 GPU、CPU+GPU 混合配置或匯集式 LAN 叢集。

來源:Hacker News · AI · github.com