Shard 开源引擎将局域网 GPU 池化用于 LLM 推理
先了解这件事
SHARD 发布了 Shard(shard-engine),这是一个开源分布式本地 LLM 推理引擎,可将同一局域网内多台机器的 GPU 显存与系统内存池化。主节点通过 UDP 端口 8001 发现工作节点,将模型层拆分到各节点,并在端口 8000 上提供兼容 OpenAI(/v1/chat/completions)和兼容 Anthropic(/v1/messages)的端点,供 Cursor、Claude Code 和 Aider 等工具使用。 该项目当前版本为 v1.8.1,采用 MIT 许可证,可通过 pip install shard-engine 安装;shard fit 命令可在下载前估算模型是适合单块 GPU、CPU+GPU 混合配置,还是池化的局域网集群。局域网分片需要两台或更多机器,并开放 TCP 端口 8000 和 UDP/TCP 端口 8001;项目方表示,跨异构局域网 GPU 的分布式层执行在低延迟有线千兆/2.5GbE 以太网上效果最佳,使用 Wi-Fi 时 token 间延迟可能更高。
AI 根据报道生成 · 2 小时前更新
报道时间线
沿着报道,了解事件的不同侧面。
- Hacker News · AISHARD 发布开源引擎,用于跨局域网机器的分布式 LLM 推理
SHARD(shard-engine)是一个开源分布式本地 LLM 推理引擎,可汇聚局域网内多台机器的 GPU 显存与系统内存,使用 PyTorch、FastAPI、llama.cpp RPC 以及原生 C++20/MASM AVX2 内核。主节点通过 UDP 端口 8001 发现工作节点,将模型层拆分到各节点,并在端口 8000 上提供兼容 OpenAI(/v1/chat/completions)和 Anthropic(/v1/messages)的端点,供 Cursor、Claude Code 和 Aider 等工具使用。该项目当前版本为 v1.8.1,采用 MIT 许可证,可通过 pip install shard-engine 安装,并提供 shard fit 命令,可在下载前估算模型能否适配单块 GPU、CPU+GPU 混合配置或汇聚的局域网集群。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。