跳到正文
Hacker News · AI·· 2 小时前AI 评分58

SHARD 发布开源引擎,用于跨局域网机器的分布式 LLM 推理

Show HN: Shard – Distributed AI Inference Across Multiple Computers

AI 导读

SHARD(shard-engine)是一个开源分布式本地 LLM 推理引擎,可汇聚局域网内多台机器的 GPU 显存与系统内存,使用 PyTorch、FastAPI、llama.cpp RPC 以及原生 C++20/MASM AVX2 内核。主节点通过 UDP 端口 8001 发现工作节点,将模型层拆分到各节点,并在端口 8000 上提供兼容 OpenAI(/v1/chat/completions)和 Anthropic(/v1/messages)的端点,供 Cursor、Claude Code 和 Aider 等工具使用。该项目当前版本为 v1.8.1,采用 MIT 许可证,可通过 pip install shard-engine 安装,并提供 shard fit 命令,可在下载前估算模型能否适配单块 GPU、CPU+GPU 混合配置或汇聚的局域网集群。

来源:Hacker News · AI · github.com