Tới nội dung
Hacker News · AI·· 2 giờ trướcĐiểm AI58

SHARD ra mắt engine mã nguồn mở cho suy luận LLM phân tán trên các máy trong mạng LAN

Show HN: Shard – Distributed AI Inference Across Multiple Computers

Tóm tắt bằng AI

SHARD (shard-engine) là engine suy luận LLM cục bộ phân tán mã nguồn mở, gộp VRAM của GPU và RAM hệ thống trên các máy trong mạng LAN, sử dụng PyTorch, FastAPI, llama.cpp RPC và các kernel AVX2 C++20/MASM gốc. Một node master phát hiện các worker qua cổng UDP 8001, chia tách các lớp của mô hình trên các node, và phục vụ các endpoint tương thích OpenAI (/v1/chat/completions) và Anthropic (/v1/messages) trên cổng 8000 cho các công cụ như Cursor, Claude Code và Aider. Dự án đang ở phiên bản v1.8.1 theo giấy phép MIT và cài đặt qua pip install shard-engine, với lệnh shard fit ước tính liệu một mô hình có vừa với một GPU đơn, thiết lập kết hợp CPU+GPU hay một cụm LAN gộp chung trước khi tải xuống.

Nguồn:Hacker News · AI · github.com