Tới nội dung
Sự việc nóngĐang diễn ra

Shard open-source engine pools LAN GPUs for LLM inference

1 bài viết1 nguồn đưa tinCập nhật 2 giờ trước

Bắt đầu từ đây

Tóm tắt AI

SHARD phát hành Shard (shard-engine), một engine suy luận LLM cục bộ phân tán mã nguồn mở, gộp VRAM GPU và RAM hệ thống trên các máy trong cùng một mạng LAN. Một node master phát hiện các worker qua cổng UDP 8001, chia tách các lớp mô hình trên các node và phục vụ các endpoint tương thích OpenAI (/v1/chat/completions) và tương thích Anthropic (/v1/messages) trên cổng 8000 cho các công cụ như Cursor, Claude Code và Aider. Dự án đang ở phiên bản v1.8.1 theo giấy phép MIT và cài đặt qua pip install shard-engine; lệnh shard fit ước tính liệu một mô hình có vừa với một GPU đơn, một thiết lập kết hợp CPU+GPU hay một cụm LAN gộp trước khi tải xuống. Chia tách lớp qua LAN yêu cầu hai máy trở lên với cổng TCP 8000 và cổng UDP/TCP 8001 mở, và dự án cho biết việc thực thi lớp phân tán trên các GPU LAN không đồng nhất hoạt động tốt nhất trên Ethernet có dây Gigabit/2.5GbE độ trễ thấp, với Wi-Fi có thể cho thấy độ trễ giữa các token cao hơn.

Tạo từ các bài viết · cập nhật 2 giờ trước

Dòng thời gian bài viết

Theo các bài viết để thấy sự việc từ nhiều phía.

18 tháng 11
  1. Hacker News · AI
    SHARD ra mắt engine mã nguồn mở cho suy luận LLM phân tán trên các máy trong mạng LAN

    SHARD (shard-engine) là engine suy luận LLM cục bộ phân tán mã nguồn mở, gộp VRAM của GPU và RAM hệ thống trên các máy trong mạng LAN, sử dụng PyTorch, FastAPI, llama.cpp RPC và các kernel AVX2 C++20/MASM gốc. Một node master phát hiện các worker qua cổng UDP 8001, chia tách các lớp của mô hình trên các node, và phục vụ các endpoint tương thích OpenAI (/v1/chat/completions) và Anthropic (/v1/messages) trên cổng 8000 cho các công cụ như Cursor, Claude Code và Aider. Dự án đang ở phiên bản v1.8.1 theo giấy phép MIT và cài đặt qua pip install shard-engine, với lệnh shard fit ước tính liệu một mô hình có vừa với một GPU đơn, thiết lập kết hợp CPU+GPU hay một cụm LAN gộp chung trước khi tải xuống.

Độ nóng của sự việc này

Chưa đủ quan sát liên tục để vẽ xu hướng.