SHARD เปิดตัวเอนจินโอเพนซอร์สสำหรับการอนุมาน LLM แบบกระจายข้ามเครื่องใน LAN
Show HN: Shard – Distributed AI Inference Across Multiple Computers
SHARD (shard-engine) เป็นเอนจินการอนุมาน LLM ภายในเครื่องแบบกระจายโอเพนซอร์สที่รวม VRAM ของ GPU และ RAM ของระบบจากเครื่องต่างๆ ใน LAN เข้าด้วยกัน โดยใช้ PyTorch, FastAPI, llama.cpp RPC และเคอร์เนล AVX2 แบบเนทีฟ C++20/MASM โหนดมาสเตอร์จะค้นหาวอร์กเกอร์ผ่าน UDP พอร์ต 8001 แบ่งเลเยอร์โมเดลข้ามโหนด และให้บริการเอนด์พอยต์ที่เข้ากันได้กับ OpenAI (/v1/chat/completions) และ Anthropic (/v1/messages) บนพอร์ต 8000 สำหรับเครื่องมืออย่าง Cursor, Claude Code และ Aider โปรเจกต์นี้อยู่ที่เวอร์ชัน v1.8.1 ภายใต้สัญญาอนุญาต MIT ติดตั้งผ่าน pip install shard-engine พร้อมคำสั่ง shard fit ที่ประเมินว่าโมเดลจะพอดีกับ GPU เดียว การตั้งค่าแบบผสม CPU+GPU หรือคลัสเตอร์ LAN แบบรวมทรัพยากรหรือไม่ ก่อนการดาวน์โหลด
แหล่งข่าว:Hacker News · AI · github.com