Shard เปิดตัวเอนจินโอเพนซอร์สที่รวม GPU ใน LAN สำหรับการอนุมาน LLM
เริ่มตรงนี้
SHARD เปิดตัว Shard (shard-engine) เอนจินการอนุมาน LLM แบบกระจายในเครื่องที่โอเพนซอร์ส ซึ่งรวม VRAM ของ GPU และ RAM ของระบบจากเครื่องต่างๆ ใน LAN เดียวกัน โหนดมาสเตอร์จะค้นหาวอร์กเกอร์ผ่านพอร์ต UDP 8001 แบ่งเลเยอร์ของโมเดลไปยังโหนดต่างๆ และให้บริการเอนด์พอยต์ที่เข้ากันได้กับ OpenAI (/v1/chat/completions) และ Anthropic (/v1/messages) บนพอร์ต 8000 สำหรับเครื่องมืออย่าง Cursor, Claude Code และ Aider โปรเจกต์นี้อยู่ที่เวอร์ชัน v1.8.1 ภายใต้สัญญาอนุญาต MIT และติดตั้งผ่าน pip install shard-engine; คำสั่ง shard fit จะประเมินว่าโมเดลจะพอดีกับ GPU เดียว การตั้งค่าแบบผสม CPU+GPU หรือคลัสเตอร์ LAN ที่รวมทรัพยากรหรือไม่ก่อนดาวน์โหลด การแบ่งชั้นผ่าน LAN ต้องใช้เครื่องอย่างน้อยสองเครื่องที่เปิดพอร์ต TCP 8000 และ UDP/TCP 8001 และโปรเจกต์ระบุว่าการประมวลผลเลเยอร์แบบกระจายข้าม GPU ต่างๆ ใน LAN ที่แตกต่างกันจะทำงานได้ดีที่สุดบนอีเทอร์เน็ตแบบมีสาย Gigabit/2.5GbE ที่มีความหน่วงต่ำ โดย Wi-Fi อาจมีความหน่วงระหว่างโทเคนสูงกว่า
สร้างจากรายงาน · อัปเดต 2 ชม. ที่แล้ว
ไทม์ไลน์รายงาน
ไล่ตามรายงานเพื่อดูเหตุการณ์นี้จากหลายด้าน
- Hacker News · AISHARD เปิดตัวเอนจินโอเพนซอร์สสำหรับการอนุมาน LLM แบบกระจายข้ามเครื่องใน LAN
SHARD (shard-engine) เป็นเอนจินการอนุมาน LLM ภายในเครื่องแบบกระจายโอเพนซอร์สที่รวม VRAM ของ GPU และ RAM ของระบบจากเครื่องต่างๆ ใน LAN เข้าด้วยกัน โดยใช้ PyTorch, FastAPI, llama.cpp RPC และเคอร์เนล AVX2 แบบเนทีฟ C++20/MASM โหนดมาสเตอร์จะค้นหาวอร์กเกอร์ผ่าน UDP พอร์ต 8001 แบ่งเลเยอร์โมเดลข้ามโหนด และให้บริการเอนด์พอยต์ที่เข้ากันได้กับ OpenAI (/v1/chat/completions) และ Anthropic (/v1/messages) บนพอร์ต 8000 สำหรับเครื่องมืออย่าง Cursor, Claude Code และ Aider โปรเจกต์นี้อยู่ที่เวอร์ชัน v1.8.1 ภายใต้สัญญาอนุญาต MIT ติดตั้งผ่าน pip install shard-engine พร้อมคำสั่ง shard fit ที่ประเมินว่าโมเดลจะพอดีกับ GPU เดียว การตั้งค่าแบบผสม CPU+GPU หรือคลัสเตอร์ LAN แบบรวมทรัพยากรหรือไม่ ก่อนการดาวน์โหลด
ความร้อนแรงของเหตุการณ์นี้
ยังมีการเฝ้าดูต่อเนื่องไม่พอจะวาดแนวโน้ม