ข้ามไปที่เนื้อหา
เหตุการณ์ร้อนแรงกำลังพัฒนา

Shard เปิดตัวเอนจินโอเพนซอร์สที่รวม GPU ใน LAN สำหรับการอนุมาน LLM

1 รายงาน1 แหล่งข่าวที่รายงานอัปเดต 2 ชม. ที่แล้ว

เริ่มตรงนี้

ไดเจสต์ AI

SHARD เปิดตัว Shard (shard-engine) เอนจินการอนุมาน LLM แบบกระจายในเครื่องที่โอเพนซอร์ส ซึ่งรวม VRAM ของ GPU และ RAM ของระบบจากเครื่องต่างๆ ใน LAN เดียวกัน โหนดมาสเตอร์จะค้นหาวอร์กเกอร์ผ่านพอร์ต UDP 8001 แบ่งเลเยอร์ของโมเดลไปยังโหนดต่างๆ และให้บริการเอนด์พอยต์ที่เข้ากันได้กับ OpenAI (/v1/chat/completions) และ Anthropic (/v1/messages) บนพอร์ต 8000 สำหรับเครื่องมืออย่าง Cursor, Claude Code และ Aider โปรเจกต์นี้อยู่ที่เวอร์ชัน v1.8.1 ภายใต้สัญญาอนุญาต MIT และติดตั้งผ่าน pip install shard-engine; คำสั่ง shard fit จะประเมินว่าโมเดลจะพอดีกับ GPU เดียว การตั้งค่าแบบผสม CPU+GPU หรือคลัสเตอร์ LAN ที่รวมทรัพยากรหรือไม่ก่อนดาวน์โหลด การแบ่งชั้นผ่าน LAN ต้องใช้เครื่องอย่างน้อยสองเครื่องที่เปิดพอร์ต TCP 8000 และ UDP/TCP 8001 และโปรเจกต์ระบุว่าการประมวลผลเลเยอร์แบบกระจายข้าม GPU ต่างๆ ใน LAN ที่แตกต่างกันจะทำงานได้ดีที่สุดบนอีเทอร์เน็ตแบบมีสาย Gigabit/2.5GbE ที่มีความหน่วงต่ำ โดย Wi-Fi อาจมีความหน่วงระหว่างโทเคนสูงกว่า

สร้างจากรายงาน · อัปเดต 2 ชม. ที่แล้ว

ไทม์ไลน์รายงาน

ไล่ตามรายงานเพื่อดูเหตุการณ์นี้จากหลายด้าน

18 พฤศจิกายน
  1. Hacker News · AI
    SHARD เปิดตัวเอนจินโอเพนซอร์สสำหรับการอนุมาน LLM แบบกระจายข้ามเครื่องใน LAN

    SHARD (shard-engine) เป็นเอนจินการอนุมาน LLM ภายในเครื่องแบบกระจายโอเพนซอร์สที่รวม VRAM ของ GPU และ RAM ของระบบจากเครื่องต่างๆ ใน LAN เข้าด้วยกัน โดยใช้ PyTorch, FastAPI, llama.cpp RPC และเคอร์เนล AVX2 แบบเนทีฟ C++20/MASM โหนดมาสเตอร์จะค้นหาวอร์กเกอร์ผ่าน UDP พอร์ต 8001 แบ่งเลเยอร์โมเดลข้ามโหนด และให้บริการเอนด์พอยต์ที่เข้ากันได้กับ OpenAI (/v1/chat/completions) และ Anthropic (/v1/messages) บนพอร์ต 8000 สำหรับเครื่องมืออย่าง Cursor, Claude Code และ Aider โปรเจกต์นี้อยู่ที่เวอร์ชัน v1.8.1 ภายใต้สัญญาอนุญาต MIT ติดตั้งผ่าน pip install shard-engine พร้อมคำสั่ง shard fit ที่ประเมินว่าโมเดลจะพอดีกับ GPU เดียว การตั้งค่าแบบผสม CPU+GPU หรือคลัสเตอร์ LAN แบบรวมทรัพยากรหรือไม่ ก่อนการดาวน์โหลด

ความร้อนแรงของเหตุการณ์นี้

ยังมีการเฝ้าดูต่อเนื่องไม่พอจะวาดแนวโน้ม