InferSSD รัน LLM ระดับ 800B บนฮาร์ดแวร์สำหรับผู้ใช้ทั่วไป โดยเก็บน้ำหนัก expert ไว้บน NVMe

InferSSD ซึ่งเป็นรันไทม์สำหรับการอนุมานแบบโอเพนซอร์สที่สร้างบน llama.cpp สามารถรัน DeepSeek-V4.1-Flash-1017 ระดับ 763B และ Muse-Spark-Open ระดับ 816B บนเครื่องของผู้ใช้ทั่วไป โดยเก็บน้ำหนัก routed expert ไว้บนที่เก็บข้อมูล NVMe ขณะที่ attention เลเยอร์ที่ใช้ร่วมกัน และ KV cache ยังคงอยู่ใน RAM หรือ VRAM บน RTX 5090 ที่มี RAM 32 GB และ VRAM 32 GB มีรายงานว่าได้ 164.5 tokens/s สำหรับ prefill และ 7.27 tokens/s สำหรับ decode สำหรับ DeepSeek ที่ระดับพรอมต์ 4K เทียบกับ 8.06 และ 0.867 tokens/s สำหรับ llama.cpp บนระบบเดียวกัน บทความยังประเมินว่าการใช้งานหนักในแต่ละวันอาจหมายถึงการอ่านจากโฮสต์ประมาณ 85 TB ต่อวัน และนำเสนอแบบจำลองการสึกหรอของ SSD แบบมีเงื่อนไข โดยระบุว่าตัวเลขเหล่านี้เป็นสมมติฐานที่ต้องทดสอบ ไม่ใช่การรับประกันอายุการใช้งานของไดรฟ์