InferSSD 將專家權重放在 NVMe 上，讓消費級硬體也能執行 800B 級 LLM

InferSSD 是建構於 llama.cpp 上的開源推論執行環境，它將路由專家權重保留在 NVMe 儲存裝置上，而注意力、共享層與 KV 快取則留在 RAM 或 VRAM，藉此在消費級機器上執行 763B 級的 DeepSeek-V4.1-Flash-1017 與 816B 級的 Muse-Spark-Open。在配備 32 GB RAM 與 32 GB VRAM 的 RTX 5090 上，它回報 DeepSeek 在 4K 提示層級下可達 164.5 tokens/s 的預填充與 7.27 tokens/s 的解碼，而同系統上的 llama.cpp 則為 8.06 與 0.867 tokens/s。文章也估計，重度日常使用可能意味著每天約 85 TB 的主機讀取量，並提出一個有條件的 SSD 耗損模型，同時指出這些數字是待驗證的假設，而非承諾的硬碟壽命。