InferSSD 透過 NVMe 在消費級硬體上執行 800B 級 LLM
先了解這件事
WiCi 發布了 InferSSD，這是一套建構於 llama.cpp 之上的開源執行環境，透過將路由專家權重保留在 NVMe 儲存裝置上，同時讓注意力層、共享層與 KV 快取留在 RAM 或 VRAM 中，從而在消費級機器上執行 800B 級模型。它採用 Apache-2.0 授權；使用者需自行下載模型權重，並將所有 GGUF 分片放在一起，首次啟動時會對機器與磁碟進行效能剖析，指南稱此過程需一至三分鐘。模型權重仍受其發布者授權條款約束。 在配備 32 GB RAM 與 32 GB VRAM 的 RTX 5090 上，InferSSD 回報，對於 763B 級 DeepSeek-V4.1-Flash-1017，在 4K 提示詞層級下，預填充速度為 164.5 tokens/s，解碼速度為 7.27 tokens/s；同一系統上 llama.cpp 則為 8.06 與 0.867 tokens/s。它也能執行 816B 級 Muse-Spark-Open。 文章估計，每日重度使用可能意味著每天約 85 TB 的主機讀取量，並提出一個有條件的 SSD 磨損模型，文中將其描述為有待測試的假設，而非承諾的磁碟壽命。
AI 依報導生成 · 14 小時前更新
報導時間線
沿著報導，了解事件的不同側面。
- Hacker News · AIInferSSD 將專家權重放在 NVMe 上，讓消費級硬體也能執行 800B 級 LLM
InferSSD 是建構於 llama.cpp 上的開源推論執行環境，它將路由專家權重保留在 NVMe 儲存裝置上，而注意力、共享層與 KV 快取則留在 RAM 或 VRAM，藉此在消費級機器上執行 763B 級的 DeepSeek-V4.1-Flash-1017 與 816B 級的 Muse-Spark-Open。在配備 32 GB RAM 與 32 GB VRAM 的 RTX 5090 上，它回報 DeepSeek 在 4K 提示層級下可達 164.5 tokens/s 的預填充與 7.27 tokens/s 的解碼，而同系統上的 llama.cpp 則為 8.06 與 0.867 tokens/s。文章也估計，重度日常使用可能意味著每天約 85 TB 的主機讀取量，並提出一個有條件的 SSD 耗損模型，同時指出這些數字是待驗證的假設，而非承諾的硬碟壽命。
本事件熱度走勢
還沒有足夠的連續觀測資料，暫不繪製趨勢。