InferSSD 将专家权重保留在 NVMe 上，在消费级硬件上运行 800B 级 LLM

InferSSD 是一个基于 llama.cpp 构建的开源推理运行时，它通过将路由专家权重保留在 NVMe 存储上，同时让注意力、共享层和 KV 缓存留在 RAM 或 VRAM 中，从而在消费级机器上运行 763B 级 DeepSeek-V4.1-Flash-1017 和 816B 级 Muse-Spark-Open。在配备 32 GB RAM 和 32 GB VRAM 的 RTX 5090 上，它报告在 4K 提示层级下 DeepSeek 的预填充速度为 164.5 tokens/s、解码速度为 7.27 tokens/s，而同一系统上 llama.cpp 分别为 8.06 和 0.867 tokens/s。文章还估计，重度日常使用可能意味着每天约 85 TB 的主机读取量，并提出了一个条件性的 SSD 磨损模型，同时指出这些数字是待测试的假设，而非承诺的硬盘寿命。