InferSSD 通过 NVMe 在消费级硬件上运行 800B 级大语言模型
先了解这件事
WiCi 发布了 InferSSD，这是一个基于 llama.cpp 构建的开源运行时，通过将路由专家权重保留在 NVMe 存储上，同时让注意力层、共享层和 KV 缓存留在内存或显存中，从而在消费级机器上运行 800B 级模型。它采用 Apache-2.0 许可；用户需自行下载模型权重，并将所有 GGUF 分片放在一起，首次启动时会对机器和硬盘进行性能分析，指南称这一过程需要一到三分钟。模型权重仍受其发布方许可证的约束。 在配备 32 GB 内存和 32 GB 显存的 RTX 5090 上，InferSSD 报告称，对于 763B 级的 DeepSeek-V4.1-Flash-1017，在 4K 提示词档位下，预填充速度为 164.5 tokens/s，解码速度为 7.27 tokens/s；而同一系统上 llama.cpp 的对应数据为 8.06 和 0.867 tokens/s；它还能运行 816B 级的 Muse-Spark-Open。 文章估计，重度日常使用可能意味着每天约 85 TB 的主机读取量，并提出了一个条件性的 SSD 磨损模型，文章称这些是需要验证的假设，而非承诺的硬盘寿命。
AI 根据报道生成 · 14 小时前更新
报道时间线
沿着报道，了解事件的不同侧面。
- Hacker News · AIInferSSD 将专家权重保留在 NVMe 上，在消费级硬件上运行 800B 级 LLM
InferSSD 是一个基于 llama.cpp 构建的开源推理运行时，它通过将路由专家权重保留在 NVMe 存储上，同时让注意力、共享层和 KV 缓存留在 RAM 或 VRAM 中，从而在消费级机器上运行 763B 级 DeepSeek-V4.1-Flash-1017 和 816B 级 Muse-Spark-Open。在配备 32 GB RAM 和 32 GB VRAM 的 RTX 5090 上，它报告在 4K 提示层级下 DeepSeek 的预填充速度为 164.5 tokens/s、解码速度为 7.27 tokens/s，而同一系统上 llama.cpp 分别为 8.06 和 0.867 tokens/s。文章还估计，重度日常使用可能意味着每天约 85 TB 的主机读取量，并提出了一个条件性的 SSD 磨损模型，同时指出这些数字是待测试的假设，而非承诺的硬盘寿命。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。