InferSSD chạy các LLM cấp 800B trên phần cứng tiêu dùng bằng cách giữ trọng số expert trên NVMe

InferSSD, một runtime suy luận mã nguồn mở xây dựng trên llama.cpp, chạy DeepSeek-V4.1-Flash-1017 cấp 763B và Muse-Spark-Open cấp 816B trên máy tiêu dùng bằng cách giữ trọng số expert được định tuyến trên lưu trữ NVMe trong khi attention, các lớp chia sẻ và KV cache nằm trong RAM hoặc VRAM. Trên một RTX 5090 với 32 GB RAM và 32 GB VRAM, nó báo cáo 164,5 token/s prefill và 7,27 token/s decode cho DeepSeek ở mức prompt 4K, so với 8,06 và 0,867 token/s của llama.cpp trên cùng hệ thống. Bài viết cũng ước tính rằng sử dụng nặng hàng ngày có thể đồng nghĩa với khoảng 85 TB lượt đọc từ host mỗi ngày và trình bày một mô hình hao mòn SSD có điều kiện, lưu ý rằng các con số là giả định để kiểm chứng chứ không phải tuổi thọ ổ đĩa được hứa hẹn.