InferSSD chạy các LLM cỡ 800B trên phần cứng tiêu dùng thông qua NVMe
Bắt đầu từ đây
WiCi đã phát hành InferSSD, một runtime mã nguồn mở xây dựng trên llama.cpp, cho phép chạy các mô hình cỡ 800B trên máy tiêu dùng bằng cách giữ trọng số các expert được định tuyến trên ổ NVMe trong khi attention, các lớp chia sẻ và KV cache nằm trong RAM hoặc VRAM. Nó có sẵn theo giấy phép Apache-2.0; người dùng tải trọng số mô hình riêng, giữ tất cả các shard GGUF cùng nhau, và lần khởi chạy đầu tiên sẽ phân tích máy và ổ đĩa, mà hướng dẫn nói mất từ một đến ba phút. Trọng số mô hình vẫn tuân theo giấy phép của nhà phát hành. Trên một RTX 5090 với 32 GB RAM và 32 GB VRAM, InferSSD báo cáo 164,5 token/s prefill và 7,27 token/s decode cho DeepSeek-V4.1-Flash-1017 cỡ 763B ở mức prompt 4K, so với 8,06 và 0,867 token/s của llama.cpp trên cùng hệ thống; nó cũng chạy Muse-Spark-Open cỡ 816B. Bài viết ước tính việc sử dụng nặng hàng ngày có thể đồng nghĩa với khoảng 85 TB lượt đọc từ host mỗi ngày và trình bày một mô hình hao mòn SSD có điều kiện, được mô tả là các giả định cần kiểm chứng chứ không phải tuổi thọ ổ đĩa được hứa hẹn.
Tạo từ các bài viết · cập nhật 13 giờ trước
Dòng thời gian bài viết
Theo các bài viết để thấy sự việc từ nhiều phía.
- Hacker News · AIInferSSD chạy các LLM cấp 800B trên phần cứng tiêu dùng bằng cách giữ trọng số expert trên NVMe
InferSSD, một runtime suy luận mã nguồn mở xây dựng trên llama.cpp, chạy DeepSeek-V4.1-Flash-1017 cấp 763B và Muse-Spark-Open cấp 816B trên máy tiêu dùng bằng cách giữ trọng số expert được định tuyến trên lưu trữ NVMe trong khi attention, các lớp chia sẻ và KV cache nằm trong RAM hoặc VRAM. Trên một RTX 5090 với 32 GB RAM và 32 GB VRAM, nó báo cáo 164,5 token/s prefill và 7,27 token/s decode cho DeepSeek ở mức prompt 4K, so với 8,06 và 0,867 token/s của llama.cpp trên cùng hệ thống. Bài viết cũng ước tính rằng sử dụng nặng hàng ngày có thể đồng nghĩa với khoảng 85 TB lượt đọc từ host mỗi ngày và trình bày một mô hình hao mòn SSD có điều kiện, lưu ý rằng các con số là giả định để kiểm chứng chứ không phải tuổi thọ ổ đĩa được hứa hẹn.
Độ nóng của sự việc này
Chưa đủ quan sát liên tục để vẽ xu hướng.