Luật sư nâng cấp máy chủ AI riêng tám-V100 để chạy 80% DeepSeek V4.1 Flash ở 4-bit
Bắt đầu từ đây
Một luật sư vận hành máy chủ AI riêng trên tám GPU Nvidia V100 đã qua sử dụng đã chuyển khoảng 80% khối lượng công việc pháp lý của DeepSeek V4.1 Flash từ độ chính xác 2-bit lên 4-bit NVFP4, bổ sung thêm 1TB RAM và một RTX 3090. Tốc độ xuất mã giảm từ 160–215 xuống 150–180 token mỗi giây, nhưng các sự cố ảnh hưởng đến bản dựng mới đã không còn; luật sư cho rằng nguyên nhân là do bộ nguồn (PSU) hỏng chứ không phải PCIe. Cấu hình này là một giải pháp tự lưu trữ thay thế cho suy luận trên đám mây đối với công việc pháp lý, đánh đổi một phần thông lượng để lấy độ chính xác cao hơn trên phần cứng có trước khi có hỗ trợ gốc cho định dạng này.
Tạo từ các bài viết · cập nhật 12 phút trước
Dòng thời gian bài viết
Theo các bài viết để thấy sự việc từ nhiều phía.
- Hacker News · AILuật sư nâng cấp máy chủ AI riêng tám V100 để chạy 80% DeepSeek V4.1 Flash ở độ chính xác 4-bit NVFP4
Một luật sư vận hành máy chủ AI riêng trên tám GPU Nvidia V100 đã qua sử dụng đã chuyển khoảng 80% khối lượng công việc pháp lý của DeepSeek V4.1 Flash từ độ chính xác 2-bit sang 4-bit NVFP4, bổ sung thêm 1TB RAM và một RTX 3090. Tốc độ xuất mã giảm từ 160–215 xuống 150–180 token mỗi giây, nhưng các sự cố treo máy ảnh hưởng đến bản dựng mới đã biến mất, với nguyên nhân có khả năng là bộ nguồn (PSU) hỏng chứ không phải PCIe.
Độ nóng của sự việc này
Chưa đủ quan sát liên tục để vẽ xu hướng.