Tới nội dung
inclusionAI Models·· 3 ngày trướcĐiểm AI22

inclusionAI phát hành trọng số GGUF cho ZoomGain-9B

inclusionAI/ZoomGain-9B-GGUF

Tóm tắt bằng AI

inclusionAI đã phát hành trọng số định dạng GGUF cho ZoomGain-9B, được chuyển đổi bằng llama.cpp, bao gồm mô hình ngôn ngữ và bộ mã hóa hình ảnh/projector (mmproj) ở FP16, Q8_0 và Q4_K_M. Đầu vào hình ảnh yêu cầu ghép mô hình ngôn ngữ với tệp mmproj tương ứng, và kho lưu trữ tài liệu hóa suy luận CLI qua llama-mtmd-cli và thiết lập trò chuyện web qua llama-server. Cần bản dựng llama.cpp có hỗ trợ đa phương thức Qwen3.5, và việc lượng tử hóa có thể ảnh hưởng đến độ chính xác.

Nguồn:inclusionAI Models · huggingface.co