跳到正文
inclusionAI Models·· 3 天前AI 评分22

inclusionAI 发布 ZoomGain-9B 的 GGUF 权重

inclusionAI/ZoomGain-9B-GGUF

AI 导读

inclusionAI 已发布 ZoomGain-9B 的 GGUF 格式权重,使用 llama.cpp 转换,涵盖语言模型以及视觉编码器/投影器(mmproj),提供 FP16、Q8_0 和 Q4_K_M 版本。图像输入需要将语言模型与匹配的 mmproj 文件配对使用,仓库中记录了通过 llama-mtmd-cli 进行 CLI 推理以及通过 llama-server 搭建网页聊天环境的方法。需要支持 Qwen3.5 多模态的 llama.cpp 构建,量化可能影响准确率。

来源:inclusionAI Models · huggingface.co