跳到正文
Hacker News · AI·· 1 小时前AI 评分58

Unsloth 发布 Qwen3.8-27B GGUF,带来 Dynamic V3.1 量化更新

Unsloth Qwen3.8-27B Quantizations – Dynamic v3.1 Update

AI 导读

Unsloth 发布了更新后的 Qwen3.8-27B GGUF,使用其 Unsloth Dynamic V3.1(预览版)量化算法构建。Unsloth 称,在大多数基准测试中,包括 Terminal Bench 2.1、DeepSWE v1.1、LiveCodeBench v6、GPQA Diamond、MMLU-Pro 和 AIME25,在相近体积下精度提升 5-10%。2-bit 到 6-bit 的量化版本均已更新,而 3-bit UD3 保持不变,因为其表现与 UD3.1 相当。该文章还反驳了 GSQ-RCO 关于 ISTA 量化版本的基准测试声明,称 Unsloth 进行了 14 次试验,而对方估计仅 1 次,并得出了相反结论;同时指出 Qwen3.8-27B 是一个 27B 稠密模型,具备视觉、推理能力和 256K 上下文窗口,可在 17GB 内存/显存配置上运行。

来源:Hacker News · AI · unsloth.ai