Hacker News · AI·· 1 小時前AI 評分58
Unsloth 發布 Qwen3.8-27B GGUF,同步更新 Dynamic V3.1 量化
Unsloth Qwen3.8-27B Quantizations – Dynamic v3.1 Update
AI 導讀
Unsloth 發布了以自家 Unsloth Dynamic V3.1(預覽版)量化演算法建構的更新版 Qwen3.8-27B GGUF,並表示在大小相近的情況下,多數基準測試的準確率提升 5-10%,包括 Terminal Bench 2.1、DeepSWE v1.1、LiveCodeBench v6、GPQA Diamond、MMLU-Pro 與 AIME25。2-bit 至 6-bit 的量化版本均已更新,而 3-bit UD3 維持不變,因其表現與 UD3.1 相當。該文章也反駁 GSQ-RCO 對 ISTA 量化版本的基準測試說法,指出 Unsloth 執行了 14 次試驗,而對方估計僅 1 次,並得出相反結論;文中亦提到 Qwen3.8-27B 是一個 27B 稠密模型,具備視覺、推理能力與 256K 上下文視窗,可在 17GB RAM/VRAM 的環境中運行。
來源:Hacker News · AI · unsloth.ai