Tới nội dung
Hacker News · AI·· 1 giờ trướcĐiểm AI58

Unsloth phát hành Qwen3.8-27B GGUF với bản cập nhật lượng tử hóa Dynamic V3.1

Unsloth Qwen3.8-27B Quantizations – Dynamic v3.1 Update

Tóm tắt bằng AI

Unsloth đã phát hành Qwen3.8-27B GGUF cập nhật được xây dựng bằng thuật toán lượng tử hóa Unsloth Dynamic V3.1 (bản xem trước) của mình, hãng cho biết thuật toán này cải thiện độ chính xác thêm 5-10% ở các kích thước tương đương trên hầu hết các benchmark, bao gồm Terminal Bench 2.1, DeepSWE v1.1, LiveCodeBench v6, GPQA Diamond, MMLU-Pro và AIME25. Các bản lượng tử từ 2-bit đến 6-bit đã được cập nhật trong khi UD3 3-bit được giữ nguyên vì hiệu năng ngang với UD3.1. Bài đăng cũng phản bác các tuyên bố benchmark của GSQ-RCO về lượng tử ISTA, cho rằng Unsloth đã chạy 14 lần thử so với ước tính 1 lần và đưa ra kết luận ngược lại, đồng thời lưu ý Qwen3.8-27B là mô hình dense 27B có khả năng thị giác, suy luận và cửa sổ ngữ cảnh 256K, chạy trên các thiết lập RAM/VRAM 17GB.

Nguồn:Hacker News · AI · unsloth.ai