Unsloth phát hành GGUF Qwen3.8-27B với lượng tử hóa Dynamic V3.1
Bắt đầu từ đây
Unsloth đã phát hành các bản lượng tử hóa GGUF Qwen3.8-27B cập nhật, được xây dựng bằng thuật toán Unsloth Dynamic V3.1 (bản xem trước) của họ. Unsloth cho biết các bản lượng tử hóa mới tăng độ chính xác 5-10% ở cùng kích thước trên hầu hết các benchmark, bao gồm Terminal Bench 2.1, DeepSWE v1.1, LiveCodeBench v6, GPQA Diamond, MMLU-Pro và AIME25. Hầu hết các bản lượng tử hóa từ 2-bit đến 6-bit đều được cập nhật, nhưng phiên bản 3-bit UD3 được giữ nguyên vì Unsloth nhận thấy nó hoạt động ngang với UD3.1. Các bản lượng tử hóa NVFP4 hiện chỉ chạy trong vLLM, không chạy trong SGLang, và yêu cầu GPU NVIDIA Blackwell như dòng RTX 50, DGX Spark, B200 và B300. Unsloth cũng phản bác các tuyên bố benchmark của GSQ-RCO về lượng tử hóa ISTA, nói rằng họ đã chạy 14 lần thử so với ước tính một lần và đi đến kết luận ngược lại. Qwen3.8-27B là một mô hình dense 27B với khả năng thị giác, suy luận và cửa sổ ngữ cảnh 256K, chạy trên các thiết lập RAM/VRAM 17GB.
Tạo từ các bài viết · cập nhật 37 phút trước
Dòng thời gian bài viết
Theo các bài viết để thấy sự việc từ nhiều phía.
- Hacker News · AIUnsloth phát hành Qwen3.8-27B GGUF với bản cập nhật lượng tử hóa Dynamic V3.1
Unsloth đã phát hành Qwen3.8-27B GGUF cập nhật được xây dựng bằng thuật toán lượng tử hóa Unsloth Dynamic V3.1 (bản xem trước) của mình, hãng cho biết thuật toán này cải thiện độ chính xác thêm 5-10% ở các kích thước tương đương trên hầu hết các benchmark, bao gồm Terminal Bench 2.1, DeepSWE v1.1, LiveCodeBench v6, GPQA Diamond, MMLU-Pro và AIME25. Các bản lượng tử từ 2-bit đến 6-bit đã được cập nhật trong khi UD3 3-bit được giữ nguyên vì hiệu năng ngang với UD3.1. Bài đăng cũng phản bác các tuyên bố benchmark của GSQ-RCO về lượng tử ISTA, cho rằng Unsloth đã chạy 14 lần thử so với ước tính 1 lần và đưa ra kết luận ngược lại, đồng thời lưu ý Qwen3.8-27B là mô hình dense 27B có khả năng thị giác, suy luận và cửa sổ ngữ cảnh 256K, chạy trên các thiết lập RAM/VRAM 17GB.
Độ nóng của sự việc này
Chưa đủ quan sát liên tục để vẽ xu hướng.