OpenRouter kiểm tra độ chính xác của lượng tử hóa và điểm hòa vốn khi tự vận hành
Bắt đầu từ đây
OpenRouter đã chạy 280 tác vụ có đáp án chính xác trên sáu endpoint phục vụ Qwen3.8 27B vào ngày 20 tháng 10 năm 2026 và cho biết họ không phát hiện ra sự khác biệt về độ chính xác giữa fp16, fp8 và fp4; cả sáu endpoint đều đạt điểm từ 98,3% đến 99,2%. OpenRouter lưu ý rằng bài kiểm tra chỉ bao gồm một mô hình, 280 tác vụ và sáu endpoint trong một ngày, và không chứng minh rằng độ chính xác 4-bit là an toàn cho mọi mô hình hay khối lượng công việc. Trên 1.455 endpoint, 59,5% không báo cáo độ chính xác nào, và fp8 là định dạng được gắn nhãn phổ biến nhất với 23,6%. Độ chính xác thấp hơn rẻ hơn đối với hầu hết các mô hình nhưng không phải tất cả, và việc chọn nhà cung cấp ảnh hưởng đến giá nhiều hơn độ chính xác: endpoint cùng độ chính xác đắt nhất có giá trung vị gấp 1,72 lần endpoint rẻ nhất. Trong một bài đăng riêng, OpenRouter đã công bố phân tích điểm hòa vốn sử dụng giá của từng nhà cung cấp tính đến ngày 8 tháng 10 năm 2026. Với mức giá đó, chạy Qwen3.8 27B trên một RTX 3090 thuê với giá 0,50 đô la một giờ đạt điểm hòa vốn ở mức tải 6 đến 12%, trong khi DeepSeek V4.1 Flash trên bốn H200 không bao giờ vượt qua endpoint không lưu dữ liệu rẻ nhất. OpenRouter khuyến nghị chạy một mức tải cơ bản ổn định tại chỗ và gửi các đỉnh tải đến API.
Tạo từ các bài viết · cập nhật 13 giờ trước
Diễn biến
2 diễn biến
- 12 tháng 11 08:00 · 1 bài viếtCông bố phân tích điểm hòa vốn giữa tự vận hành và APIOpenRouter Announcements：OpenRouter so sánh chi phí LLM tự vận hành và API bằng tính toán tải hòa vốn
- 11 tháng 11 08:00 · 1 bài viếtOpenRouter công bố đo lường lượng tử hóa LLM và định tuyếnOpenRouter Announcements：OpenRouter kiểm tra tác động của lượng tử hóa fp8 và fp4 đến chất lượng và giá của LLM
Dòng thời gian bài viết
Theo các bài viết để thấy sự việc từ nhiều phía.
- OpenRouter AnnouncementsOpenRouter so sánh chi phí LLM tự vận hành và API bằng tính toán tải hòa vốn
OpenRouter đã công bố phân tích hòa vốn cho thấy khi nào tự vận hành một LLM trọng số mở có chi phí thấp hơn so với gọi nó qua API, sử dụng giá theo từng nhà cung cấp tính đến ngày 8 tháng 10 năm 2026. Với mức giá đó, Qwen3.8 27B trên một RTX 3090 thuê với giá 0,50 đô la một giờ đạt hòa vốn ở mức tải 6 đến 12%, trong khi DeepSeek V4.1 Flash trên bốn H200 không bao giờ đánh bại được endpoint không lưu dữ liệu rẻ nhất. Bài viết cũng lưu ý rằng provider.zdr và các tên miền EU và US đáp ứng hầu hết nhu cầu riêng tư mà không cần tự vận hành, và khuyến nghị chạy một mức tải cơ bản ổn định tại chỗ trong khi gửi các đỉnh tải đến API.
- OpenRouter AnnouncementsTuyển chọnOpenRouter kiểm tra tác động của lượng tử hóa fp8 và fp4 đến chất lượng và giá của LLM
OpenRouter đã chạy 280 tác vụ có đáp án chính xác trên sáu endpoint của Qwen3.8 27B vào ngày 20 tháng 10 năm 2026 và không phát hiện sự khác biệt về độ chính xác giữa fp16, fp8 và fp4, với cả sáu endpoint đạt điểm từ 98,3% đến 99,2%. Trên 1.455 endpoint, 59,5% không báo cáo độ chính xác nào và fp8 là định dạng được gắn nhãn phổ biến nhất với 23,6%. Độ chính xác thấp hơn có giá rẻ hơn đối với hầu hết các mô hình nhưng không phải tất cả, và việc lựa chọn nhà cung cấp ảnh hưởng đến giá nhiều hơn so với độ chính xác, với endpoint cùng độ chính xác đắt nhất có giá trung vị gấp 1,72 lần so với rẻ nhất.
Độ nóng của sự việc này
Chưa đủ quan sát liên tục để vẽ xu hướng.