OpenRouter Announcements·· 2 天前精選AI 評分60
OpenRouter 測試 fp8 與 fp4 量化對 LLM 品質與價格的影響
LLM Quantization: What fp8 and fp4 Do to Quality and Price
AI 導讀
OpenRouter 於 2026 年 10 月 20 日對 Qwen3.8 27B 的六個端點執行了 280 項精確答案任務,未偵測到 fp16、fp8 與 fp4 之間有準確率差異,六個端點的得分皆介於 98.3% 至 99.2% 之間。在 1,455 個端點中,59.5% 完全未回報精度,而 fp8 是最常見的標示格式,佔 23.6%。對多數模型而言,較低精度較便宜,但並非全部皆然;供應商選擇對價格的影響大於精度,同精度端點中最貴者為最便宜者的中位數 1.72 倍。
推薦理由
OpenRouter 對同一模型的 fp8、fp4 與 fp16 端點進行了 240 項精確答案任務的測量,未發現可偵測的準確率差距,而價格差異與供應商的關聯大於與精度的關聯。
來源:OpenRouter Announcements · openrouter.ai