跳至正文
OpenRouter Announcements·· 2 天前精選AI 評分60

OpenRouter 測試 fp8 與 fp4 量化對 LLM 品質與價格的影響

LLM Quantization: What fp8 and fp4 Do to Quality and Price

AI 導讀

OpenRouter 於 2026 年 10 月 20 日對 Qwen3.8 27B 的六個端點執行了 280 項精確答案任務,未偵測到 fp16、fp8 與 fp4 之間有準確率差異,六個端點的得分皆介於 98.3% 至 99.2% 之間。在 1,455 個端點中,59.5% 完全未回報精度,而 fp8 是最常見的標示格式,佔 23.6%。對多數模型而言,較低精度較便宜,但並非全部皆然;供應商選擇對價格的影響大於精度,同精度端點中最貴者為最便宜者的中位數 1.72 倍。

推薦理由

OpenRouter 對同一模型的 fp8、fp4 與 fp16 端點進行了 240 項精確答案任務的測量,未發現可偵測的準確率差距,而價格差異與供應商的關聯大於與精度的關聯。

來源:OpenRouter Announcements · openrouter.ai