跳到正文
OpenRouter Announcements·· 2 天前精选AI 评分60

OpenRouter 测试 fp8 和 fp4 量化对 LLM 质量与价格的影响

LLM Quantization: What fp8 and fp4 Do to Quality and Price

AI 导读

OpenRouter 于 2026 年 10 月 20 日针对 Qwen3.8 27B 的六个端点运行了 280 个精确答案任务,未发现 fp16、fp8 和 fp4 之间存在准确率差异,六个端点的得分均在 98.3% 至 99.2% 之间。在 1,455 个端点中,59.5% 完全未报告精度,fp8 是最常见的标注格式,占 23.6%。对大多数模型而言,较低精度更便宜,但并非所有模型都如此;提供商选择对价格的影响大于精度,同精度下最贵端点的价格中位数是最便宜端点的 1.72 倍。

推荐理由

OpenRouter 在一个模型的 fp8、fp4 和 fp16 端点上测量了 240 个精确答案任务,未发现可检测的准确率差距,而价格差异更多与提供商相关,而非精度。

来源:OpenRouter Announcements · openrouter.ai