OpenRouter 測試量化準確度與自架損益平衡
先了解這件事
OpenRouter 於 2026 年 10 月 20 日針對六個提供 Qwen3.8 27B 的端點執行了 280 項精確答案任務，並表示未偵測到 fp16、fp8 與 fp4 之間的準確度差異；六個端點的得分全數介於 98.3% 與 99.2% 之間。OpenRouter 提醒，該測試僅涵蓋一個模型、280 項任務與六個端點，且僅限一天，並不能證明 4 位元精度對每個模型或工作負載都安全。在 1,455 個端點中，59.5% 完全未回報精度，而 fp8 是最常見的標示格式，占 23.6%。對多數模型而言，較低精度更便宜，但並非全部皆然，而供應商選擇對價格的影響比精度更大：同精度端點中最貴者為最便宜者中位數的 1.72 倍。 在另一篇文章中，OpenRouter 發表了一項損益平衡分析，採用截至 2026 年 10 月 8 日的各供應商價格。依這些價格，以每小時 0.50 美元租用一張 RTX 3090 執行 Qwen3.8 27B，在 6% 至 12% 負載時達到損益平衡，而在四張 H200 上執行 DeepSeek V4.1 Flash 則永遠無法勝過最便宜的零資料保留端點。OpenRouter 建議在本機執行穩定的基礎負載，並將尖峰流量送往 API。
AI 依報導生成 · 14 小時前更新
事件進展
2 個進展
- 11月12日 08:00 · 1 篇報導發布自架與 API 損益平衡分析OpenRouter Announcements：OpenRouter 以損益平衡負載計算比較自架 LLM 與 API 成本
- 11月11日 08:00 · 1 篇報導OpenRouter 發布 LLM 量化測量與路由OpenRouter Announcements：OpenRouter 測試 fp8 與 fp4 量化對 LLM 品質與價格的影響
報導時間線
沿著報導，了解事件的不同側面。
- OpenRouter AnnouncementsOpenRouter 以損益平衡負載計算比較自架 LLM 與 API 成本
OpenRouter 發布一項損益平衡分析，說明自架開放權重 LLM 在何時比透過 API 呼叫更便宜，並採用截至 2026 年 10 月 8 日的各供應商價格。依這些價格，Qwen3.8 27B 在一張每小時 0.50 美元的租用 RTX 3090 上，於 6% 至 12% 負載時達到損益平衡；而 DeepSeek V4.1 Flash 在四張 H200 上，始終無法勝過最便宜的零資料保留端點。文章也指出，provider.zdr 以及歐盟與美國網域已能涵蓋多數隱私需求，無需自架，並建議在本機執行穩定的基礎負載，同時將尖峰流量送往 API。
- OpenRouter Announcements精選OpenRouter 測試 fp8 與 fp4 量化對 LLM 品質與價格的影響
OpenRouter 於 2026 年 10 月 20 日對 Qwen3.8 27B 的六個端點執行了 280 項精確答案任務，未偵測到 fp16、fp8 與 fp4 之間有準確率差異，六個端點的得分皆介於 98.3% 至 99.2% 之間。在 1,455 個端點中，59.5% 完全未回報精度，而 fp8 是最常見的標示格式，佔 23.6%。對多數模型而言，較低精度較便宜，但並非全部皆然；供應商選擇對價格的影響大於精度，同精度端點中最貴者為最便宜者的中位數 1.72 倍。
本事件熱度走勢
還沒有足夠的連續觀測資料，暫不繪製趨勢。