OpenRouter 测试量化精度与自托管盈亏平衡
先了解这件事
2026 年 10 月 20 日，OpenRouter 针对六个提供 Qwen3.8 27B 服务的端点运行了 280 个精确答案任务，并表示未检测到 fp16、fp8 和 fp4 之间的精度差异；六个端点的得分均在 98.3% 到 99.2% 之间。OpenRouter 提醒，该测试仅覆盖一个模型、280 个任务和一天内的六个端点，并不能证明 4 位精度对所有模型或工作负载都安全。在 1,455 个端点中，59.5% 完全未报告精度，而 fp8 是最常见的标注格式，占 23.6%。对大多数模型而言，较低精度更便宜，但并非所有模型都如此；提供商选择对价格的影响大于精度：同精度下最贵端点的价格中位数是最便宜端点的 1.72 倍。 在另一篇文章中，OpenRouter 使用截至 2026 年 10 月 8 日的各提供商价格发布了盈亏平衡分析。按这些价格，在一台每小时 0.50 美元的租用 RTX 3090 上运行 Qwen3.8 27B，在 6% 到 12% 的负载下达到盈亏平衡；而在四块 H200 上运行 DeepSeek V4.1 Flash，则始终无法胜过最便宜的零数据保留端点。OpenRouter 建议在本地运行稳定的基础负载，并将峰值发送到 API。
AI 根据报道生成 · 14 小时前更新
事件进展
2 个进展
- 11月12日 08:00 · 1 篇报道发布自托管与 API 盈亏平衡分析OpenRouter Announcements：OpenRouter 通过盈亏平衡负载计算比较自托管 LLM 与 API 成本
- 11月11日 08:00 · 1 篇报道OpenRouter 发布 LLM 量化测量与路由OpenRouter Announcements：OpenRouter 测试 fp8 和 fp4 量化对 LLM 质量与价格的影响
报道时间线
沿着报道，了解事件的不同侧面。
- OpenRouter AnnouncementsOpenRouter 通过盈亏平衡负载计算比较自托管 LLM 与 API 成本
OpenRouter 发布了一项盈亏平衡分析，展示了在什么情况下自托管开放权重 LLM 的成本低于通过 API 调用，分析采用截至 2026 年 10 月 8 日的各提供商价格。按这些价格，在一台每小时 0.50 美元租用的 RTX 3090 上运行 Qwen3.8 27B，在 6% 至 12% 负载时达到盈亏平衡；而在四块 H200 上运行 DeepSeek V4.1 Flash，则始终无法胜过最便宜的零数据保留端点。文章还指出，provider.zdr 以及欧盟和美国域名已能满足大多数隐私需求，无需自托管，并建议在本地运行稳定的基础负载，同时将峰值发送到 API。
- OpenRouter Announcements精选OpenRouter 测试 fp8 和 fp4 量化对 LLM 质量与价格的影响
OpenRouter 于 2026 年 10 月 20 日针对 Qwen3.8 27B 的六个端点运行了 280 个精确答案任务，未发现 fp16、fp8 和 fp4 之间存在准确率差异，六个端点的得分均在 98.3% 至 99.2% 之间。在 1,455 个端点中，59.5% 完全未报告精度，fp8 是最常见的标注格式，占 23.6%。对大多数模型而言，较低精度更便宜，但并非所有模型都如此；提供商选择对价格的影响大于精度，同精度下最贵端点的价格中位数是最便宜端点的 1.72 倍。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。