OpenRouter Tests Quantization Accuracy and Self-Hosting Break-Even

OpenRouter ran 280 exact-answer tasks against six endpoints serving Qwen3.8 27B on October 20, 2026 and said it did not detect an accuracy difference between fp16, fp8 and fp4; all six endpoints scored between 98.3% and 99.2%. OpenRouter cautions that the test covers one model, 280 tasks and six endpoints on one day, and does not show 4-bit precision is safe for every model or workload. Across 1,455 endpoints, 59.5% report no precision at all, and fp8 is the most common labeled format at 23.6%. Lower precision was cheaper for most models but not all, and provider choice moved price more than precision did: the priciest same-precision endpoint was a median 1.72 times the cheapest. In a separate post, OpenRouter published a break-even analysis using per-provider prices as of October 8, 2026. At those prices, running Qwen3.8 27B on one rented RTX 3090 at $0.50 an hour breaks even at 6 to 12% load, while DeepSeek V4.1 Flash on four H200s never beats the cheapest zero-data-retention endpoint. OpenRouter recommends running a steady base load locally and sending peaks to the API.

สร้างจากรายงาน · อัปเดต 13 ชม. ที่แล้ว

1. 12 พฤศจิกายน 08:00 · 1 รายงาน
   Publishing a self-hosting vs API break-even analysis
   OpenRouter Announcements：OpenRouter เปรียบเทียบต้นทุน LLM แบบโฮสต์เองกับ API ด้วยการคำนวณจุดคุ้มทุนตามโหลด
2. 11 พฤศจิกายน 08:00 · 1 รายงาน
   OpenRouter publishes LLM quantization measurement and routin
   OpenRouter Announcements：OpenRouter ทดสอบว่า fp8 และ fp4 quantization ส่งผลต่อคุณภาพและราคาของ LLM อย่างไร

ยังมีการเฝ้าดูต่อเนื่องไม่พอจะวาดแนวโน้ม