Buoyant 發布 Kinference，一個針對 vLLM 與 Kubernetes 的開源推論控制平面

Buoyant 宣布推出 Kinference，這是一個 Apache v2 開源控制平面，可將相容於 OpenAI 與 Anthropic 的推論流量路由至 Kubernetes 上的 vLLM 工作節點，並加入權杖速率限制、各租戶用量與成本追蹤、KV 快取感知負載平衡，以及 YAML 推論策略。在該專案的公開基準測試中，Kinference 在單一工作負載上，相較於標準 Kubernetes 服務負載平衡，將中位數首字延遲降低了 95%，中位數端到端延遲降低了 45%；在容量測試中，於共享前綴情境下提供 7.4 倍的有效吞吐量，於多輪對話情境下約提供 3.5 倍。策略可將較簡單的提示路由至較便宜的模型、將突發溢流導向 Bedrock 與 Databricks 等供應商，或將標記為 PII 的請求保留在叢集內；各租戶指標涵蓋權杖速率、TTFT、ITL，以及快取與未快取的提示權杖。