Hacker News · AI·· 1 小時前AI 評分58
Langfuse 說明其如何以 Rust 設計 AI 閘道
Designing the Langfuse AI Gateway
AI 導讀
Langfuse 發布了其 AI Gateway 的設計說明,這是一個位於所有模型呼叫前方的代理,讓平台團隊可以發行跨供應商的金鑰、追蹤每個金鑰、使用者與團隊的成本,並將每次呼叫記錄為 Langfuse trace。在 100 個並行串流下,首個 token 的中位時間為 2 ms,相較之下為 734 ms 與 729 ms。
來源:Hacker News · AI · langfuse.com