跳到正文
Hacker News · AI·· 1 小时前AI 评分58

Langfuse 解释其如何用 Rust 设计 AI 网关

Designing the Langfuse AI Gateway

AI 导读

Langfuse 发布了一篇关于其 AI Gateway 的设计文章,这是一个位于所有模型调用之前的代理,使平台团队能够签发跨提供商的密钥、按密钥、用户和团队追踪成本,并将每次调用记录为一条 Langfuse trace。在 100 个并发流下,首个 token 的中位时间为 2 ms,而对比方案为 734 ms 和 729 ms。

来源:Hacker News · AI · langfuse.com