Hacker News · AI·· 1 小时前AI 评分58
Langfuse 解释其如何用 Rust 设计 AI 网关
Designing the Langfuse AI Gateway
AI 导读
Langfuse 发布了一篇关于其 AI Gateway 的设计文章,这是一个位于所有模型调用之前的代理,使平台团队能够签发跨提供商的密钥、按密钥、用户和团队追踪成本,并将每次调用记录为一条 Langfuse trace。在 100 个并发流下,首个 token 的中位时间为 2 ms,而对比方案为 734 ms 和 729 ms。
来源:Hacker News · AI · langfuse.com