Tới nội dung
Hacker News · AI·· 1 giờ trướcĐiểm AI58

Langfuse giải thích cách họ thiết kế cổng AI của mình bằng Rust

Designing the Langfuse AI Gateway

Tóm tắt bằng AI

Langfuse đã công bố một bài viết thiết kế về AI Gateway của mình, một proxy nằm trước mọi lệnh gọi mô hình để các nhóm nền tảng có thể cấp khóa xuyên nhà cung cấp, theo dõi chi phí theo khóa, người dùng và nhóm, đồng thời ghi lại mọi lệnh gọi dưới dạng một trace của Langfuse. 2 ms cho thời gian trung vị đến token đầu tiên ở 100 luồng đồng thời, so với 734 ms và 729 ms.

Nguồn:Hacker News · AI · langfuse.com