Hacker News · AI·· 1 giờ trướcĐiểm AI58
Langfuse giải thích cách họ thiết kế cổng AI của mình bằng Rust
Designing the Langfuse AI Gateway
Tóm tắt bằng AI
Langfuse đã công bố một bài viết thiết kế về AI Gateway của mình, một proxy nằm trước mọi lệnh gọi mô hình để các nhóm nền tảng có thể cấp khóa xuyên nhà cung cấp, theo dõi chi phí theo khóa, người dùng và nhóm, đồng thời ghi lại mọi lệnh gọi dưới dạng một trace của Langfuse. 2 ms cho thời gian trung vị đến token đầu tiên ở 100 luồng đồng thời, so với 734 ms và 729 ms.
Nguồn:Hacker News · AI · langfuse.com