Langfuse công bố thiết kế và kết quả đánh giá cho AI Gateway viết bằng Rust của mình
Bắt đầu từ đây
Langfuse đã công bố một bài viết về thiết kế và đánh giá hiệu năng cho AI Gateway của mình, một proxy viết bằng Rust nằm trước mọi lệnh gọi mô hình. Các nhóm nền tảng có thể phát hành khóa liên nhà cung cấp, theo dõi chi phí theo khóa, người dùng và nhóm, đồng thời ghi lại mọi lệnh gọi dưới dạng một trace của Langfuse. Langfuse báo cáo thời gian trung vị đến token đầu tiên là 2 ms với 100 luồng đồng thời, so với 734 ms và 729 ms của các giải pháp thay thế mà họ đã so sánh. Gateway đang ở giai đoạn beta công khai trên Langfuse Cloud và có thể tự triển khai song song với Langfuse của chính người dùng, nhưng nó luôn yêu cầu một bản triển khai Langfuse, dù là Cloud hay tự triển khai, làm control plane của mình. Các tổ chức lựa chọn giữa trace chỉ ghi mức sử dụng (mô hình, token, chi phí) và ghi đầy đủ đầu vào lẫn đầu ra; trên Langfuse tự triển khai, quản trị viên có thể tắt ghi nhận để gateway chỉ định tuyến các lệnh gọi. Langfuse cho biết gateway chuyển tiếp nguyên vẹn API của nhà cung cấp mà không dịch chúng. Họ cũng lưu ý rằng Claude Code phải đăng xuất khỏi gói đăng ký claude.ai để dùng thông tin xác thực của gateway, và khi đó các connector dựa trên gói đăng ký sẽ không khả dụng trong Claude Desktop.
Tạo từ các bài viết · cập nhật 42 phút trước
Dòng thời gian bài viết
Theo các bài viết để thấy sự việc từ nhiều phía.
- Hacker News · AILangfuse giải thích cách họ thiết kế cổng AI của mình bằng Rust
Langfuse đã công bố một bài viết thiết kế về AI Gateway của mình, một proxy nằm trước mọi lệnh gọi mô hình để các nhóm nền tảng có thể cấp khóa xuyên nhà cung cấp, theo dõi chi phí theo khóa, người dùng và nhóm, đồng thời ghi lại mọi lệnh gọi dưới dạng một trace của Langfuse. 2 ms cho thời gian trung vị đến token đầu tiên ở 100 luồng đồng thời, so với 734 ms và 729 ms.
Độ nóng của sự việc này
Chưa đủ quan sát liên tục để vẽ xu hướng.