Langfuse phát hành AI Gateway Rust mã nguồn mở để truy vết LLM
Bắt đầu từ đây
Langfuse đã phát hành AI Gateway, một dịch vụ Rust mã nguồn mở độc lập làm proxy cho các đường dẫn API gốc của OpenAI và Anthropic dưới /openai/v1 và /anthropic/v1, đồng thời tải mỗi lệnh gọi đã hoàn tất lên Langfuse dưới dạng một generation qua OTLP. Gateway chuyển tiếp nguyên vẹn JSON và byte SSE của nhà cung cấp mà không viết lại, phân giải thông tin xác thực qua Langfuse Web, và có thể dùng với Claude Code bằng cách trỏ ANTHROPIC_BASE_URL vào namespace /anthropic. Suy luận yêu cầu đã cấu hình Web URL và shared service key; nếu không có Web URL, tiến trình khởi động chỉ với liveness khả dụng, còn readiness và suy luận trả về 503. Việc build và test không cần Web, cơ sở dữ liệu hay thông tin xác thực nhà cung cấp thật, và gateway tải tệp .env ở thư mục gốc rồi lắng nghe trên cổng khả dụng đầu tiên bắt đầu từ 8080. Nó được phát hành dưới dạng image Docker đa nền tảng trên Docker Hub và ghcr.io. Việc ghi nhận giới hạn ở 5 MiB cho kiểm tra yêu cầu và 1 MiB cho đầu ra được lưu giữ mỗi lần thực thi.
Tạo từ các bài viết · cập nhật 12 phút trước
Dòng thời gian bài viết
Theo các bài viết để thấy sự việc từ nhiều phía.
- Hacker News · AILangfuse ra mắt AI Gateway, một gateway Rust mã nguồn mở theo dõi mọi lệnh gọi LLM
Langfuse đã phát hành AI Gateway, một dịch vụ Rust độc lập đóng vai trò proxy cho các đường dẫn API gốc của OpenAI và Anthropic dưới /openai/v1 và /anthropic/v1, đồng thời tải mỗi lệnh gọi đã hoàn tất lên Langfuse dưới dạng một generation qua OTLP. Gateway chuyển tiếp nguyên vẹn byte JSON và SSE của nhà cung cấp mà không viết lại, phân giải thông tin xác thực thông qua Langfuse Web, và hoạt động với Claude Code bằng cách trỏ ANTHROPIC_BASE_URL vào namespace /anthropic. Nó được phát hành dưới dạng image Docker đa nền tảng trên Docker Hub và ghcr.io, với việc ghi nhận giới hạn ở 5 MiB cho kiểm tra request và 1 MiB lưu giữ output cho mỗi lần thực thi.
Độ nóng của sự việc này
Chưa đủ quan sát liên tục để vẽ xu hướng.