跳至正文
Hacker News · AI·· 55 分鐘前AI 評分55

Langfuse 發布 AI Gateway,一個可追蹤每次 LLM 呼叫的開源 Rust 閘道

Show HN: Langfuse AI Gateway, open source rust gateway to trace every LLM call

AI 導讀

Langfuse 已發布 AI Gateway,這是一個獨立的 Rust 服務,在 /openai/v1 與 /anthropic/v1 路徑下代理原生 OpenAI 與 Anthropic API,並透過 OTLP 將每次完成的呼叫以 generation 形式上傳至 Langfuse。此閘道直接轉發供應商的 JSON 與 SSE 位元組而不改寫,透過 Langfuse Web 解析憑證,並可將 ANTHROPIC_BASE_URL 指向 /anthropic 命名空間以搭配 Claude Code 使用。它以多平台 Docker 映像形式發布於 Docker Hub 與 ghcr.io,擷取範圍限制為每次執行 5 MiB 的請求檢查與 1 MiB 的輸出保留。

來源:Hacker News · AI · github.com