跳至正文
熱點事件持續更新

Langfuse 發布其 Rust AI Gateway 的設計與基準測試

1 篇報導1 個報導來源1 小時前更新

先了解這件事

AI 綜述

Langfuse 發布了其 AI Gateway 的設計與基準測試報告,這是一個以 Rust 建構的代理,位於所有模型呼叫之前。平台團隊可以簽發跨供應商的金鑰、依金鑰、使用者與團隊追蹤成本,並將每次呼叫記錄為一筆 Langfuse trace。Langfuse 回報,在 100 個並行串流下,首個 token 的中位時間為 2 毫秒,而其所比較的替代方案分別為 734 毫秒與 729 毫秒。 該閘道在 Langfuse Cloud 上處於公開測試階段,也可與使用者自己的 Langfuse 一同自架,但它始終需要一個 Langfuse 部署(Cloud 或自架)作為其控制平面。組織可選擇僅記錄使用量的 trace(模型、token、成本),或完整擷取輸入與輸出;在自架的 Langfuse 上,管理員可以關閉記錄,讓閘道僅路由呼叫。 Langfuse 表示,該閘道會原樣傳遞供應商 API,不進行轉譯。它還指出,Claude Code 必須登出 claude.ai 訂閱才能使用閘道憑證,而屆時在 Claude Desktop 中便無法使用由訂閱支援的連接器。

AI 依報導生成 · 42 分鐘前更新

報導時間線

沿著報導,了解事件的不同側面。

11月18日
  1. Hacker News · AI
    Langfuse 說明其如何以 Rust 設計 AI 閘道

    Langfuse 發布了其 AI Gateway 的設計說明,這是一個位於所有模型呼叫前方的代理,讓平台團隊可以發行跨供應商的金鑰、追蹤每個金鑰、使用者與團隊的成本,並將每次呼叫記錄為 Langfuse trace。在 100 個並行串流下,首個 token 的中位時間為 2 ms,相較之下為 734 ms 與 729 ms。

本事件熱度走勢

還沒有足夠的連續觀測資料,暫不繪製趨勢。