跳至正文
熱點事件持續更新

Edgee 將工作階段中途切換 LLM 視為滑雪租賃問題

1 篇報導1 個報導來源4 小時前更新

先了解這件事

AI 綜述

Edgee 發布了一篇技術說明,描述其 Agent Gateway 如何處理程式設計工作階段中對話中途切換 LLM 的情況,並將這項決策框架為滑雪租賃的線上問題。該閘道將路由視為兩個相互耦合的部分:一張難度分級對照表,為每一輪指派模型;以及一套切換策略,決定執行中的工作階段何時實際更換模型。由於供應商會快取對話歷史,每次切換都會捨棄已預熱的快取,並付出重建成本,這也是 Edgee 將切換建模為成本取捨、而非免費選擇的原因。 Edgee 表示,其 Self-Learning Routing 每週重播組織過去 30 天的工作階段,以挑選出最便宜的層級對照表與切換設定,讓每一輪都落在能力足夠的模型上。若要透過 Edgee 路由程式設計代理,需要安裝 CLI,約需五分鐘,且無需變更程式碼;在設定套用之前不會有任何變更;在主控台開啟分類功能則需要 Team 或 Enterprise 方案。

AI 依報導生成 · 4 小時前更新

報導時間線

沿著報導,了解事件的不同側面。

11月19日
  1. Hacker News · AI
    在對話中途切換 LLM 是個滑雪租賃問題

    Edgee 的 Agent Gateway 將編碼工作階段中的 LLM 路由視為兩個相互耦合的問題:一張難度分級映射,為每一輪指派模型;以及一套切換策略,決定執行中的工作階段何時真正更換模型。由於供應商會快取對話歷史,每次更換模型都會捨棄已預熱的快取,並付出重建成本,因此該閘道將切換視為滑雪租賃式的線上問題。Self-Learning Routing 每週重播某組織過去 30 天的工作階段,以選出最便宜的分級映射與切換設定,同時讓每一輪都落在能力足夠的模型上。

本事件熱度走勢

可比範圍當前
9
可比範圍峰值
1011月20日 00:00
近 24 小時變化
–

趨勢僅比較持續完整觀測到的相同主體,範圍可能小於當前熱度統計。移動指標或點擊圖表查看每小時熱度;鍵盤可用左右方向鍵切換。