Hacker News · AI·· 4 小時前AI 評分38
在對話中途切換 LLM 是個滑雪租賃問題
Switching LLMs mid-conversation is a ski-rental problem
AI 導讀
Edgee 的 Agent Gateway 將編碼工作階段中的 LLM 路由視為兩個相互耦合的問題:一張難度分級映射,為每一輪指派模型;以及一套切換策略,決定執行中的工作階段何時真正更換模型。由於供應商會快取對話歷史,每次更換模型都會捨棄已預熱的快取,並付出重建成本,因此該閘道將切換視為滑雪租賃式的線上問題。Self-Learning Routing 每週重播某組織過去 30 天的工作階段,以選出最便宜的分級映射與切換設定,同時讓每一輪都落在能力足夠的模型上。
來源:Hacker News · AI · edgee.ai