Hacker News · AI·· 4 小时前AI 评分38
对话中途切换 LLM 是一个滑雪租赁问题
Switching LLMs mid-conversation is a ski-rental problem
AI 导读
Edgee 的 Agent Gateway 将编码会话中的 LLM 路由视为两个耦合问题:一个难度层级映射,为每一轮分配模型;以及一个切换策略,决定运行中的会话何时真正更换模型。由于提供商会缓存对话历史,每次切换模型都会丢弃热缓存并付出重建成本,因此该网关将切换建模为滑雪租赁在线问题。Self-Learning Routing 每周重放组织过去 30 天的会话,以选出最便宜的层级映射和切换设置,同时确保每一轮都落在有能力的模型上。
来源:Hacker News · AI · edgee.ai