跳至正文
Hacker News · AI·· 6 小時前AI 評分22

為什麼替換一次 LLM 呼叫需要的不只是意圖分類

LLM call is doing more than you think

AI 導讀

Audiala 用一個決策模型替換了 LLM 路由器,並在 23 分鐘後回滾,因為原本的呼叫還負責解析城市、對話指代和工具控制旗標。文章主張,替換的單位應該是應用程式所依賴的行為,並逐步說明如何還原一次呼叫的契約、建構替代方案,以及評估完整的替換。文章也區分了符合輸出結構、與現行方案一致,以及滿足應用程式需求這三件事。

來源:Hacker News · AI · seldon-ai.com