跳至正文
Google AI · DEV· Patrick Kelly·· 3 小時前AI 評分58

測試 Gemini Decision 1:800 個情境顯示窄問題勝過寬泛問題

Exploring Decision Models, Part 1: Putting Gemini Decision 1 to the Test

AI 導讀

一項針對 Google 的 Gemini Decision 1 在 24 個類別、800 個情境中進行的獨立測試發現,將一個寬泛的路由問題拆成四到五個窄問題,可將準確率從 0.72 提升到 0.88。客戶支援路由在每次請求 230ms、每 10,000 次請求 $0.34 的情況下達到近 100% 的準確率,提示注入偵測達到 99.7%,記憶更新過濾達到 88%,而預測使用者反對意見的得分為 46%,拆分程式碼檔案以供檢索的表現則不如單純的確定性程式碼。該模型一次呼叫即可回傳 true/false、分數或類別,每百萬輸入 token 收費 $0.10,且不收取輸出 token 費用,處理 100 個問題約需 250ms,而處理一個問題則需 180ms。

來源:Google AI · DEV · dev.to