對 Gemini Decision 1 進行獨立測試:涵蓋 800 個情境
先了解這件事
Patrick Kelly 發表了一項對 Google Gemini Decision 1 的獨立實測評估,涵蓋 24 個類別、共 800 個情境,這些情境建構自他本人的程式設計工作階段與一個公開資料集。他回報,將一個寬泛的路由問題拆成四到五個狹窄問題後,準確率從 0.72 提升到 0.88;客服路由在每次請求 230ms、每 10,000 次請求 $0.34 的情況下達到接近 100%,提示注入偵測達 99.7%,記憶更新過濾達 88%。預測使用者反對意見的得分為 46%,而將程式碼檔案拆分以供檢索的做法,表現不如單純的確定性程式碼。 該模型在一次執行中回傳 true/false、分數或類別。Kelly 表示,其費用為每百萬輸入 token $0.10,且不收取輸出 token 費用,另外在 Google 免費方案下每天最多可免費請求 10,000 次;單次請求最多可提出 1,000 個問題,而每個問題增加的延遲很小;100 個問題約耗時 250ms,單一問題則為 180ms。他指出這些測試並非窮盡所有情況。
AI 依報導生成 · 3 小時前更新
報導時間線
沿著報導,了解事件的不同側面。
- Google AI · DEV測試 Gemini Decision 1:800 個情境顯示窄問題勝過寬泛問題
一項針對 Google 的 Gemini Decision 1 在 24 個類別、800 個情境中進行的獨立測試發現,將一個寬泛的路由問題拆成四到五個窄問題,可將準確率從 0.72 提升到 0.88。客戶支援路由在每次請求 230ms、每 10,000 次請求 $0.34 的情況下達到近 100% 的準確率,提示注入偵測達到 99.7%,記憶更新過濾達到 88%,而預測使用者反對意見的得分為 46%,拆分程式碼檔案以供檢索的表現則不如單純的確定性程式碼。該模型一次呼叫即可回傳 true/false、分數或類別,每百萬輸入 token 收費 $0.10,且不收取輸出 token 費用,處理 100 個問題約需 250ms,而處理一個問題則需 180ms。
本事件熱度走勢
- 可比範圍當前
- 9
- 可比範圍峰值
- 1011月20日 01:00
- 近 24 小時變化
- –
趨勢僅比較持續完整觀測到的相同主體,範圍可能小於當前熱度統計。移動指標或點擊圖表查看每小時熱度;鍵盤可用左右方向鍵切換。