跳到正文
Google AI · DEV· Patrick Kelly·· 3 小时前AI 评分58

测试 Gemini Decision 1:800 个场景显示窄问题优于宽泛问题

Exploring Decision Models, Part 1: Putting Gemini Decision 1 to the Test

AI 导读

一项针对 Google Gemini Decision 1 的独立测试覆盖 24 个类别下的 800 个场景,发现将一个大范围的路由问题拆分为四到五个窄问题后,准确率从 0.72 提升至 0.88。客户支持路由在每次请求 230ms、每 1 万次请求 0.34 美元的成本下达到接近 100% 的准确率,提示注入检测达到 99.7%,记忆更新过滤达到 88%,而预测用户反对意见的得分仅为 46%,用于检索的代码文件拆分则被纯确定性代码击败。该模型在一次调用中返回 true/false、分数或类别,输入 token 每百万收费 0.10 美元且无输出 token 费用,处理 100 个问题约需 250ms,而处理 1 个问题需 180ms。

来源:Google AI · DEV · dev.to