跳到正文
热点事件持续更新

对 Gemini Decision 1 在 800 个场景中的独立测试

1 篇报道1 个报道来源3 小时前更新

先了解这件事

AI 综述

Patrick Kelly 发布了对 Google Gemini Decision 1 的独立实测评估,覆盖 24 个类别共 800 个场景,这些场景来自他自己的编程会话和一个公开数据集。他报告称,把一个宽泛的路由问题拆成四五个窄问题后,准确率从 0.72 提升到 0.88;客服路由在每次请求 230ms、每 1 万次请求 0.34 美元的成本下接近 100%,提示注入检测达到 99.7%,记忆更新过滤为 88%。预测用户反对意见的得分为 46%,而将代码文件拆分用于检索的做法不如简单的确定性代码。 该模型在一次调用中返回 true/false、分数或类别。Kelly 表示,其输入 token 价格为每百万 0.10 美元,无输出 token 费用,并且在 Google 免费层级下每天最多可免费请求 1 万次;单次请求最多可提出 1000 个问题,每个问题增加的延迟很小;100 个问题耗时约 250ms,而单个问题为 180ms。他指出这些测试并不全面。

AI 根据报道生成 · 3 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月20日
  1. Google AI · DEV
    测试 Gemini Decision 1:800 个场景显示窄问题优于宽泛问题

    一项针对 Google Gemini Decision 1 的独立测试覆盖 24 个类别下的 800 个场景,发现将一个大范围的路由问题拆分为四到五个窄问题后,准确率从 0.72 提升至 0.88。客户支持路由在每次请求 230ms、每 1 万次请求 0.34 美元的成本下达到接近 100% 的准确率,提示注入检测达到 99.7%,记忆更新过滤达到 88%,而预测用户反对意见的得分仅为 46%,用于检索的代码文件拆分则被纯确定性代码击败。该模型在一次调用中返回 true/false、分数或类别,输入 token 每百万收费 0.10 美元且无输出 token 费用,处理 100 个问题约需 250ms,而处理 1 个问题需 180ms。

本事件热度走势

可比范围当前
9
可比范围峰值
1011月20日 01:00
近 24 小时变化
–

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。