Google 对低成本分类器进行基准测试，以按任务成本路由 Gemini 模型

Google 开展了一项 50 道题的自动评分编码智能体基准测试，检验轻量级分类器 TypeSafe 的 Jev 能否将每项任务路由到仍能正确作答的最便宜 Gemini 配置。一个冻结的正则表达式与提示长度启发式方法在 16 道开发题上得分 93.8%，但在 34 项留出任务上下降 23.2 个百分点至 70.6%，而 Jev 在整个测试集上达到 96.0%。最强的无路由方案——Gemini 3.8 Flash 低思考模式——解决了全部 50 项任务；一个 Jev 路由器先将任务发送给 Flash-Lite、再对标记的任务升级，同样解决了全部 50 项任务，同时降低了成本和响应时间；将 maxOutputTokens 上限设为 300 在简单任务上未节省任何成本，却导致 25 项困难任务中的 7 项失败。