LiveKit 通过同一个 Google 插件，让 Gemini 4 Hydrogen 和 Gemini 3.8 Flash 运行在一个语音旅行礼宾智能体中，并故意让工具调用失败；在 54 份转录中，Hydrogen 的虚假预订报告为 0 次，而 3.8 Flash 为 2 次。在 Hydrogen 设为 high、3.8 Flash 设为默认的情况下，Hydrogen 的第一句话早到 1.2 秒（4.0 秒对 5.2 秒）；两者都设为 low 时，早到 1.7 秒（2.8 秒对 4.6 秒）。作者建议语音智能体使用 medium 或 high 思考级别，并指出 xhigh 的首句延迟中位数为 7.8 秒，最坏情况为 52 秒。
推荐理由：LiveKit 的实测显示，Gemini 4 Hydrogen 会报告每一次被故意破坏的工具调用，并且比 3.8 Flash 更早开始回复，同时提供了语音智能体在各思考级别下的延迟数据。
AWS 已开源 UAEF（Universal Agent Evaluation Framework，通用 Agent 评估框架），这是一个与框架无关的系统，通过适配器将来自 LangGraph、LangChain、Strands Agents、Amazon Bedrock AgentCore 和 Langfuse 的 Agent 轨迹归一化为统一的 AgentTrace，然后用覆盖 7 个维度的 36 项内置指标进行打分。结果按实验存储在 Amazon DynamoDB 和 Amazon S3 中，使团队可以将 Agent 版本与基线进行比较，用默认 5% 的阈值标记回归，并生成统计报告以及由 LLM 撰写的洞察。文章称，来自电信、医疗和金融服务领域 12 个组织的客户在发布前使用了 UAEF，Apache 2.0 代码、Python 库、CDK 部署和各框架 notebook 均位于 awslabs/uaef GitHub 仓库中。
推荐理由：AWS 团队开源 UAEF，用适配器把不同框架的 Agent 轨迹统一成一种格式，再以 36 项指标跨 7 个维度打分，为跨框架比较 Agent 版本提供了一套可复用的评测层。
OpenRouter 于 2026 年 10 月 20 日针对 Qwen3.8 27B 的六个端点运行了 280 个精确答案任务，未发现 fp16、fp8 和 fp4 之间存在准确率差异，六个端点的得分均在 98.3% 至 99.2% 之间。在 1,455 个端点中，59.5% 完全未报告精度，fp8 是最常见的标注格式，占 23.6%。对大多数模型而言，较低精度更便宜，但并非所有模型都如此；提供商选择对价格的影响大于精度，同精度下最贵端点的价格中位数是最便宜端点的 1.72 倍。
推荐理由：OpenRouter 在一个模型的 fp8、fp4 和 fp16 端点上测量了 240 个精确答案任务，未发现可检测的准确率差距，而价格差异更多与提供商相关，而非精度。
OpenRouter 在八份自制的退化扫描件上测试了 15 个视觉模型、Mistral OCR 和 Tesseract，Claude Opus 5.5 最准确，264 个关键值中答对 262 个，每 1,000 页成本 16.42 美元；Mistral OCR 性价比最高，264 个中答对 258 个，成本 2.02 美元。在一张褪色收据上，GPT-6 Luna 和 GPT-6.1 Sol 编造了卡号数字、一个服务器名称和 wifi 密码，这些错误是字符错误率无法揭示的。文章附有代码，可转录扫描件、关闭推理、交叉核对来自不同实验室的两个模型，并通过 file-parser 插件运行 Mistral OCR。
推荐理由：对 15 个视觉模型以及 Mistral OCR 和 Tesseract 在八份退化扫描件上的实测基准，附可运行代码，用于交叉核对两个模型以捕捉编造的数值。
Anthropic 在 Claude Code 内的 claude-api skill 中新增了两个命令：/claude-api build-eval 会在你的代码库中构建评估集，/claude-api hillclimb 则基于该评估对应用进行迭代，并使用留出集来防止过拟合。
推荐理由：Anthropic 为其 claude-api skill 新增了 build-eval 和 hillclimb 命令，展示了 Claude Code 如何设计评估并据此迭代，同时防止过拟合。
Modal 的 Charles Frye 在新数据集上复现了 Large Language Monkeys 论文的核心主张，表明重复采样使 LLaMA 3.1 8B 在 HumanEval 上从 66.4% pass@1 提升至 90.5% pass@100 和 95.1% pass@1000，而 GPT-4o 报告的 pass@1 为 90.2%。运行使用 Modal 无服务器 GPU 上的 vLLM 和 Modal Sandboxes 进行并行测试执行，成本远低于 50 美元，并在三个数量级上展现出平滑、可预测的扩展。
推荐理由：一次亲手复现表明，使用小型开源模型进行重复采样可以在 HumanEval 上接近 GPT-4o，提供了一种具体、低成本的计算换准确率方案。