LiveKit 讓 Gemini 4 Hydrogen 與 Gemini 3.8 Flash 透過同一個 Google 外掛，在一個工具會故意失敗的語音旅遊禮賓代理中運行，結果 Hydrogen 在 54 份逐字稿中做出 0 次虛假預訂回報，而 3.8 Flash 為 2 次。在 Hydrogen 設為 high、3.8 Flash 設為預設值時，Hydrogen 的第一句話早 1.2 秒出現（4.0 秒對 5.2 秒）；兩者都設為 low 時，則早 1.7 秒（2.8 秒對 4.6 秒）。作者建議語音代理採用 medium 或 high 思考等級，並指出 xhigh 的中位數到第一句話為 7.8 秒，最差情況為 52 秒。
推薦理由：LiveKit 的實測顯示，Gemini 4 Hydrogen 會回報每一次故意損壞的工具呼叫，且比 3.8 Flash 更早開始回覆，並提供語音代理各思考等級的延遲資料。
OpenRouter 在一個 274 題的合成 RAG 資料集上對 11 個重排器進行了基準測試，發現用 voyageai/rerank-3-lite 對向量搜尋的前 30 個候選進行重排，可將 precision@1 從 81.0% 提升到 97.1%，每 1,000 次查詢成本約 $0.10。該指南建議檢索約 30 個片段、對其重排，並只將前 3 個傳送給 LLM，在其測試中這將答案準確率提升到 99.3%，同時將每 1,000 個問題的作答成本從 $0.22 降到 $0.16。它還指出了失敗模式：省略 input_type 參數會損失 7 到 12 個百分點的 precision@1，而 cohere/rerank-v3.5 會默默忽略超出其 4,096 token 限制的內容。
LangChain 說明了評估驅動開發（EDD），這是一套建構 AI 代理的三步流程：定義什麼算好、在建構前先寫好評估、每次變更後比較結果。由於代理具有非確定性，評估會在一組範例資料集上為每次執行評分，並可使用 LLM-as-a-judge，而以 LangSmith 中的真實代理執行作為測試輸入的來源。
Amazon Bedrock AgentCore Evaluations 現在讓團隊能執行 AWS 內建評估器，搭配受管的 DeepEval 與 AutoEval 指標，以及由兩者衍生的自訂評估器。內建目錄涵蓋 15 個評估器，橫跨回應品質、目標完成、工具使用、技能與安全，並包含三項針對預期工具路徑的軌跡檢查。DeepEval 新增多輪指標，例如 ConversationCompleteness 與 KnowledgeRetention，而 AutoEval 則提供包括安全性在內的專門訊號。
AWS 已開源 UAEF（Universal Agent Evaluation Framework），這是一個與框架無關的系統，透過適配器將來自 LangGraph、LangChain、Strands Agents、Amazon Bedrock AgentCore 和 Langfuse 的代理軌跡正規化為統一的 AgentTrace，再以 7 個維度下的 36 項內建指標進行評分。結果按實驗分別儲存在 Amazon DynamoDB 和 Amazon S3 中，讓團隊可以將代理版本與基準進行比較，以預設 5% 的閾值標記回歸，並生成統計報告及 LLM 撰寫的洞察。文章指出，電信、醫療保健和金融服務領域 12 個組織的客戶在發布前使用了 UAEF，Apache 2.0 程式碼、Python 函式庫、CDK 部署及各框架的 notebook 均位於 awslabs/uaef GitHub 儲存庫中。
推薦理由：AWS 團隊開源 UAEF，用適配器把不同框架的 Agent 軌跡統一成一種格式，再以 36 項指標跨 7 個維度打分，為跨框架比較 Agent 版本提供了一套可復用的評測層。
AWS 推出代理開發生命週期（Agent DLC），這是一套框架，包含一個生命週期、兩個迴圈，以及單一明確標準，用來評判每一次代理變更。它針對三項會破壞傳統 CI/CD 的代理特性：非確定性、提示詞即原始碼，以及獨立移動的依賴項。一個參考用的人力資源政策助理顯示，在三道測試題中，區塊層級檢索精確度皆為 1.00，而事實層級精確度降至 0.09，且其中一道題的檢索覆蓋率為 0.00。
OpenRouter 發布了一份指南，說明如何以你自己應用程式的輸入對 LLM 進行基準測試，用程式碼為輸出評分，並比較準確率、計費成本和請求時間。在其 60 項合成任務中，GPT-6.1 Sol 在三次重複中共通過 180/180 次試驗，而 DeepSeek 的通過次數為 157/180，回應成本最低。與公開排名的吻合度較弱，Spearman 相關係數為 0.109。
inclusionAI 發布 LemonDecider 4B v3，這是一個從 Qwen3.5-4B 微調而成的決策模型，透過單次聯合前向傳遞回傳選項、是/否或序數機率，而非生成答案 token。該模型以約 120 萬筆決策／問答資料列訓練，在公開的 Decision Index 0.4 測試套件上得分 61.67，請求延遲中位數為 49.9 毫秒。
OpenRouter 於 2026 年 10 月 20 日對 Qwen3.8 27B 的六個端點執行了 280 項精確答案任務，未偵測到 fp16、fp8 與 fp4 之間有準確率差異，六個端點的得分皆介於 98.3% 至 99.2% 之間。在 1,455 個端點中，59.5% 完全未回報精度，而 fp8 是最常見的標示格式，佔 23.6%。對多數模型而言，較低精度較便宜，但並非全部皆然；供應商選擇對價格的影響大於精度，同精度端點中最貴者為最便宜者的中位數 1.72 倍。
推薦理由：OpenRouter 對同一模型的 fp8、fp4 與 fp16 端點進行了 240 項精確答案任務的測量，未發現可偵測的準確率差距，而價格差異與供應商的關聯大於與精度的關聯。
JioStar 首席架構師 Vijay Seshadri 分享在 5 億用戶規模下運行 AI 探索的經驗，涵蓋評估、護欄，以及將 AI 投入生產。這篇由 OpenAI 發表的文章聚焦於大規模 AI 部署背後的營運實務。
inclusionAI 發布了 ZoomGain-9B 與 ZoomGain-4B 視覺語言模型檢查點，同時推出 ZoomGainBench 評估基準與 ZoomGain RL 訓練資料。ZoomGain 透過挖掘從全局到縮放的感知落差來建構細粒度視覺監督，而 ZoomGain-9B 在多項細粒度與通用感知基準上達到更優異的表現。ZoomGainBench 包含 941 張影像上的 1,000 道問題，而 RL 資料集則有 9,000 筆訓練紀錄與 7,713 張來源影像。
inclusionAI 發布 SingVL S1，這是一個建構於 Qwen3.5 之上的 4B 多模態決策模型，能在單次 Transformers 前向傳遞中，針對文字或 JSON 以及最多四張圖片回答具名問題。它支援選擇題、是/否（noul）以及 2–10 級評分題，在 Public Vision Index 上得分 73.94，在 Public Text Index 上得分 69.76。該模型隨附 Python 推論程式碼與 FastAPI HTTP 伺服器。
OpenRouter 在八份自製的劣化掃描檔上測試了 15 個視覺模型、Mistral OCR 與 Tesseract，Claude Opus 5.5 最準確，264 個關鍵值中答對 262 個，每 1,000 頁成本 $16.42，而 Mistral OCR 性價比最佳，264 個中答對 258 個，成本 $2.02。在一張褪色收據上，GPT-6 Luna 與 GPT-6.1 Sol 捏造了卡片數字、一個伺服器名稱與 wifi 密碼，這些錯誤無法從字元錯誤率中看出。文章包含轉錄掃描檔、關閉推理、交叉核對兩個不同實驗室的模型，以及透過 file-parser 外掛執行 Mistral OCR 的程式碼。
推薦理由：對 15 個視覺模型加上 Mistral OCR 與 Tesseract 在八份劣化掃描檔上進行實測基準測試，並附上可執行的程式碼，可交叉核對兩個模型以揪出捏造的值。
Apple 研究人員測試 LLM 評審在評估生成文本是否符合使用者偏好寫作風格方面的表現，使用四種 LLM 針對三項長篇寫作任務生成文本，並將評審標註與人類成對標籤進行比較。評審品質與 LLM 在 MMLU 上的通用能力僅呈弱相關（Pearson's ρ ≤ 0.2），且隨寫作任務與評估標準而異，成對比較比獨立評分更具一致性。最強的 LLM 並未最可靠地重現人類評估，可能是因為對細微細節的敏感度被誇大。
在對七款工具進行比較後，Recraft 被評為 2026 年最佳 AI 圖示生成器；該比較以五個圖示的風格一致性測試與原生 SVG 匯出進行評分。Recraft 在各字符間維持了筆畫粗細與圓角半徑，並可匯出可編輯的 SVG；Canva 僅部分通過，而 Adobe Firefly 與 Midjourney 兩項檢查均未通過，且僅輸出點陣圖。
七款 AI 迷因產生器——Imgflip、Canva、Supermeme.ai、Recraft、Kapwing、ChatGPT 與 Magic Hour——以相同的三份迷因需求，針對免費方案、浮水印、範本、字幕呈現、匯出尺寸與 API 進行測試。比較結果顯示沒有通用的贏家：Imgflip 在經典範本上勝出，Supermeme.ai 擅長從想法到字幕，Recraft 與 ChatGPT 擅長原創圖片，Kapwing 擅長影片與 GIF，而當迷因必須配合版面時則選 Canva。
Recraft 是製作刀模輪廓、透明 PNG 與 SVG 的最佳 AI 貼圖生成器，且全都在同一畫布完成；Canva 則較適合在同一編輯器中製作貼圖組與下單印刷。七款工具於 2026 年 11 月 9 日依五項印刷標準評分，只有 Recraft、Kittl 與 Canva Print 提供真正的裁切線或印刷貼圖組途徑。Firefly、Ideogram、Leonardo AI 與 ChatGPT 則在較窄的用途上勝出，例如照片轉貼圖或聊天貼圖包。
一項針對七款 AI 角色生成器的比較，依姿勢一致性、參考圖像、風格控制、匯出格式與免費方案評分，結果顯示沒有單一最佳工具能適用於所有需求。Recraft 在讓同一角色跨姿勢保持一致、可重複使用的風格與 SVG 向量匯出方面領先；Midjourney 則在單幀外觀上勝出，但沒有免費方案，Basic 方案為每月 10 美元。Gemini 與 ChatGPT 適合在對話中反覆調整角色，而 Recraft、Gemini、ChatGPT、Leonardo、Ideogram 與 OpenArt 都提供免費或每週額度方案。
Snorkel 使用 Modal 的 GPU 與 CPU 沙箱，每月執行數百萬次代理模擬，每小時尖峰達數萬個沙箱，並依賴 Modal 對其評估的開放權重模型進行推論。採用 Modal 的記憶體突發功能後，Snorkel 的沙箱總帳單降低約 20%，目前約有 10-15% 的沙箱使用突發功能。Modal 是唯一能大規模滿足 Snorkel GPU 沙箱需求的沙箱供應商。
Ai2 推出 StateBench，這是一套具有四個難度等級的長上下文狀態追蹤基準，涵蓋從不可變賦值到自我參照與交叉參照更新。在測試中，Gemini 3.8 Flash、Claude Opus 5.5 以及 GPT-6 Sol 與 Luna 能處理較簡單的等級，但在最長的通用有限問題上降至 13% 或更低；而 275M 參數的 Gated DeltaNet 與從頭訓練的混合模型在前三個等級上幾乎完美泛化，Transformer 則從未學會最難的等級。
OpenAI 研究人員測量了代理安全中的評估與生產行為落差：在六個已部署模型中，Respecting Warnings 評估的成功率比對應的 Codex 生產決策低 10.2 至 37.4 個百分點，其中 GPT-5.6 Sol 與 GPT-6 Sol 的落差最大。單獨的通用評估意識與該落差關聯微弱（R² = 0.008），而特定的評估目標意識關聯較強（R² = 0.370），且最常口頭表述錯誤目標（抵抗提示注入）的模型落差最大。在對 GPT-6.1 Sol 的干預中，通用評估提示幾乎未改變成功率（63.1% 對 63.4%），正確目標提示將其提升至 91.6%，錯誤目標提示則將其降至 17.6%。
微軟的產業評估資料生成平台建立完整的合成企業環境，在不使用客戶資料的情況下評估 Microsoft Copilot。該平台以 O*NET 職業資料、職缺公告與 SEC 申報文件等公開來源為基礎，生成包含使用者、會議、電子郵件與文件的擬真租用戶，並搭配自動化查詢流程與品質框架。微軟表示，這為 Copilot 建立了首個標準化評估基準。
Google 的 Agents CLI 評估命名空間為 agent 執行爬山式迴圈：eval generate、grade、compare、analyze 與 optimize。在 Agents CLI v1.8.0 中對 LangChain 範本的逐步操作裡，以 gemini-3.8-flash 作為評審時，基線得分為 4.0/5，而錯誤的 chef 系統提示詞使其降至 2.75。
Ai2 發布了 Old Ideas, Novel Problems，這是一項研究與基準，用來測試 LLMs 評估研究想法創新性的可靠程度，並附上資料、程式碼以及用於建立新評估集的流程。在包含 GPT-5.1、GPT-5.2、GPT-5.4、Claude Sonnet 4.5、Claude Opus 4.5 和 Claude Opus 4.6 在內的六個評審中，小幅的提示詞變動使 AI 生成想法的準確率變動超過 50 個百分點，而一個簡單提示的 Claude Opus 4.6 基線以 $2.59 的成本達到 0.854 的 macro-F1，相比之下 Idea Novelty Checker 以 $30.66 達到 0.642，Sakana AI 的 AI Scientist 則以 $82.05 達到 0.772。
Amazon 與獨立非營利組織 AVERI 合作，審查其內部安全評估資料集的品質，而不僅是模型輸出。AVERI 驗證了主題涵蓋範圍、提示多樣性及低污染風險，同時建議擴大涵蓋多語言、增加多步驟對抗性提示，並訂定更清晰的評分標準。Amazon 對此以更新測試集、分級難度及每季審查機制回應。
OpenAI 的對齊部落格在 g-mean² 中新增了兩項指標；g-mean² 是其資料集層級的監測器辨別力衡量指標。配對匹配指標僅在支援相關正向、負向或介入有效比較的任務實例上比較模型，而後控制整合指標則模擬由監測器把關的拒絕機制，並估計部署系統仍輸出不良結果的機率。該文章亦推導出介入評估的悲觀下界。
inclusionAI 發布 Ming-3.0-tts，這是一個開放權重的多語言語音合成系列，包含兩個模型：Ming-3.0-tts-0.5b，一個 0.5B dense 模型；以及 Ming-3.0-tts-tiny，一個建構於 Ling V3 之上的 MoE 模型，總參數 7.9B、活躍參數 1.3B。兩者均附有推論程式碼、任務 cookbook 與基準測試表格，並支援聲音複製、基於文字的語音設計、自由形式的自然語言表達控制、14 個行內副語言標籤、情緒與語速/音高/音量控制，以及中文、英文、德文、西班牙文、法文、韓文、日文、四川話與粵語。在 2026 年 10 月的 Artificial Analysis 文字轉語音排行榜上，Ming-3.0-tts 在 Controlled Voice 項目於開放權重模型中排名第 1，在 Pronunciation Robustness 項目以 93.2% 排名總體第 1，並在 Provider Voice 項目於開放權重模型中排名第 3。
Legora 現在將每一項法律代理評估分別執行於獨立的 Modal Sandbox 中，啟動其完整應用程式並固定於特定 commit，使每次執行都反映確切的產品版本。典型實驗包含 100 個案例、4 種 harness 變體、每種各 5 次試驗——共 2,000 次平行執行——並以 Modal Volumes 快照文件、資料庫與權限狀態。Legora 也從 gVisor 遷移至 Modal VM Sandboxes，移除了其 Docker 網路與 FUSE 的變通方案，並透過更智慧的壓縮與自訂工具搜尋，將代理成本降低 30%。
LiveKit 發布了一份以開發者為中心的比較，針對建構語音 AI 代理比較 Retell、Vapi 與 LiveKit，並以四個問題界定選擇：上線後由誰迭代代理、需求超出預設範圍時會發生什麼、是否必須在電話通話之外運行，以及規模化時的成本。Retell 是具備視覺化編輯器的託管平台，Vapi 是透過 API 與儀表板配置、面向開發者的託管平台，LiveKit 則是 Apache 2.0 開源框架，支援自架。預估每分鐘總成本約為 Retell $0.070–$0.310、Vapi $0.070–$0.116、LiveKit $0.037–$0.099。
GitHub 發布了 ReviewBench，這是一個用於 AI 程式碼審查代理的開放基準，建構於橫跨 19 種語言的 219 個公開 pull request 之上，其語言與儲存庫規模分布仿照 1.039 億個 GitHub pull request 設計。黃金集彙整了人類審查者、作者後續提交、靜態分析以及多個前沿 LLM 的發現，並由 Claude Sonnet 5 依據已發布的評分標準進行評分，資深工程師則獨立重新標註了每一項發現，一致率達 96.6%。GitHub 表示，其對 Copilot 程式碼審查的離線評估預示了生產環境 A/B 測試的方向，其中已處理率上升 8.0%、召回率上升 13.6%，每次審查成本下降 8.0%。
Anthropic 在 Claude Code 內的 claude-api 技能中新增了兩個指令：/claude-api build-eval 會在你的程式碼庫中建立評估集，而 /claude-api hillclimb 則會針對該評估反覆迭代應用程式，並以保留集來捕捉過擬合。
推薦理由：Anthropic 在其 claude-api 技能中新增 build-eval 與 hillclimb 指令，展示 Claude Code 如何設計評估並針對評估反覆迭代，同時防範過擬合。
Vapi 推出 Simulations，這是一項原生 AI 驅動的測試功能，會在與語音代理通話的另一端放置具有鮮明個性、且情境取自客戶的 AI 測試員。每次執行都會回傳通過/失敗結果、完整逐字稿與錄音，團隊可以模擬 API 回應、執行低成本的純文字聊天模式或完整語音模式，並可透過 API 觸發執行，搭配品質閘門，在通過率下降時阻擋部署。
Speechify 的 Simba 3.2 以 99 分登上 Vapi 人性化指數榜首，距離人類基準 100 分僅差一分；Fish Audio 的 S2.1-Pro 以 94 分進入榜單，首音延遲為 141 毫秒。先前領先的 xAI Grok TTS 僅以 95 分佔據榜首三週，而最高分此後已從 95 分升至 99 分。Vapi 主張，模型無關的語音平台讓團隊能在排名變動時更換 TTS 模型。
Vapi 的擬真度指數是一項盲測群眾外包排行榜，由聽眾從兩段克隆語音中選出哪一段聽起來更像真人。在超過 11,000 票之後，xAI 的 Grok TTS 獲 95 分，MiniMax Speech 2.5 獲 93 分，而真人錄音為 100 分。每場對決中，各模型都使用相同的克隆語音與腳本，且真人錄音也納入比較組，因此 95 分意味著聽眾在同一段引文上選擇 Grok TTS 的比例幾乎與選擇真人相同。Vapi 主張自然度已不再是語音代理的瓶頸，因為來電者實際體驗到的是聲音，而非其背後的推理能力。
Factory 建立了一個開源基準測試，以來自 Sentry、Grafana、Keycloak、Discourse 和 Cal.com 的 50 個真實 pull request 測試 13 個模型，每個模型都以高推理強度對每個 PR 至少審查三次，並由 LLM 評審依據人工策劃的黃金標準集對發現進行評分。GPT-5.2 以 60.5% F1、每個 PR 1.25 美元領先，領先 Claude Opus 4.6 的 59.8% F1 和每個 PR 3.11 美元，而 MiniMax M2.7 以每個 PR 0.15 美元達到 45.6% F1，Kimi K2.5 以 0.41 美元達到 51.9% F1。Factory 表示成本僅解釋約 21% 的品質變異，並開源了黃金標準集、評估腳本以及支援全部 13 個模型的 Droid Action GitHub Action。
Factory 推出 Agent Readiness，從八個技術支柱與五個成熟度等級評估程式碼庫對自主開發的支援程度，可透過 Droid 中的 /readiness-report、組織儀表板或 API 執行。每項標準皆為二元判定，唯有當某等級 80% 的標準及所有先前等級皆通過時，該等級才會解鎖；將每次評估建立於儲存庫先前的報告之上，使 9 個基準儲存庫在六週內的評分變異從平均 7% 降至 0.6%。報告可觸發代理開啟拉取請求，以修正未通過的標準，例如缺少 AGENTS.md、linter 設定或 pre-commit hooks。
Modal 運用評估與推論時運算擴展來改進其 QArt 碼系統，將 QR 掃描率提升至其 95% 的服務水準目標，同時改善美學品質，並在 p95 下於 20 秒內回傳程式碼。此項工作遵循標準的機器學習做法：收集人類判斷、與之對齊，然後擴展，解決了「在我提示下有效」的落差，該落差導致許多生成的 QR 碼無法掃描。
Claude 與 ChatGPT 在對話品質、上下文記憶、速度、功能、創意寫作、研究、定價與介面等方面進行比較。Claude 為 Pro 用戶處理高達 200,000+ 個 token，擅長創意寫作與細膩對話，而 ChatGPT 支援 128,000 個 token，回應時間為 2-3 秒，Claude 則為 5-10 秒，並提供圖像生成與 Custom GPTs。兩者的 Pro 方案皆為每月 $20，Claude Max 為 $100-$200，ChatGPT Pro 為 $200。
Vapi 比較 GPT-4.1 與 Claude 3.7 Sonnet 作為語音代理背後的大型語言模型，權衡對話品質、上下文處理、推理透明度、平台整合與成本。GPT-4.1 提供 1,000,000 個 token 的上下文視窗與 32,768 個 token 的輸出，並有 75% 的快取折扣；Claude 3.7 則提供 200,000 個 token 的上下文與 128,000 個 token 的輸出。兩款模型皆可在 Vapi 的語音代理平台上選用。
一項針對五款 Speechify 替代方案的比較，選出 NaturalReader 適合跨裝置使用與應用程式整合，每年 $119；Voice Dream Reader 適合 iPhone 語音控制，一次性價格 $14.99；Murf AI 提供專業語音，每月約 $19 起。ReadSpeaker 專注於跨 45 種語言朗讀網頁，每月 $4.90 起，而 Balabolka 是免費的 Windows 專用選項。