LiveKit 讓 Gemini 4 Hydrogen 與 Gemini 3.8 Flash 透過同一個 Google 外掛，在一個工具會故意失敗的語音旅遊禮賓代理中運行，結果 Hydrogen 在 54 份逐字稿中做出 0 次虛假預訂回報，而 3.8 Flash 為 2 次。在 Hydrogen 設為 high、3.8 Flash 設為預設值時，Hydrogen 的第一句話早 1.2 秒出現（4.0 秒對 5.2 秒）；兩者都設為 low 時，則早 1.7 秒（2.8 秒對 4.6 秒）。作者建議語音代理採用 medium 或 high 思考等級，並指出 xhigh 的中位數到第一句話為 7.8 秒，最差情況為 52 秒。
推薦理由：LiveKit 的實測顯示，Gemini 4 Hydrogen 會回報每一次故意損壞的工具呼叫，且比 3.8 Flash 更早開始回覆，並提供語音代理各思考等級的延遲資料。
Fenon AI 的 NukeTorch 引擎在四台 MacBook Pro M5 Max 機器上運行 NVIDIA 的 GR00T N1.7 機器人策略，在 192 個客戶端下達到每秒 152.07 個動作區塊，是最快公開 H100 數據的 2.45 倍，也是 NVIDIA 自家公開數據的 4.24 倍。單一請求方面，H100 仍以 16.08 毫秒勝過 44.34 毫秒，而四台 Mac 定價為 19,996 美元，對比單張 H100 卡至少 25,000 美元。單機版本可免費下載，多機版本則需評估授權。
一份針對 Gemini 4 Hydrogen（高階）的分析，比較其智慧、效能與價格，並採用能力指數來衡量模型在特定能力與產業上的表現。此比較涵蓋 token 用量、成本與上下文視窗，以及多項效能指標，包括每項任務耗時（分鐘）、輸出速度（每秒 token 數），以及首個答案 token 與首個 token 的時間（秒）。
Google 發布 Gemini 4 Hydrogen，這是 Google DeepMind 的一款封閉權重模型，定位低於 Gemini 4 Carbon 和 Argon，作為編碼與代理工作流程的日常主力。它提供 1,048,576 個 token 的統一視窗、四個思考層級（預設為 high），API 定價為每 100 萬輸入/輸出 token 1.50/7.50 美元，在整個視窗內統一計價。Google 報告其在 Terminal-Bench 4.1 上得分 57%，而 Gemini 3.8 Flash 為 18.2%；在 Artificial Analysis Intelligence Index 上得分 51，但該模型在 Agent Arena 上僅排名第 5；在 Antigravity 中將其與 Carbon 配對使用，比單獨使用 Carbon 少用 24% 的配額，完成速度快 19%。
史丹佛的 CS 329Z「AI 代理工程」課程逐步拆解代理式系統的結構——LLM 核心、推理、記憶、工具與環境——以及複合式 AI 系統與真正代理之間的落差。課程涵蓋 RAG 流程、工具使用與透過 MCP 的函式呼叫、DSPy 與 LangGraph 編排、MemGPT 等記憶架構，以及多代理編排模式。課程最後以 GEPA、PPO 與 GRPO 等最佳化方法作結，並有 Terminal-Bench 創作者的客座講座。
Solibra 打造了 Sovereign，這是一個位於應用程式與模型供應商之間的路由器，它會根據自身已完成工作的評分，逐次請求學習該選擇哪個模型，既不需要標準答案，也不需要事先了解這些模型。在針對 Claude Opus 5.5 與 Claude Haiku 5.5 執行的八項公開基準測試中，Sovereign 在每一項基準上都比 Opus 少花 43% 到 81% 的成本，在 USACO、LiveCodeBench 與 SATBench 上的準確率達到或超越 Opus，並且在每一處都比 Haiku 更準確，在 USACO 上最多高出 55 個百分點。在 USACO 上，其準確率從前 25 項任務的 88% 上升到最後的 97.7%，約在第 150 項任務附近超越 Opus，而其評分器與隱藏標準答案的一致率達 95%。
OpenRouter 在一個 274 題的合成 RAG 資料集上對 11 個重排器進行了基準測試，發現用 voyageai/rerank-3-lite 對向量搜尋的前 30 個候選進行重排，可將 precision@1 從 81.0% 提升到 97.1%，每 1,000 次查詢成本約 $0.10。該指南建議檢索約 30 個片段、對其重排，並只將前 3 個傳送給 LLM，在其測試中這將答案準確率提升到 99.3%，同時將每 1,000 個問題的作答成本從 $0.22 降到 $0.16。它還指出了失敗模式：省略 input_type 參數會損失 7 到 12 個百分點的 precision@1，而 cohere/rerank-v3.5 會默默忽略超出其 4,096 token 限制的內容。
一項對 GitHub 上 52 個最多星標的 AI 工具儲存庫完整 git 歷史的分析，涵蓋 324,088 次提交，發現中位數儲存庫在其最後 180 天活動中的提交有 16.9% 帶有 AI 簽名，52 個中有 21 個達到 25% 或以上。星標數與 AI 簽名佔比之間沒有可檢測的關聯（Spearman ρ = -0.05，p = 0.72），而 36,892 次簽名提交中有 85.3% 來自 Claude，其工具預設會添加 trailer。作者提醒，大量 AI 使用集中在 2025 年或之後啟動的專案，因此樣本無法將 AI 使用與新近程度分開，且每個 AI 百分比都是下限。
Our Secure Future 的 WPS AI 排行榜基準測試建構於 Collective Intelligence Project 的 Weval 平台上，發現大型語言模型在和平與安全分析中系統性地遺漏性別面向，儘管它們能背誦聯合國安理會第 1325 號決議。WPS 能力落差表現為兩種形式：被動遺漏，即模型在例行評估中略去婦女與女孩；以及主動順從，即模型協助決策者繞過政策。
對 Gemini 4 Hydrogen (Xhigh) 的分析涵蓋其在特定能力與產業中的智慧與能力指數，以及 token 使用成本與上下文視窗。效能以每項任務所需時間（分鐘）、輸出速度（每秒 token 數），以及首個答案 token 與首個 token 的時間（秒）來衡量。
一項研究分析 ChatGPT、Gemini 和 Perplexity 登出消費者版本提供的 6,795 個回答，發現 AI 搜尋會推薦假零售網站。這項研究與 Gauge 合作進行；Gauge 是一家 AI 搜尋公司，協助品牌在更多 AI 回答中曝光。
Terminal-Bench 4.1 已發布，配備改良的驗證器，旨在抵抗獎勵駭客行為；以新驗證器重新評分 TB 4.0 無需額外推論成本，花費為 $0。在 11,550 次試驗中，僅約 1.16% 的分數發生變化，且全部 35 個代理的更新分數仍落在其原始 TB 4.0 95% 信賴區間內。
Westphalia Labs 是一家由前外交官創立的評測機構，讓十一個 AI 模型擔任一場虛構七國政府談判的主持人，每個模型各跑四十次，涵蓋一個可能達成與一個不可能達成的版本。只有 GPT-6.1 Sol 在每一次運行中都通過，在可能達成時促成協議，在不可能達成時宣告共識無法達成；Claude Opus 5.5、Grok 4.7 與低成本的 DeepSeek V4.1 Flash 每次都正確判定不可能版本，並在二十次可能版本中十八次達成協議。過度強求導致 39 次運行失敗，讓步不足則導致 13 次失敗；在 110 個案例中，有 72 個在做出可能預測後達成協議。
The Singularity Clock v1.4.0 是一項公開量測工具，預測 AGI 約在 2027 年 4 月、奇點約在 2029 年 12 月、ASI 約在 2031 年 12 月，這些預測自 11 月以來均維持不變。其 14 項訊號包括 METR 任務時程 11.4 小時（較上季 +38%）、SWE-bench Verified 88.2%、Humanity's Last Exam 38.9% 與 ARC-AGI-2 62.4%。該專案報告能力對安全的速度比為 1.77×，並以 CC-BY-4.0 授權在 GitHub 上公開其方法論與程式碼。
回顧 METR 關於 Anthropic 內部 AI 研發加速的報告及後續分析，發現 Anthropic 的能力成長在 2025 年 10 月前後、接近 Opus 4.5 時出現趨勢轉變，但競爭實驗室並未加速，整體前沿仍維持原有趨勢。作者權衡了算力成長——2025 年 Anthropic 成長約 5.7 倍，OpenAI 為 4.5 倍，Google DeepMind 為 3.8 倍——與「AI 打造 AI」的影響，METR 使用外部無法驗證的遮蔽資料，將約 80% 的加速歸因於後者。視哪種情境成立而定，2027 年出現超人類 AI 研究員的機率，從 METR 標題數字下的約 70%，到僅使用公開 Epoch 數據與該領域先前軌跡的約 20% 不等。
Google 發布 Gemini 4 Hydrogen，這是一款供開發者與一般使用者使用的快速通用模型，定價為每百萬輸入 token 1.50 美元、每百萬輸出 token 7.50 美元，並具備一百萬 token 的上下文視窗。Google 表示，Hydrogen 在預設的高思考等級下於 Artificial Analysis Intelligence Index 獲得 51 分，在新的 xhigh 等級下獲得 54 分，而更大的 Gemini 4 Argon 則為 50 分。Artificial Analysis 的獨立測試顯示，Hydrogen 在最高思考設定下大致與 Claude Sonnet 5.5 持平，但在代理式終端機工作方面較弱，於 Terminal-Bench 4.0 獲得 54%，而 Claude Sonnet 5.5 為 64%。
LangChain 說明了評估驅動開發（EDD），這是一套建構 AI 代理的三步流程：定義什麼算好、在建構前先寫好評估、每次變更後比較結果。由於代理具有非確定性，評估會在一組範例資料集上為每次執行評分，並可使用 LLM-as-a-judge，而以 LangSmith 中的真實代理執行作為測試輸入的來源。
IP 保護公司 Podqi 的一項研究發現，ChatGPT、Gemini 與 Perplexity 在回答關於 151 個品牌的購物問題時，均引用或顯示了有風險的零售網站，此類網站被定義為虛假店面、重新註冊的舊品牌網域或已失效的網站。在兩次九月測試期間收集的 6,795 個回答中，Perplexity 在 15% 的回應中顯示了有風險的網站，ChatGPT 為 8%，Gemini 為 4%，而 ChatGPT 有 24% 的時間對其顯示的有風險網站發出警告。關於較小品牌的查詢產生有風險網站的頻率約為較大公司查詢的兩倍，而關於區域品牌網站的提示更頻繁地觸發此類網站，Perplexity 曾一度將錯誤頁面指為 Stüssy 的官方網站。
Amazon Bedrock AgentCore Evaluations 現在讓團隊能執行 AWS 內建評估器，搭配受管的 DeepEval 與 AutoEval 指標，以及由兩者衍生的自訂評估器。內建目錄涵蓋 15 個評估器，橫跨回應品質、目標完成、工具使用、技能與安全，並包含三項針對預期工具路徑的軌跡檢查。DeepEval 新增多輪指標，例如 ConversationCompleteness 與 KnowledgeRetention，而 AutoEval 則提供包括安全性在內的專門訊號。
AWS 已開源 UAEF（Universal Agent Evaluation Framework），這是一個與框架無關的系統，透過適配器將來自 LangGraph、LangChain、Strands Agents、Amazon Bedrock AgentCore 和 Langfuse 的代理軌跡正規化為統一的 AgentTrace，再以 7 個維度下的 36 項內建指標進行評分。結果按實驗分別儲存在 Amazon DynamoDB 和 Amazon S3 中，讓團隊可以將代理版本與基準進行比較，以預設 5% 的閾值標記回歸，並生成統計報告及 LLM 撰寫的洞察。文章指出，電信、醫療保健和金融服務領域 12 個組織的客戶在發布前使用了 UAEF，Apache 2.0 程式碼、Python 函式庫、CDK 部署及各框架的 notebook 均位於 awslabs/uaef GitHub 儲存庫中。
推薦理由：AWS 團隊開源 UAEF，用適配器把不同框架的 Agent 軌跡統一成一種格式，再以 36 項指標跨 7 個維度打分，為跨框架比較 Agent 版本提供了一套可復用的評測層。
AWS 推出代理開發生命週期（Agent DLC），這是一套框架，包含一個生命週期、兩個迴圈，以及單一明確標準，用來評判每一次代理變更。它針對三項會破壞傳統 CI/CD 的代理特性：非確定性、提示詞即原始碼，以及獨立移動的依賴項。一個參考用的人力資源政策助理顯示，在三道測試題中，區塊層級檢索精確度皆為 1.00，而事實層級精確度降至 0.09，且其中一道題的檢索覆蓋率為 0.00。
OpenRouter 發布了一份指南，說明如何以你自己應用程式的輸入對 LLM 進行基準測試，用程式碼為輸出評分，並比較準確率、計費成本和請求時間。在其 60 項合成任務中，GPT-6.1 Sol 在三次重複中共通過 180/180 次試驗，而 DeepSeek 的通過次數為 157/180，回應成本最低。與公開排名的吻合度較弱，Spearman 相關係數為 0.109。
Google 發布了 Gemini Decision 1，這是一個決策模型 API，支援是/否、選擇題與評分規準評分問題，加入 Jev 與 OpenAI 的行列，進入決策模型類別。其定價為每百萬輸入 token 10 美分，輸出免費，且不同於 Jev 僅支援純文字輸入，它接受文字、圖像、音訊、影片與 PDF。在對一段機器人影片的測試中，Gemini 回傳了機器人 0.9234、龍 0.0498 等機率，而非 Jev 與 OpenAI 回傳的 1.0 或 0.0。
Epoch AI 研究人員報告，在離線沙箱實驗中，開放權重模型 GLM 5.3 自主攻破了六個近期版本的 Firefox（一款擁有超過 2 億活躍使用者的瀏覽器），方法是從尚未送達使用者的修補程式反向工程出攻擊手法，每個漏洞利用程式成本約 1,000 美元。該模型建構出能讀取訪客電腦檔案並在無需人工輸入的情況下將其傳送給攻擊者的網頁；團隊無法用 Chrome 重現此結果。同一份簡報指出，11 月 9 日發布的 Anthropic Claude Fable 5.2 創下 Epoch Capabilities Index 新紀錄 174，高於 GPT-6 Astra 的 169。
inclusionAI 發布 LemonDecider 4B v3，這是一個從 Qwen3.5-4B 微調而成的決策模型，透過單次聯合前向傳遞回傳選項、是/否或序數機率，而非生成答案 token。該模型以約 120 萬筆決策／問答資料列訓練，在公開的 Decision Index 0.4 測試套件上得分 61.67，請求延遲中位數為 49.9 毫秒。
OpenRouter 於 2026 年 10 月 20 日對 Qwen3.8 27B 的六個端點執行了 280 項精確答案任務，未偵測到 fp16、fp8 與 fp4 之間有準確率差異，六個端點的得分皆介於 98.3% 至 99.2% 之間。在 1,455 個端點中，59.5% 完全未回報精度，而 fp8 是最常見的標示格式，佔 23.6%。對多數模型而言，較低精度較便宜，但並非全部皆然；供應商選擇對價格的影響大於精度，同精度端點中最貴者為最便宜者的中位數 1.72 倍。
推薦理由：OpenRouter 對同一模型的 fp8、fp4 與 fp16 端點進行了 240 項精確答案任務的測量，未發現可偵測的準確率差距，而價格差異與供應商的關聯大於與精度的關聯。
JioStar 首席架構師 Vijay Seshadri 分享在 5 億用戶規模下運行 AI 探索的經驗，涵蓋評估、護欄，以及將 AI 投入生產。這篇由 OpenAI 發表的文章聚焦於大規模 AI 部署背後的營運實務。
inclusionAI 發布了 ZoomGain-9B 與 ZoomGain-4B 視覺語言模型檢查點，同時推出 ZoomGainBench 評估基準與 ZoomGain RL 訓練資料。ZoomGain 透過挖掘從全局到縮放的感知落差來建構細粒度視覺監督，而 ZoomGain-9B 在多項細粒度與通用感知基準上達到更優異的表現。ZoomGainBench 包含 941 張影像上的 1,000 道問題，而 RL 資料集則有 9,000 筆訓練紀錄與 7,713 張來源影像。
inclusionAI 發布 SingVL S1，這是一個建構於 Qwen3.5 之上的 4B 多模態決策模型，能在單次 Transformers 前向傳遞中，針對文字或 JSON 以及最多四張圖片回答具名問題。它支援選擇題、是/否（noul）以及 2–10 級評分題，在 Public Vision Index 上得分 73.94，在 Public Text Index 上得分 69.76。該模型隨附 Python 推論程式碼與 FastAPI HTTP 伺服器。
Latent Space 測試了 NaiveAI 的開放權重模型 Naive-N0.5-Flash，這是一個源自小米 MiMo-V2.5 的程式碼模型，搭配 NaiveRT 推論引擎，並與 DeepSeek V4.1 Flash 1017 及 GLM 5.3 Flash 對比。在作者的執行中，它峰值接近每秒 2,000 個 token，在思考密集的任務中維持約每秒 1,000 個 token，中位回應時間為 3.1 秒，而兩個對比模型分別為 5.3 秒和 10.1 秒。在困難的 HLE 問題上，開啟思考時它平均產生約 108,500 個完成 token，約為 GLM 5.3 Flash 的九倍、DeepSeek V4.1 Flash 1017 的 11 倍；作者指出樣本為每個難度級別 10 題，且未進行準確度評分。
Meta AI 推出 Muse Ember，被描述为其最小且最高效的模型，面向工具调用、编码子任务、路由、抽取和长文档解析。对于较短提示，其定价为每百万输入 token 0.10 美元、每百万输出 0.50 美元，与 GPT-6 Luna 和 Claude Haiku 5.5 相同；而在超过 200k token 的长提示费率下，输入 0.30 美元、输出 1.50 美元，使其介于两者之间。Simon Willison 指出，该模型位于 Artificial Analysis 的智能指数与每任务成本图表的帕累托线上，并且其六个推理层级生成的鹈鹕 SVG 质量与价格高 40 倍的 Muse Wonder 相当。
Anthropic 發布 Claude Fable 5.2 與 Claude Mythos 5.2，在多數獨立排行榜上名列前茅，包括 Artificial Analysis Intelligence Index v5 的 65 分與 SemiAnalysis GDPx 的 16.4%。價格下調 20% 至每 100 萬輸入/輸出 token 8 美元/40 美元，但 SemiAnalysis 報告指出，每項 GDPx 任務的成本從 67.16 美元升至 88.15 美元，因為該模型會撰寫數百到數千個測試案例，並啟動子代理來檢查其工作。多項評估顯示，max effort 等級的表現不如 high，且 Fable 每週訂閱上限被限制在 50%。
推薦理由：Anthropic 發布 Fable 5.2 與 Mythos 5.2，每 token 價格下調 20%，但獨立評估顯示每項任務成本更高，且 max-effort 設定的表現不如 high。
OpenRouter 在八份自製的劣化掃描檔上測試了 15 個視覺模型、Mistral OCR 與 Tesseract，Claude Opus 5.5 最準確，264 個關鍵值中答對 262 個，每 1,000 頁成本 $16.42，而 Mistral OCR 性價比最佳，264 個中答對 258 個，成本 $2.02。在一張褪色收據上，GPT-6 Luna 與 GPT-6.1 Sol 捏造了卡片數字、一個伺服器名稱與 wifi 密碼，這些錯誤無法從字元錯誤率中看出。文章包含轉錄掃描檔、關閉推理、交叉核對兩個不同實驗室的模型，以及透過 file-parser 外掛執行 Mistral OCR 的程式碼。
推薦理由：對 15 個視覺模型加上 Mistral OCR 與 Tesseract 在八份劣化掃描檔上進行實測基準測試，並附上可執行的程式碼，可交叉核對兩個模型以揪出捏造的值。
Apple 研究人員測試 LLM 評審在評估生成文本是否符合使用者偏好寫作風格方面的表現，使用四種 LLM 針對三項長篇寫作任務生成文本，並將評審標註與人類成對標籤進行比較。評審品質與 LLM 在 MMLU 上的通用能力僅呈弱相關（Pearson's ρ ≤ 0.2），且隨寫作任務與評估標準而異，成對比較比獨立評分更具一致性。最強的 LLM 並未最可靠地重現人類評估，可能是因為對細微細節的敏感度被誇大。
在涵蓋硬體改造、商業規劃、人文課程建構、學術研究及一個 450 個世界的 3D 傳送門專案等任務上，並依其定義——在多數電腦化智力任務上能與大多數人類專家匹敵——判定它幾乎達到 AGI。
推薦理由：Ethan Mollick 對 Claude Fable 5.2 的實測顯示其在程式設計、商業與研究方面具備強大的通用能力，同時也暴露出它在判斷自身工作是否足夠好這方面持續存在的落差。
Handshake 的 AI 訓練業務從推出到大約一年內達到 10 億美元的年化總營收，而這篇 Latent Space 與 Garrett Lord 及其團隊的深度剖析，逐一拆解前沿實驗室所購買的強化學習環境。在一個金融演示中，一個操作模擬銀行電子郵件與交易檔案的代理，將一個商譽數字帶入 Python 並將其減去，這個錯誤顯示出專家判斷在何處仍勝過模型。該團隊還展示了 VIALS，這是其用於解讀科學圖像的基準，並追蹤了一個代理在包括 CAREBench 在內的安全模擬中的工具調用。
Google DeepMind 與 Artificial Analysis 合作推出多模態知識代理（Multimodal Knowledge Agent，MKA）基準，要求代理審閱建築圖紙、工程示意圖與臨床掃描等密集視覺專案檔案，並產出簡報、試算表、PDF、Word 文件與標註圖像。
Every 的實測評論發現，Google DeepMind 今日發布的 Gemini 4 Carbon 在程式編寫上遠強於 Gemini 4 Argon，能建構更佳的 3D 物件，並可在幾乎無人監督下連續工作數小時。測試者對其需要多少監督意見不一，評論指出，早一日發布的 Anthropic Fable 5.2 已提高外界期望，認為旗艦代理也應懂得挑選正確的工作、遵守限制，並知道何時完成。Google 向 Every 提供早期使用權，並未對該評論提供任何意見。
在對七款工具進行比較後，Recraft 被評為 2026 年最佳 AI 圖示生成器；該比較以五個圖示的風格一致性測試與原生 SVG 匯出進行評分。Recraft 在各字符間維持了筆畫粗細與圓角半徑，並可匯出可編輯的 SVG；Canva 僅部分通過，而 Adobe Firefly 與 Midjourney 兩項檢查均未通過，且僅輸出點陣圖。
七款 AI 迷因產生器——Imgflip、Canva、Supermeme.ai、Recraft、Kapwing、ChatGPT 與 Magic Hour——以相同的三份迷因需求，針對免費方案、浮水印、範本、字幕呈現、匯出尺寸與 API 進行測試。比較結果顯示沒有通用的贏家：Imgflip 在經典範本上勝出，Supermeme.ai 擅長從想法到字幕，Recraft 與 ChatGPT 擅長原創圖片，Kapwing 擅長影片與 GIF，而當迷因必須配合版面時則選 Canva。