跳至正文
11月9日星期一
  1. Recraft Blog22

    2026 年最佳 AI 貼圖生成器:7 款工具比較

    Recraft 是製作刀模輪廓、透明 PNG 與 SVG 的最佳 AI 貼圖生成器,且全都在同一畫布完成;Canva 則較適合在同一編輯器中製作貼圖組與下單印刷。七款工具於 2026 年 11 月 9 日依五項印刷標準評分,只有 Recraft、Kittl 與 Canva Print 提供真正的裁切線或印刷貼圖組途徑。Firefly、Ideogram、Leonardo AI 與 ChatGPT 則在較窄的用途上勝出,例如照片轉貼圖或聊天貼圖包。

  2. Recraft Blog38

    2026 年最佳 AI 角色生成器:Recraft、Midjourney、Gemini、ChatGPT 等對比

    一項針對七款 AI 角色生成器的比較,依姿勢一致性、參考圖像、風格控制、匯出格式與免費方案評分,結果顯示沒有單一最佳工具能適用於所有需求。Recraft 在讓同一角色跨姿勢保持一致、可重複使用的風格與 SVG 向量匯出方面領先;Midjourney 則在單幀外觀上勝出,但沒有免費方案,Basic 方案為每月 10 美元。Gemini 與 ChatGPT 適合在對話中反覆調整角色,而 Recraft、Gemini、ChatGPT、Leonardo、Ideogram 與 OpenArt 都提供免費或每週額度方案。

  3. Artificial Analysis Articles71

    Meta 的 Muse Ember 是在 Artificial Analysis Intelligence Index 上得分 36 的最便宜模型

    Meta 的 Muse Ember 在 Artificial Analysis Intelligence Index 上得分 36,与 Claude Haiku 5.5(max)持平,每项任务成本为 0.14 美元,而 Claude Haiku 5.5 为 0.41 美元。它在 AutomationBench-AA 上以 68.1% 脱颖而出,并在 Muse Code 的 Coding Agent Index 上得分 46,领先于 Claude Code 中的 Claude Haiku 5.5(37)和 Codex 中的 GPT-6 Luna(31)。其主要弱点是知识:AA-Omniscience 准确率为 21.1%,而 Claude Haiku 5.5 为 34.7%,这主要是因为它在 64% 的问题上拒绝回答,从而将其幻觉率控制在 17.4%。

  4. Artificial Analysis Articles58

    Artificial Analysis 發布 Endpoint Accuracy Index v1.1,收緊長上下文區間並涵蓋六個模型

    Artificial Analysis 推出 Endpoint Accuracy Index v1.1,收緊了 AA-LCR-25 的信賴區間,並新增對 GLM-5.3 Flash 與 Muse Spark Open 的涵蓋。在受測的 103 個無伺服器端點中,有 24 個在統計上低於自架參考,原因包括輸出 token 上限、推理能力降低、工具呼叫格式錯誤與請求逾時。將 AA-LCR-25 提高至每題 25 次重複,使其平均 95% 信賴區間從 ±4.7 點收窄至 ±2.6 點,而在兩個版本下皆計分的 45 個端點上,綜合指數區間從 ±5.5 點收窄至 ±4.3 點。

11月8日星期日
  1. Artificial Analysis Articles38

    Artificial Analysis Decision Index v2 發布,新增 Decision Score 與私有基準測試

    Artificial Analysis 發布 Decision Index v2,該指數目前有 45% 建立於私有資料集上,高於 v1 的 25%。Nace AI 的 Drex Max v1.1 以 73 分微幅領先各決策模型,與 GLiDE v1.2 和 Mammoth 27B 的差距在 1 分以內。新的 Decision Score 同時獎勵正確性與校準後的信心度,而 AA-Paperclip 與 AA-Symmetry 則新增了私有文件與一致性測試。

11月6日星期五
  1. SemiAnalysis75

    SemiAnalysis 在代理式推論上以 Google TPUv7 Ironwood 對 NVIDIA GPU 進行基準測試

    SemiAnalysis 在 InferenceX/AgentX 上發布了首個針對 Google TPUv7 Ironwood 的長上下文、多輪代理式推論結果,涵蓋四個模型,發現其在每美元效能上具競爭力,或在若干情況下達到最先進水準。在 FP8 的 GLM-5.2 上,TPUv7 在每秒每使用者 60 至 300 個 token 的範圍內,每美元 token 數達到 B200、B300 和 MI355X 的 1.2 倍至 2.7 倍,而 FP4 GPU 在 GLM-5.3 上仍領先,因為 TPUv7 要到 2027 年第一季的 TPUv8 才具備原生 FP4 支援。文章還主張,與 AMD 和 Google 相比,NVIDIA 的官僚作風拖慢了驅動程式和生態系統的貢獻。

  2. Artificial Analysis Articles40

    VIALS-AA:通往科學影像推理的不同路徑

    VIALS-AA 分析了 19 個模型如何對科學影像進行推理,並對 9,177 次工具呼叫的執行軌跡進行分類。查看影像佔呼叫的 38.3%,影像準備或量測佔 47.3%;而影像量測在 GPT-6 Astra (max) 與 GPT-6.1 Sol (max) 上僅佔呼叫的 5–6%,相較之下 Claude Opus 5.5 (max) 與 Claude Sonnet 5.5 (max) 則為 25–27%。Gemini 3.8 Flash (high) 產生了該群體 86.7% 的評論/無操作呼叫,且各模型每項任務的成本差異接近 100 倍。

  3. Modal Blog22

    Snorkel 如何用 Modal 執行逼真的代理模擬

    Snorkel 使用 Modal 的 GPU 與 CPU 沙箱,每月執行數百萬次代理模擬,每小時尖峰達數萬個沙箱,並依賴 Modal 對其評估的開放權重模型進行推論。採用 Modal 的記憶體突發功能後,Snorkel 的沙箱總帳單降低約 20%,目前約有 10-15% 的沙箱使用突發功能。Modal 是唯一能大規模滿足 Snorkel GPU 沙箱需求的沙箱供應商。

11月5日星期四
  1. Artificial Analysis Articles58

    Nanbeige 發布 Nanbeige4.3-33B,在 Artificial Analysis Intelligence Index 上得分 20

    Nanbeige 發布了 Nanbeige4.3-33B,這是一個以 Apache 2.0 授權的開放權重稠密推理模型,在 Artificial Analysis Intelligence Index v5 上得分 20,與 Qwen3.8 27B(xhigh)的 20 分持平。該 33B 模型具有 524K token 的上下文視窗,僅支援文字輸入與輸出,且尚無確認的公開 API;它在 Terminal-Bench 4.0 上得分 30%,而 Qwen3.8 27B 為 6%,但在 HLE-Diamond 上落後(7% 對 15%)。在 AA-Omniscience v1.1 上,其幻覺率為 18%,而 Qwen3.8 27B 為 29%,拒答率為 71%;此外,它在每個 Intelligence Index 任務上使用 158K 輸出 token,而 Qwen3.8 27B 為 110K。

11月3日星期二
  1. Ai2 · Allen Institute for AI55

    Ai2 發布 StateBench,用於測試語言模型如何在長文件中追蹤狀態變化

    Ai2 推出 StateBench,這是一套具有四個難度等級的長上下文狀態追蹤基準,涵蓋從不可變賦值到自我參照與交叉參照更新。在測試中,Gemini 3.8 Flash、Claude Opus 5.5 以及 GPT-6 Sol 與 Luna 能處理較簡單的等級,但在最長的通用有限問題上降至 13% 或更低;而 275M 參數的 Gated DeltaNet 與從頭訓練的混合模型在前三個等級上幾乎完美泛化,Transformer 則從未學會最難的等級。

  2. OpenAI Alignment Blog58

    OpenAI 探討代理安全中的評估與生產行為落差,以及評估意識的角色

    OpenAI 研究人員測量了代理安全中的評估與生產行為落差:在六個已部署模型中,Respecting Warnings 評估的成功率比對應的 Codex 生產決策低 10.2 至 37.4 個百分點,其中 GPT-5.6 Sol 與 GPT-6 Sol 的落差最大。單獨的通用評估意識與該落差關聯微弱(R² = 0.008),而特定的評估目標意識關聯較強(R² = 0.370),且最常口頭表述錯誤目標(抵抗提示注入)的模型落差最大。在對 GPT-6.1 Sol 的干預中,通用評估提示幾乎未改變成功率(63.1% 對 63.4%),正確目標提示將其提升至 91.6%,錯誤目標提示則將其降至 17.6%。

11月2日星期一
  1. Import AI42

    Import AI 479:Spacewar、低延遲任務對比 LLM、Genie 4

    Import AI 479 涵蓋 Realtime-Bench,這是一套包含 50 項任務的基準測試,由 UT Austin、Ohio State、UIUC、NVIDIA、Northwestern 與 Steadyworks 的研究人員打造,包含 30 項網頁任務與 20 項遊戲任務,用來測試前沿模型能否在即時壓力下行動。GPT-6 Astra(high)取得最高的實際耗時通過率 36%,而在暫停計時的執行中,高推理模型可達到約 70% 至 80%。本期亦涵蓋國防情報局的「Challenges to Security in Space」報告與 Genie 4。

  2. SemiAnalysis58

    SemiAnalysis 發布 GDPx 基準,用於評估高價值領域的前沿代理能力

    SemiAnalysis 發布 GDPx,這是一項涵蓋晶片設計、網路安全、生物學、金融、法律、量化交易、RSI、硬體設計、材料科學、對齊與軟體工程的基準,由 14 個專業強化學習環境合作夥伴共同打造。即便是最佳模型也僅得 12%,其中 Opus 5.5 在量化交易、硬體與晶片設計奪冠,Gemini 4 Carbon 在生物學與軟體工程領先,GPT-6 Astra 則在 RSI 與材料科學居首。每項任務都在逼真的模擬環境中執行,例如約 4,000 個檔案的私募股權交易室或即時多服務網路靶場,這與 OpenAI 的 GDPval 不同;SemiAnalysis 認為後者過度餵給上下文,且缺乏環境。

10月30日星期五
  1. Microsoft Research40

    微軟打造合成企業資料平台以評估 Copilot

    微軟的產業評估資料生成平台建立完整的合成企業環境,在不使用客戶資料的情況下評估 Microsoft Copilot。該平台以 O*NET 職業資料、職缺公告與 SEC 申報文件等公開來源為基礎,生成包含使用者、會議、電子郵件與文件的擬真租用戶,並搭配自動化查詢流程與品質框架。微軟表示,這為 Copilot 建立了首個標準化評估基準。

10月28日星期三
  1. Google Developers Blog46

    透過 Agents CLI 評估提升 Agent 品質

    Google 的 Agents CLI 評估命名空間為 agent 執行爬山式迴圈:eval generate、grade、compare、analyze 與 optimize。在 Agents CLI v1.8.0 中對 LangChain 範本的逐步操作裡,以 gemini-3.8-flash 作為評審時,基線得分為 4.0/5,而錯誤的 chef 系統提示詞使其降至 2.75。

  2. Artificial Analysis Articles82

    Gemini 4 Carbon 登上 Artificial Analysis Intelligence Index v5 榜首,在 Coding Agent Index 排名第二

    Google 的 Gemini 4 Carbon 在 Artificial Analysis Coding Agent Index 上排名第五,得分 5(滿分 62),並在 9 項 Index 評估中的 4 項領先,包括 HLE-Diamond 和 Terminal-Bench-Science。1 從 4% 升至 11%;該模型正逐步向部分使用者推出,尚未公開發布。

    推薦理由:Gemini 4 Carbon 以 59 分登上 Artificial Analysis Intelligence Index v5 榜首,在 Coding Agent Index 上落後 Claude Opus 5.5 三分,並附有每項任務成本與幻覺數據供比較。

10月27日星期二
  1. Ai2 · Allen Institute for AI58

    Ai2 研究測試 LLMs 是否能可靠判斷研究想法的創新性

    Ai2 發布了 Old Ideas, Novel Problems,這是一項研究與基準,用來測試 LLMs 評估研究想法創新性的可靠程度,並附上資料、程式碼以及用於建立新評估集的流程。在包含 GPT-5.1、GPT-5.2、GPT-5.4、Claude Sonnet 4.5、Claude Opus 4.5 和 Claude Opus 4.6 在內的六個評審中,小幅的提示詞變動使 AI 生成想法的準確率變動超過 50 個百分點,而一個簡單提示的 Claude Opus 4.6 基線以 $2.59 的成本達到 0.854 的 macro-F1,相比之下 Idea Novelty Checker 以 $30.66 達到 0.642,Sakana AI 的 AI Scientist 則以 $82.05 達到 0.772。

  2. Epoch AI · Gradient Updates58

    Epoch AI 以自身研究任務測試 AI,頂尖模型得分 65% 且全數未通過

    Epoch AI 將其早先自動化資深研究員工作的嘗試擴展為 Epoch Automation Reports,以與人類員工相同的標準,在圖形設計和研究規劃等真實 Epoch 任務上評估 AI。1 和 GPT-6 Astra 在評分標準上平均得分 65%,但 65% 的分數仍算作任務失敗,因為若由人類提交,每份提交都會被拒絕或修改。

10月26日星期一
  1. Import AI62

    Import AI 478:對齊數學、ProgramBench,以及 Mirendil 的 RSI 訊號

    Import AI 478 匯總了四項進展:AI 安全新創公司 Resolution 使用協調器代理,在 Lean 中自動形式化了奇點消解,估計花費約 13.5 萬美元的 token 費用,耗時約一週。Claude Opus 5.5 在 ProgramBench 上達到 18.5% 的解決率,而該基準於五月推出時,所有模型的解決率均為 0%。OpenAI 描述了代理在各自獨立的 microVM 中,透過處理器快取時序交換合成機密;Mirendil 則報告一位研究員在 3.5 個月內,以不到 1000 萬美元的算力成本,預訓練了一個 100B-500B 參數的程式設計模型。

10月24日星期六
  1. Epoch AI · Gradient Updates42

    Epoch 簡報:AI 工作自動化測試、SpireClimb 基準,以及 Gemini 4 Argon 的前沿推進

    Epoch AI 在 11 項真實的 Epoch 工作任務上測試了六個領先模型,發現沒有一個能可靠達到其品質標準,其中 Claude Fable 5.1 與 GPT-6 Astra 大致並列領先。其新的 SpireClimb 基準顯示,前沿模型在六個月內從在《Slay the Spire》中苦苦掙扎,發展到能贏得超過 90% 的基礎難度對局,其中 GPT-6 Astra 達到 98%。Gemini 4 Argon 在 Epoch Capabilities Index 上得分 166,與 Claude Fable 5.1 並列,落後於同為 169 的 Claude Opus 5.5 和 GPT-6 Astra。

10月21日星期三
  1. Amazon Science38

    Amazon 委託 AVERI 獨立審查其 AI 安全評估資料集

    Amazon 與獨立非營利組織 AVERI 合作,審查其內部安全評估資料集的品質,而不僅是模型輸出。AVERI 驗證了主題涵蓋範圍、提示多樣性及低污染風險,同時建議擴大涵蓋多語言、增加多步驟對抗性提示,並訂定更清晰的評分標準。Amazon 對此以更新測試集、分級難度及每季審查機制回應。

  2. OpenAI Alignment Blog28

    OpenAI 提出配對匹配與後控制指標,以擴展 g-mean² 的可監測性

    OpenAI 的對齊部落格在 g-mean² 中新增了兩項指標;g-mean² 是其資料集層級的監測器辨別力衡量指標。配對匹配指標僅在支援相關正向、負向或介入有效比較的任務實例上比較模型,而後控制整合指標則模擬由監測器把關的拒絕機制,並估計部署系統仍輸出不良結果的機率。該文章亦推導出介入評估的悲觀下界。

10月20日星期二
  1. One Useful Thing40

    Ethan Mollick 的《Co-Existence》圖表記錄 AI 進展 30 個月,由 Claude Opus 5.5 製作

    Ethan Mollick 在《Co-Intelligence》問世 30 個月後,出版了第二本 AI 著作《Co-Existence》,並在 Claude Projects 中使用 Claude Opus 5.5,在幾分鐘內生成了文章圖表,以及一段「水獺在飛機上用 Wi-Fi」的影片。他指出,如今已有 180 個模型在發布時表現優於 GPT-4,其中 19 個可在現代智慧型手機上運行;而 METR 的長時程基準從 2024 年的一項四分鐘任務,到 2026 年 4 月已升至相當於 17 小時的人類工作量,隨後該基準便用盡。

  2. AI as Normal Technology40

    普林斯頓論文梳理 AI 代理評估的 33 個新興趨勢

    由普林斯頓大學領銜,聯合史丹佛大學、英國 AI 安全研究所與布魯金斯學會,共同發表了《AI 代理評估的新興趨勢》,綜合了評估科學、研究議程與評估者生態系統中的 33 個趨勢。該論文指出,代理評估遠比模型評估複雜,因為評估者必須審視整個軌跡而非最終結果,並提到 ExploitBench 基準上的某些代理評估需耗費數萬美元的額度。論文呼籲擴大研究議程,涵蓋能力、人機互動與制度影響,並呼籲更廣泛的參與以及對獨立評估者的資助。

10月19日星期一
  1. inclusionAI Repositories58

    inclusionAI 發布 Ming-3.0-tts 語音合成模型,提供 0.5B dense 與 7.9B MoE tiny 兩種版本

    inclusionAI 發布 Ming-3.0-tts,這是一個開放權重的多語言語音合成系列,包含兩個模型:Ming-3.0-tts-0.5b,一個 0.5B dense 模型;以及 Ming-3.0-tts-tiny,一個建構於 Ling V3 之上的 MoE 模型,總參數 7.9B、活躍參數 1.3B。兩者均附有推論程式碼、任務 cookbook 與基準測試表格,並支援聲音複製、基於文字的語音設計、自由形式的自然語言表達控制、14 個行內副語言標籤、情緒與語速/音高/音量控制,以及中文、英文、德文、西班牙文、法文、韓文、日文、四川話與粵語。在 2026 年 10 月的 Artificial Analysis 文字轉語音排行榜上,Ming-3.0-tts 在 Controlled Voice 項目於開放權重模型中排名第 1,在 Pronunciation Robustness 項目以 93.2% 排名總體第 1,並在 Provider Voice 項目於開放權重模型中排名第 3。

  2. Modal Blog38

    Legora 如何在 Modal Sandboxes 上執行 2,000 個平行代理評估

    Legora 現在將每一項法律代理評估分別執行於獨立的 Modal Sandbox 中,啟動其完整應用程式並固定於特定 commit,使每次執行都反映確切的產品版本。典型實驗包含 100 個案例、4 種 harness 變體、每種各 5 次試驗——共 2,000 次平行執行——並以 Modal Volumes 快照文件、資料庫與權限狀態。Legora 也從 gVisor 遷移至 Modal VM Sandboxes,移除了其 Docker 網路與 FUSE 的變通方案,並透過更智慧的壓縮與自訂工具搜尋,將代理成本降低 30%。

10月12日星期一
10月10日星期六
  1. Epoch AI · Gradient Updates65

    Epoch AI 的 InnovationEval 發現,前沿代理在自動化 AI 研發上僅達到 SDPO 增益的 15%

    6 Sol 與 Fable 5 各自獨立重新發現了一種可與自蒸餾策略優化(SDPO)相媲美的新型後訓練技術,兩者分別在無網際網路連線的沙箱中獲得 3,000 GPU 小時。6 Sol 的方法主要抄襲自先前的研究,在針對較慢的訓練速度進行調整後,僅達到 SDPO 增益的 15%,而 Fable 5 的技術則未能提升效能。

10月9日星期五
  1. Epoch AI · Gradient Updates22

    Epoch Brief,2026年10月8日:AI 代理數量估計、AI 成本下降,以及中國晶片曝險

    Epoch AI 估計,到 2027 年出貨的 AI 晶片可支援約 3,000 萬至 1.7 億個同時運行的前沿模型代理;若改用較便宜的模型,則可支援近 20 億個。其研究還發現,固定水準的 AI 效能成本在過去三年間每季下降約 47%,相當於每年約 13 倍。另外,Epoch 估計中國對半導體供應衝擊的曝險是美國的 2.7 倍。

10月6日星期二
  1. LiveKit Blog38

    Retell vs. Vapi vs. LiveKit:語音 AI 代理的開發者比較

    LiveKit 發布了一份以開發者為中心的比較,針對建構語音 AI 代理比較 Retell、Vapi 與 LiveKit,並以四個問題界定選擇:上線後由誰迭代代理、需求超出預設範圍時會發生什麼、是否必須在電話通話之外運行,以及規模化時的成本。Retell 是具備視覺化編輯器的託管平台,Vapi 是透過 API 與儀表板配置、面向開發者的託管平台,LiveKit 則是 Apache 2.0 開源框架,支援自架。預估每分鐘總成本約為 Retell $0.070–$0.310、Vapi $0.070–$0.116、LiveKit $0.037–$0.099。

10月5日星期一
  1. GitHub Blog · AI & ML58

    GitHub 發布 ReviewBench,一個用於 AI 程式碼審查的開放基準

    GitHub 發布了 ReviewBench,這是一個用於 AI 程式碼審查代理的開放基準,建構於橫跨 19 種語言的 219 個公開 pull request 之上,其語言與儲存庫規模分布仿照 1.039 億個 GitHub pull request 設計。黃金集彙整了人類審查者、作者後續提交、靜態分析以及多個前沿 LLM 的發現,並由 Claude Sonnet 5 依據已發布的評分標準進行評分,資深工程師則獨立重新標註了每一項發現,一致率達 96.6%。GitHub 表示,其對 Copilot 程式碼審查的離線評估預示了生產環境 A/B 測試的方向,其中已處理率上升 8.0%、召回率上升 13.6%,每次審查成本下降 8.0%。

9月28日星期一
  1. Anthropic · Claude.dev72

    Anthropic 在 Claude Code 的 claude-api 技能中新增 build-eval 與 hillclimb 指令

    Anthropic 在 Claude Code 內的 claude-api 技能中新增了兩個指令:/claude-api build-eval 會在你的程式碼庫中建立評估集,而 /claude-api hillclimb 則會針對該評估反覆迭代應用程式,並以保留集來捕捉過擬合。

    推薦理由:Anthropic 在其 claude-api 技能中新增 build-eval 與 hillclimb 指令,展示 Claude Code 如何設計評估並針對評估反覆迭代,同時防範過擬合。

9月22日星期二
9月21日星期一
  1. Every44

    如何建立你自己的個人 AI 基準測試

    Every 的評測負責人說明如何建立個人 AI 基準測試,而不是依賴 MMLU-Pro 和其他公開測試;他根據自身經驗,用真實工作任務測試 Claude Opus 5、Claude Fable 5、GPT-5.6 Sol、Astra、Luna 和 Haiku。這個方法有三個層級,旨在顯示何時該切換模型,以及較小、較便宜的模型是否就足夠。

9月18日星期五
  1. Every42

    Vibe Check:GPT-6 Astra 是獨立電影製作者的突破嗎?

    創意工作室 Afterimage 用真實拍攝的素材測試 GPT-6 Astra,看看它的 Blender 3D 技能是否能延伸到視覺特效工作上。Astra 處理的任務範圍從在移動的橫搖鏡頭中替換一個盤子,到在布魯克林街道上添加一棟建築,以及在手持 iPhone 拍攝的畫面中讓一個巨大的遊行花車出現在窗外。有些鏡頭成功了,有些則沒有,但團隊最終構思出了他們以前從未嘗試過的特效。

8月24日星期一
8月18日星期二
  1. Vapi Blog55

    Vapi 推出 Simulations,用 AI 來電者測試語音代理

    Vapi 推出 Simulations,這是一項原生 AI 驅動的測試功能,會在與語音代理通話的另一端放置具有鮮明個性、且情境取自客戶的 AI 測試員。每次執行都會回傳通過/失敗結果、完整逐字稿與錄音,團隊可以模擬 API 回應、執行低成本的純文字聊天模式或完整語音模式,並可透過 API 觸發執行,搭配品質閘門,在通過率下降時阻擋部署。

8月5日星期三
8月3日星期一
  1. Vapi Blog33

    為何模型靈活性在語音領域至關重要:Speechify Simba 3.2 與 Fish Audio S2.1-Pro 登上 Vapi 人性化指數榜首

    Speechify 的 Simba 3.2 以 99 分登上 Vapi 人性化指數榜首,距離人類基準 100 分僅差一分;Fish Audio 的 S2.1-Pro 以 94 分進入榜單,首音延遲為 141 毫秒。先前領先的 xAI Grok TTS 僅以 95 分佔據榜首三週,而最高分此後已從 95 分升至 99 分。Vapi 主張,模型無關的語音平台讓團隊能在排名變動時更換 TTS 模型。