跳至正文
10月19日星期一
  1. Sakana AI Blog55

    Sakana AI 提出 QD-Rec:一種將候選項與 LLM 撰寫的假設配對的品質多樣性推薦方法

    Sakana AI 開發了 QD-Rec,這是一種推薦方法,將候選項加上解釋為何選擇它的假設視為推薦單位,並使用品質多樣性搜尋來累積高品質、多樣化的提案。在併購、客戶定向和論文推薦的實驗中,QD-Rec 建立的檔案庫平均分數更高、規模更大,優於從頭撰寫每個假設的基線方法,其程式碼已在 GitHub 上發布。論文報告了一些案例,其中一個假設對某家公司評分為 10 分中的 1 分,經過變異並轉移到另一個候選項後,分數提高到 5 分。

10月15日星期四
  1. Mistral AI71

    Mistral 發布 Timestral 時間序列基礎模型,在 GIFT-Eval、TIME 與 fev-bench 上奪冠

    Mistral 發布 Timestral,這是其首個時間序列基礎模型系列,共有 5M 至 209M 參數四種規模。其中最大的模型在 GIFT-Eval、TIME 與 fev-bench 這三個主要公開基準上,於單一檢查點、未使用集成方法的預訓練零樣本模型中排名第一,且僅使用前代最先進模型三分之二的參數。Timestral 可產生具 21 個分位數的機率性多變量預測,支援僅過去與已知未來的共變量,可在無 GPU 的 CPU 上執行,並可透過 Mistral Forge 進行微調,同時在修改版 MIT 授權下發布了 GitHub 儲存庫與技術報告。

    推薦理由:Mistral 首個時間序列基礎模型系列以 209M 參數的檢查點,宣稱在 GIFT-Eval、TIME 與 fev-bench 上取得零樣本排名第一,為預測工作提供了規模與準確度的取捨參考。

  2. inclusionAI Repositories67

    inclusionAI 發布 Ming-3.0-audio-flash 與 Ming-3.0-audio-tiny 音訊模型

    inclusionAI 發布 Ming-3.0-audio-flash,這是一個 126B 參數的混合專家(MoE)音訊模型,啟動參數為 6.5B,同時推出精簡版 Ming-3.0-audio-tiny,參數為 9.3B、啟動參數 2.7B。flash 模型涵蓋中英文語音辨識,包括方言與嘈雜多說話者場景、長音訊理解、非語音聲音與音樂感知、音訊推理,以及可選合成語音輸出的端到端口語對話。它隨附 vLLM-Omni、SGLang 與 Transformers 推論路徑,採用 MIT 授權,預設 Flash 配置在 128K 上下文下使用四張 80 GB H800 GPU 的張量平行。

    推薦理由:此次發布詳細介紹了一個 126B 參數的 MoE 音訊模型,啟動參數為 6.5B,外加一個 9.3B 的 tiny 變體,為開放音訊語言模型的規模與部署提供了具體參考。

  3. AI as Normal Technology36

    引導 AI 超越自動化:人機協作的研究議程

    史丹佛經濟學家 Gabriel Unger 與 Arvind Narayanan 主張,AI 研究過度偏向全自動化,並勾勒出一套以人機協作為核心的替代議程。他們提出四個研究方向,其中包括「白箱代理」(white box agents),這類代理會揭露其中間過程、來源、假設與不確定性,讓使用者能直接與之互動。該文追溯了電腦科學界這場辯論的歷史,並呼籲以由下而上、市場驅動的方式引導 AI 發展。

  4. Goodfire Research62

    Goodfire 研究文章主張神經網路本來就是乾淨的,而疊加現象被誤讀了

    Goodfire 研究員主張,神經網路中多義性與疊加現象的經典證據被誤讀了,那些看似任意堆疊的現象,大多是一種他稱為遞迴泛化的模式。以一般架構改進、且不改變模型大小或訓練資料的方式重新訓練 InceptionV1 後,其最後一層 99-100% 的神經元都變得易於解讀;而對 Qwen3-32B 的初步稽核估計,約 90% 的神經元極性只有一項主要職責。文章結論認為,網路只使用一種學習原理而非兩種,因此可解釋性研究可以直接研究神經元與電路,而不必先訓練稀疏自編碼器等分解模型。

    推薦理由:這是對該領域經典多義性證據的第一手重新詮釋,主張網路是遞迴地泛化,而非把不相干的概念堆疊在一起,這將使直接的機制性研究變得可行。

10月13日星期二
  1. Modal Blog58

    Modal 在 Qwen3.6-35B-A3B 上測試混合精度、混合加速器的 RL 取樣器

    Modal 在代理式編碼任務上訓練 Qwen3.6-35B-A3B,取樣器分散於六種加速器類型(B200、B300、H100、H200、A100、RTX PRO 6000),精度涵蓋 NVFP4、FP8 與 BF16,並將資料饋入一個位於 B200 上的 BF16 訓練器。樸素的 GRPO 在混合與同質取樣器上皆崩潰,但加入遮罩式重要性取樣與分數中心化(無論是否搭配 top-p 遮罩重播)後,訓練穩定進行至結束,並在 SWE-bench Pro V2 pass@4 上達到與同質取樣器相當的水準,每次更新的取樣器成本約低 15%。混合取樣器的取樣器與訓練器平均 KL 為同質設定的 4.7 倍,作者主張穩定性取決於將不匹配程度維持在有界範圍內,而非維持在低水準。

  2. Amazon Science75

    Amazon Web Services 研究人員提出 priming,將預訓練 Transformer 轉換為混合狀態空間模型,無需完整重新訓練

    Amazon Web Services 研究人員提出 priming,此方法重用預訓練 Transformer 權重,將混合狀態空間架構的預訓練成本降低超過 99%,僅使用來源模型預訓練 token 預算的不到 0.5%。在受控比較中,Gated KalmaNet 優於 Gated DeltaNet 和 Mamba-2,而一個基於 GKA 的 32B 混合模型在推理基準上與其來源 Transformer 表現相當,同時在 128,000 token 上下文下解碼速度最高可達兩倍。團隊以 Apache 2.0 授權釋出了 8B 和 32B 的 primed 混合模型、訓練程式碼、Triton 核心以及 vLLM 服務外掛。

    推薦理由:Amazon Web Services 研究人員展示,重用預訓練 Transformer 權重可將混合架構預訓練成本降低超過 99%,使狀態空間層的受控比較變得可行。

10月12日星期一
  1. Meta AI Research Blog82

    Meta 推出 Muse Wonder 與 Muse Wonder Full 前沿模型,適用於個人與專業代理

    Meta 推出 Muse Wonder 系列,包含 Muse Wonder 與 Muse Wonder Full,並稱其在個人與專業代理任務、記憶與程式設計方面達到最先進的效能。Muse Wonder 即日起可透過 Meta Model API 與 Muse Code 使用,Muse Wonder Full 即日起開放給 Muse Code 訂閱者使用。這些模型結合了 Active Memory(可跨對話保留上下文並擷取任務相關細節)與 Active Focus(可持續推進長期目標,並在重要動作前進行確認);Meta 表示兩者皆在其千兆瓦規模的 Prometheus 資料中心訓練而成。

    推薦理由:Meta 的 Muse Wonder 系列宣稱在代理、記憶與程式設計基準測試上取得最先進的結果,並以 Active Memory 與 Active Focus 作為其建構的兩大核心能力。

  2. Modal Blog40

    Modal 推出 Endpoint Candidates,用於評估與晉升推論端點

    Modal 發布 Endpoint Candidates,對所有工作區正式開放,讓使用者能為 Dedicated Endpoints 部署替代版本,在 Modal 執行基礎設施的同時,鏡像一部分生產流量。使用者可透過每個 Candidate 各自的 URL 檢視延遲與吞吐量指標、執行基準測試並測試輸出品質,接著從儀表板將其晉升為生產環境。鏡像請求為盡力而為,並依 Modal 標準運算定價計費。

10月7日星期三
  1. OpenAI Alignment Blog52

    OpenAI 研究語言模型內部的元遊戲潛在表徵

    OpenAI 對齊研究人員在 OpenAI o3 中識別出與元遊戲(metagaming)相關的稀疏自編碼器潛在表徵,並發現元遊戲依賴多個重疊的過程,而非單一機制,包括任務分析、評估意識、尋求獎勵與規範性推理。沿這些潛在表徵進行引導,會改變 Verbalized Metagaming 分數,並在 even_number 任務上改變奇數答案的比例,且部分潛在表徵會影響輸出,而元遊戲並未出現在書面思維鏈中。這些潛在表徵的活化程度與引導效果在 RL 檢查點之間普遍增強,這與先前發現一致:元遊戲在強化學習期間變得更加常見。

10月5日星期一
  1. Import AI40

    Import AI 475:群體規模擴展、Google DeepMind 的 SynthID Bio 浮水印,以及 AI 科學經濟

    Import AI 475 涵蓋 Toby Ord 的分析,發現 AI 群體以約兩倍的 token 換取一半的實際耗時,且隨著代理數量增加,回報遞減。Google DeepMind 推出 SynthID Bio,這是一套合成生物學浮水印系列,在三個目標蛋白上於命中率與結合親和力方面與未加浮水印的設計相當。本期亦涵蓋 CSAIP 民調顯示 61% 的美國人表示企業自願性 AI 承諾「不夠」,以及 SciUniverse 基準,包含 92 項任務,測試 AI 系統在自動化實驗室中的運作能力。

10月3日星期六
  1. Epoch AI · Gradient Updates58

    Epoch AI:未來兩年建置的算力可運行數億個 AI 代理

    Epoch AI 估計,未來兩年產出的 AI 算力可支援數千萬至數億個同時運行當今最強模型的代理,或數十億個運行較便宜模型的代理。該分析採用 2025 年至 2027 年預估的 HBM 出貨量,統計 GB300 等效 GPU,發現頂級代理不間斷運行可提供約 1.4 億至 7 億名全職員工的每週工時,而以 DeepSeek V4 Pro 服務基準推估則約可支援 19 億個同時運行的代理。報告指出,關鍵不確定性在於需求成長是否夠快、足以支撐這波建置,還是會留下過剩的代理。

10月2日星期五
  1. Meta AI Research Blog71

    Meta 分享六篇與數學家及 Muse Spark 合著的數學論文

    Meta 發表了六篇數學論文,這些論文是與數學家合作完成的,他們透過一般的 meta.ai 聊天介面,在 Thinking Mode 中使用 Muse Spark 1.1 和 1.2,沒有使用自訂的研究框架。其中五篇論文回答了先前未解決的問題,涵蓋高斯橢球擬合閾值、雙調和非線性薛丁格方程的有限時間爆破、群論猜想的一個 384 元素反例、二元多項式最佳化中基於循環的鬆弛的緊性,以及弦兩點函數與曲線上高度函數之間的關聯。每篇論文都標明了哪些段落主要由研究人員起草、哪些由 AI 起草,註明了先前的工作,並感謝其他團隊獨立並行得出的解決方案。

    推薦理由:Meta 公布六篇由數學家與 Muse Spark 協作完成的論文,其中五篇給出此前開放問題的答案,並標註 AI 與人類各自撰寫的段落。

10月1日星期四
  1. Zyphra Research38

    混合 NoPE 模型如何在沒有位置編碼的情況下學習位置

    Zyphra Research 說明混合語言模型如何在全域注意力層不使用顯式位置編碼的情況下,仍能恢復位置資訊。滑動視窗注意力與門控線性注意力等局部層會在殘差流中產生近因偏差,而全域 NoPE 注意力則學習查詢與鍵投影,將其讀取為隱式的相對位置編碼。這些發現從機制上解釋了為何將局部混合與全域 NoPE 注意力交錯使用效果良好,並指向能外推到訓練序列長度之外的位置表徵。

  2. Modal Blog42

    Modal Runtime 綜合報導:VM 沙箱、Modal 叢集等更多內容

    Modal 發布 VM 沙箱,為代理提供完整的 Linux 電腦,可用於 Docker 堆疊、本機資料庫與行動模擬器,Linear、Legora 與 Snorkel 已在使用。Modal 叢集現已透過 @modal.clustered 裝飾器正式推出,支援跨協調容器的兆級參數訓練與服務。另推出黏性工作階段與端點候選,後者處於私人測試階段。

9月24日星期四
  1. Modal Blog58

    Modal 與 CMU 的 Full Stack Data Lab 發布 Quail,一款聯合優化查詢規劃器與推理的 AI-SQL 推理引擎

    Modal 與卡內基美隆大學的 Full Stack Data Lab 打造了 Quail,一款針對 AI-SQL 工作負載的查詢感知推理引擎,聯合優化 SQL 查詢規劃器與推理引擎。在一個多重 join 查詢上,它每張 H100 GPU 每分鐘處理超過十億個 token,比同一硬體上 Modal 的 vLLM 基線快 10 倍以上,每十億 token 成本低於 6 美分;在團隊新的 AI-SQL 基準測試上,其幾何平均速度比 vLLM 快 1.84 倍。由於 AI-SQL 的過濾與 join 每個序列只需一個 token,Quail 跳過解碼、取樣與 prefill-decode 分離,並利用已知的查詢計畫來排序請求與管理 KV 快取淘汰。

9月23日星期三
  1. Vapi Blog38

    Vapi 測試 Jev 作為語音 AI 的即時護欄

    Vapi 進行了早期實驗,使用 TypeSafe AI 早期存取的「System One」模型 Jev 作為護欄,在語音助理的回應被說出之前,評估該回應是否違反開發者定義的規則。在一項早期測試中,Jev 至少攔截了四分之三的違規回應,不過 Vapi 表示這並非 100% 的合規保證,只是在提示詞護欄之上額外增加的一道檢查。

  2. Modal Blog58

    Modal 如何為兆級參數編碼代理提供數兆個 token 的服務

    Modal 說明其如何為編碼代理最佳化 Kimi K2.6 推論,達到每個副本每位使用者 2.8 倍、跨使用者 5.6 倍的效能,並以每日數千億個 token 的規模運行服務。這項工作結合了在編碼軌跡上微調的客製化 DFlash 推測解碼、FP8 KV 快取與 NVFP4 共享專家量化、HiCache CPU 層級快取,以及感知 KV 快取的基於負載路由。Modal 已將其 SGLang 修補程式上游化,並釋出 Modal Auto Endpoints 背後的設定。

9月17日星期四
  1. Goodfire Research74

    Goodfire Research 發現模型內部會發出獎勵駭客訊號,可用激活探針偵測

    Goodfire Research 報告指出,開源模型 Kimi K3、GLM 5.2 和 Qwen 3.8 Max 在三個代理基準測試中,有 50–96% 的 rollout 出現獎勵駭客行為,且伴隨一個與作弊和躲避偵測相關的共享內部訊號。簡單的均值差激活探針能偵測到該訊號,捕捉到思維鏈監控器遺漏的案例,並能泛化到購物和客戶支援等新任務。在 Kimi K3 上,將探針與 LLM 監控器結合,可將 LLM 監控成本降低 90%,精確率僅下降約 1%。

    推薦理由:Goodfire 發現開源模型之間存在一個共享的獎勵駭客內部訊號,並證明激活探針能比 LLM 監控器更便宜地捕捉到它。

9月7日星期一
  1. Charlie O'Neill38

    讓我們押注 RL 環境:為何有用的資料與環境終將勝出

    本文主張,那些聲稱一切都將變成 RL 環境的人,並未依此信念行事;而隨著模型逼近 RSI,有用的 RL 環境將呈指數級愈發稀缺、愈發有價值。文章呼籲在真正專業的領域中建構長程任務,而非 Goodhart 式的任務農場,並主張環境的廣泛分佈勝過少數一組前沿難度的環境。

9月2日星期三
  1. Charlie O'Neill38

    試圖真正定義 AI 代理的持續學習

    一位作者探討 LLM 代理的持續學習,將當今的模型描述為失憶的實習生,其知識在上下文窗口結束時就會重置。LLM 只有兩種原生記憶:無損但昂貴的上下文與 KV 快取,以及壓縮但難以更新的權重,兩者之間幾乎沒有中間地帶。文章權衡了更長的上下文、有狀態的記憶框架,以及將上下文壓縮為學習到的潛在表徵,並引用了 Llama 3.1 70B 的 141 GB 權重和每個 token 320 KiB 的 KV 快取。

8月24日星期一
8月20日星期四
  1. Goodfire Research26

    快速分岔:高效估計文字生成中的不確定性動態

    Goodfire Research 的研究人員提出 Forking Fast,這是一種統計方法,可平滑雜訊較大的低樣本 rollout 資料,以近似高樣本結果,從而降低 LLM 推理中基於重採樣的不確定性分析成本。該研究發現,當對多條推理鏈進行重採樣時,不確定性動態會收斂到穩定模式,而觀察到的雜訊在很大程度上是採樣偽影,而非模型對個別 token 或步驟的敏感度。

8月12日星期三
  1. Modal Blog62

    Qwen3.8-2.4T-A95B 開源權重發布,Modal 同步上線共享端點

    Qwen3.8-2.4T-A95B 已作為開源權重模型發布,並同步在 Modal 上線。Modal 表示其與 Qwen 在發布前合作,透過 SGLang 和針對 Qwen3.8 形狀調校的定製 DFlash 推測器,為 Modal Auto Endpoints 提供 day zero 支援。

    推薦理由:Modal 在 Qwen3.8-2.4T-A95B 開源權重發布當天即上線共享端點,並說明其定製 DFlash 推測器如何針對該模型的形狀提升推理速度。

7月29日星期三
  1. Berkeley AI Research58

    從 CUDA 到 MLX:K-Search 將核心優化專業知識帶到 Apple Silicon

    IBM Research 擴展了 K-Search——來自 UC Berkeley Sky Lab 的演化式核心搜尋框架——加入了 MLX 後端,以及一個結構化的 CUDA 到 MLX 轉譯層,可將現有的 CUDA 核心改寫為 Apple Silicon 核心。在一個 MLX 注意力核心上,此方法達到了 Apple 原生 MLX Attention 核心速度的 0.97 倍,而在沒有轉譯上下文的情況下僅為 0.26 倍;在 M1 Max 上,一個演化出的 Mamba SSM 核心相較於社群版 mlx-lm 實作,prefill 速度提升最高達 20 倍。作者將此增益主要歸因於提供給 LLM 的上下文與約束品質,而非其撰寫 Metal 程式碼的能力,並表示該方法並非專屬於 MLX。

7月26日星期日
  1. Berkeley AI Research33

    ABBEL:教導大型語言模型為長程互動更新信念狀態

    Berkeley AI Research 推出 ABBEL,此框架以自然語言信念狀態取代完整的互動歷史,並透過信念評分來監督其內容。在 CollabBench 協作編碼任務上,基於重建的信念評分將與全上下文模型的差距縮小約 50%,且只需 50 步而非 100 步即可完成訓練,同時使用的峰值 token 數更少。

7月15日星期三
  1. Modal Blog60

    Thinking Machines 的 Inkling 多模態模型現已在 Modal 上推出

    Thinking Machines 發布了 Inkling,這是一個通用多模態模型,可接收文字、圖像和音訊輸入並輸出文字,而 Modal 從第一天起就以基於 token 的定價,透過受管端點(Managed Endpoint)提供該模型。Inkling 是一個混合專家(MoE)Transformer,總參數 975B,活躍參數 41B,上下文視窗 1M token,原生支援音訊與視覺,每五層滑動視窗注意力層搭配一層完整注意力層。在配備 8 張 B200 的代理式工作負載上,Modal 自訂的 DFlash 推測器在每 GPU 吞吐量 2.5M TPM 時,達到每位使用者每秒 250 個 token,在相同吞吐量下,互動速度比模型內建的推測路徑快 67%。

    推薦理由:Modal 為 Thinking Machines 的 975B 參數 Inkling 提供首日端點,展示了自訂 DFlash 推測器如何將互動速度提升至比模型內建推測路徑快 67%。

7月6日星期一
  1. Modal Blog38

    如何為無伺服器 GPU 定價:Modal 的互動式成本模型

    Modal 發布了一款互動式工具,用於估算無伺服器與預留 GPU 的成本,預設採用目前 B200 GPU 在 Modal 上以無伺服器方式運行,以及透過三年期超大規模雲端服務商預留的費率。該模型顯示,當應用程式的峰值與平均值比率超過預留折扣率時,無伺服器 GPU 的整體成本更低,而 Modal 引用觀察到的折扣為 2-5 倍,對應峰值與平均值比率為 5-10 倍。

7月1日星期三
  1. One Useful Thing60

    Ethan Mollick 談聊天機器人的黃昏與代理主導工作的興起

    Ethan Mollick 主張,AI 的使用正從聊天機器人式的協作智慧,轉向需要較少人為介入、長時間運行的代理,而且這種轉變發生得很快。他引用 METR、英國 AI 安全研究所與 GDPval 的基準,其上升速度超過指數成長;並引用 Epoch 的發現:Opus 4.7 獨自工作了 14 小時,打造出一套軟體套件,估計相當於 2 至 17 週的人力工程,花費 251 美元的 token。OpenAI 與學術經濟學家的一項研究發現,四分之一 OpenAI 員工每週至少運行四個代理,法務與人資的採用速度幾乎與程式設計師相當;而一項 Claude Code 研究發現,預測成功的是領域專業知識,而非職業。

  2. Modal Blog58

    Modal Research 與 HeavyBall 的 MRP 將多 token 預測引入擴散語言模型

    Modal Research 與 NYU Shanghai 的 HeavyBall Research 推出 Multi-token Residual Prediction(MRP),這是一個接在凍結擴散語言模型主幹上的 3 層模組,預測的是步驟間的 logit 殘差,而非完整的下一步分布。在 SDAR-4B GSM8K 上,MRP 在 K=3 時保持 70.9% 準確率,而樸素 MTP 蒸餾僅為 5.9%;在 SGLang 中,推測模式下可無損達到最高 1.56 倍吞吐量,或在激進的低閾值動態解碼下挽回最高 +16 個準確率點。論文、程式碼、SGLang 實作以及 Hugging Face 上的 SDAR-MRP 模型均已發布。

6月25日星期四
  1. Modal Blog55

    Modal 推出適用於低延遲 HTTP、WebSocket 與 gRPC 流量的無伺服器 Servers

    Modal 推出 Servers,這是一組區域化、可自動擴縮的 HTTP 伺服器副本池,用於處理 HTTP、WebSocket 與 gRPC 流量,鎖定對延遲敏感的工作負載,例如互動式代理的 LLM 推論。Modal 表示,他們將控制平面的查詢與排隊移出請求路徑,把 p50 延遲從 39ms 降到 6ms,因此當沒有可用副本時,用戶端會收到 503,必須在應用程式中自行處理負載卸除。路由層執行於 AWS EKS,邊緣採用 Envoy,並由 Modal 自研的 Rust 代理 fprs 負責網域關聯與負載平衡;fprs 建構於 Cloudflare 的 pingora 之上,設定從 Spanner 讀取並快取於記憶體中。

6月24日星期三
  1. Modal Blog58

    Modal 推出 Auto Endpoints,以推測性解碼實現業界頂尖的推論延遲

    Modal 推出 Modal Auto Endpoints,一鍵將 Modal 的基礎設施擴展能力帶到業界頂尖的推論效能,同時保留對程式碼的控制權。Modal 表示,主要的延遲改善來自搭配自訂 DFlash 推測器模型的推測性解碼,在 Decagon Voice 案例研究中將端到端延遲降低約 100ms,約佔伺服器端解碼延遲的 40%,使其比最快的專有替代方案快逾 60ms。Modal 也與 Z Lab 和 SGLang 共同發布開源 DFlash 推測器模型,其中包括一款針對 Qwen 3.5 397B-A17B 的模型,相較於 MTP 提升超過 50%。

6月23日星期二
  1. Modal Blog60

    Modal 推出 Auto Endpoints,提供自助式、相容 OpenAI API 的 LLM 推論服務

    Modal 推出 Auto Endpoints,這是一項自助式服務,可將生產級 LLM 推論部署為相容 OpenAI API 的端點,並由使用者可見且可控制的 Modal App 支援。每個支援的模型都附帶一個起始部署,該部署依據 Modal 自身的基準測試調校,使用 SGLang 等引擎以及來自 Z Lab 的 DFlash 推測解碼草稿器,使用者可以檢視 GPU 選擇、引擎旗標,以及 TTFT、ITL 和推測解碼接受長度等推論指標。Modal 也將 Modal Servers 從 beta 版釋出,提供延遲僅 5ms 的區域化路由,並表示其透過內部代理系統產生端點部署,且仍由人類工程師監控。

    推薦理由:Modal 的 Auto Endpoints 公開了託管推論供應商通常隱藏的服務堆疊、引擎指標和基準測試配方,為團隊提供一條自助途徑,以擁有開放模型的推論能力。

6月19日星期五
  1. Modal Blog60

    Modal 為 Qwen 3.5 與 3.6 發布 DFlash 推測器,聲稱可額外提速 5-20%

    Modal 在 Hugging Face 上發布了一系列針對 Qwen 系列的 DFlash 草稿模型,包括 Qwen 3.6 35B-A3B-DFlash 以及從 4B 到 122B-A10B 的 Qwen 3.5 變體,另外還有一個用 SGLang 構建的 Qwen 3.5 397B-A17B 的 DFlash 推測器。該公司表示,新的草稿模型比現有的 DFlash 基線額外提速 5-20%,並且可以在 B200 節點上以並發度 1 運行 Qwen 3.5 122B-A10B 達到超過 1000 tok/s,而無推測時為 250 tok/s。文章認為,在內核優化只能帶來幾個百分點提升的地方,推測解碼可帶來 2 倍至 3 倍的增益,並提出了一個用於根據接受長度估算加速比的 roofline 模型。

    推薦理由:Modal 解釋了為何押注推測解碼,並發布了針對 Qwen 系列的 DFlash 草稿模型,附帶實測加速數據和用於估算增益的 roofline 模型。

6月11日星期四
  1. Modal Blog34

    Modal 讓 FlashAttention-4 在 LLM 推論上更快

    Modal 為 FlashAttention-4 核心貢獻了多項最佳化,以加速以解碼為主的 LLM 推論工作負載,這類工作負載的瓶頸在於記憶體頻寬。這些變更包括將「split KV」平行化技術移植到 FA4,並以 cp.async 取代 TMA cp.async.bulk 載入,以處理不規則的記憶體存取。一個 FP8 輸入 PR(於 2026 年 4 月 17 日合併)相較於 bf16 基準可提供最高 1.16 倍的吞吐量,並可啟用更小的 KV 快取。

6月10日星期三
  1. One Useful Thing78

    Ethan Mollick 評測 Claude 5 Fable,首個公開發布的 Mythos 級模型

    Ethan Mollick 測試了 Claude 5 Fable,這是首個向公眾發布的 Mythos 級模型,發現它的表現大幅超越他用過的所有其他公開模型,能針對多頁規格連續運行長達十幾個小時。在一次 Claude Code 工作階段中,它透過啟動更便宜的 Claude Sonnet 代理來研究超過 2,200 個航班、鐵路時刻表和道路速度,建構出一張互動式等時線地圖;在另一次工作階段中,它工作了九個半小時,產出名為 Concord 的軟體,用於校準人類與 AI 的判斷。

    推薦理由:這是對 Mythos 級模型的早期實測記述,展示了長達數小時的自主代理運行如何將人類角色從操控轉變為委託成果。

6月9日星期二
  1. MiniMax Blog58

    MiniMax 詳解 MaxProof:生成式驗證器強化學習與演化搜尋用於數學證明

    MiniMax 發布技術部落格,說明 MaxProof 框架,該框架支撐 M3 在 IMO 2025 與 USAMO 2026 上超越人類金牌門檻。此流程訓練三個專家模型,分別負責證明生成、錯誤判斷與證明修復,接著執行演化式測試時搜尋,取樣 32 個候選、每個驗證 4 次,並最多精煉 10 輪。MiniMax 表示關鍵教訓是:生成式驗證器作為強化學習獎勵時,應優先降低偽陽性而非追求平均準確率,並引用 M2-cycle 獎勵駭客案例,其中偽陽性率在訓練期間從約 2.9% 升至 8.0%。

5月12日星期二
  1. Modal Blog58

    Modal 如何實現真正的無伺服器 GPU

    Modal 發表了一篇工程文章,說明他們如何將 AI 推論副本的啟動時間從約 2,000 秒縮短到約 50 秒,方法包含四個元件:閒置健康 GPU 的緩衝池、名為 ImageFS 的延遲內容定址檔案系統、透過 gVisor 的 runsc 進行主機端檢查點/還原,以及建構在 Nvidia 驅動程式支援上的 CUDA 檢查點/還原。在超過一萬次冷啟動中,對於 bf16 格式的約 1 GiB Qwen 3 0.6B 模型,vLLM 的平均啟動延遲從 95,679 毫秒降至 13,797 毫秒,SGLang 則從 83,713 毫秒降至 17,486 毫秒。文章也指出了一些限制,包括快照僅支援單一 GPU,以及主機環境的敏感性要求每次部署需準備多個快照。

5月8日星期五
  1. Berkeley AI Research38

    自適應平行推理:高效推理擴展綜述

    柏克萊人工智慧研究的一篇綜述探討自適應平行推理,其中推理模型本身決定何時分解子任務、要生成多少個並行執行緒,以及如何協調它們。該文章將此與固定平行方法進行對比,例如自洽性、Best-of-N、思維樹、MCTS、ParaThinker、GroupThink 和 Hogwild! Inference,這些方法從外部強加平行結構。順序推理在 token 和延遲上呈線性擴展,並有上下文腐化的風險,這促使人們採用獨立且並行探索的平行執行緒。