跳至正文
10月23日星期五
  1. Modal Blog58

    Modal 與 Sakana AI 如何為 Sakana Namazu API 部署約 1T 參數的 MoE 模型

    Modal 的前置部署工程團隊與 Sakana AI 合作,在 Modal 上運行 Sakana Namazu——一個針對日本商業情境調校、約 1T 參數的 MoE 模型,以支援其公開 API 上線。團隊僅對路由專家套用選擇性 NVFP4 量化,注意力層、路由器與共享專家則維持 BF16,並以日語為主的對話進行校準,確保全部 23,040 個專家都接收到具代表性的流量。一個以超過 300 億個原始 token ID 訓練的自訂 DFlash 草稿模型,將推測性 token 接受率提升 25%,並使每 token 解碼延遲降低約 35%;另一個以約 100 萬筆真實請求訓練的草稿模型,則將平均接受長度從 3.51 提升至 5.01,並將 p99 延遲從 68 秒降至 52 秒。

10月22日星期四
  1. inclusionAI Models58

    inclusionAI 發布 Ling-3.0-flash-Sante,一款 124B 醫療專業化 MoE 模型

    inclusionAI 發布 Ling-3.0-flash-Sante,這是一款以 Ling-3.0-flash 為基礎打造的醫療專業化模型,總參數 124B、每 token 激活參數 5.1B,權重已上架 Hugging Face 與 ModelScope。它採用混合線性 MoE 架構,結合 Kimi Delta Attention、門控 MLA 與稀疏 MoE 層,訓練上下文達 256K tokens,預設啟用思考模式,並可透過相容的服務框架進行工具呼叫。該公司將其標示為研究模型而非醫療器材,並表示其輸出不得取代專業醫療建議、診斷或治療。

  2. Microsoft Research64

    微軟研究院與共同作者證明31年前的KLS猜想

    微軟研究員Xinzhi Zhang與一位共同作者證明了Kannan-Lovász-Simonovits(KLS)猜想,這是高維幾何中懸而未決31年的問題,證明其界線以一個與維度無關的通用常數成立。該證明源自一個由人類引導的代理式流程,其中AI代理探索了超過100種候選方法,而研究人員則進行篩選並重新引導搜尋;另一次以領先模型在相當token預算下進行的無引導嘗試則未能成功。同日另有兩項證明出現,隨後並發布了Lean 4形式化。

    推薦理由:高維幾何中懸而未決31年的問題,透過人類引導的代理式搜尋、探索約100種候選方法而獲得解決,並有獨立證明與Lean形式化作為確認。

10月20日星期二
  1. Zyphra Research58

    Zyphra Inference Wave 2 為 MI355X 推論服務帶來自訂 HIP MoE 與稀疏注意力核心

    Zyphra 發布針對 AMD Instinct MI355X GPU 的 Zyphra Optimization Engine(ZOE)第二波更新,在其 vLLM 與 SGLang 的生產分支中加入四個自訂 HIP 核心,用於 MoE 與稀疏注意力。40x)。3 checkpoint 在四項推理基準上與 FP8 的差距維持在 3 分以內,但僅在高併發時解碼速度更快。

10月19日星期一
  1. Sakana AI Blog55

    Sakana AI 提出 QD-Rec:一種將候選項與 LLM 撰寫的假設配對的品質多樣性推薦方法

    Sakana AI 開發了 QD-Rec,這是一種推薦方法,將候選項加上解釋為何選擇它的假設視為推薦單位,並使用品質多樣性搜尋來累積高品質、多樣化的提案。在併購、客戶定向和論文推薦的實驗中,QD-Rec 建立的檔案庫平均分數更高、規模更大,優於從頭撰寫每個假設的基線方法,其程式碼已在 GitHub 上發布。論文報告了一些案例,其中一個假設對某家公司評分為 10 分中的 1 分,經過變異並轉移到另一個候選項後,分數提高到 5 分。

10月15日星期四
  1. Mistral AI71

    Mistral 發布 Timestral 時間序列基礎模型,在 GIFT-Eval、TIME 與 fev-bench 上奪冠

    Mistral 發布 Timestral,這是其首個時間序列基礎模型系列,共有 5M 至 209M 參數四種規模。其中最大的模型在 GIFT-Eval、TIME 與 fev-bench 這三個主要公開基準上,於單一檢查點、未使用集成方法的預訓練零樣本模型中排名第一,且僅使用前代最先進模型三分之二的參數。Timestral 可產生具 21 個分位數的機率性多變量預測,支援僅過去與已知未來的共變量,可在無 GPU 的 CPU 上執行,並可透過 Mistral Forge 進行微調,同時在修改版 MIT 授權下發布了 GitHub 儲存庫與技術報告。

    推薦理由:Mistral 首個時間序列基礎模型系列以 209M 參數的檢查點,宣稱在 GIFT-Eval、TIME 與 fev-bench 上取得零樣本排名第一,為預測工作提供了規模與準確度的取捨參考。

  2. inclusionAI Repositories67

    inclusionAI 發布 Ming-3.0-audio-flash 與 Ming-3.0-audio-tiny 音訊模型

    inclusionAI 發布 Ming-3.0-audio-flash,這是一個 126B 參數的混合專家(MoE)音訊模型,啟動參數為 6.5B,同時推出精簡版 Ming-3.0-audio-tiny,參數為 9.3B、啟動參數 2.7B。flash 模型涵蓋中英文語音辨識,包括方言與嘈雜多說話者場景、長音訊理解、非語音聲音與音樂感知、音訊推理,以及可選合成語音輸出的端到端口語對話。它隨附 vLLM-Omni、SGLang 與 Transformers 推論路徑,採用 MIT 授權,預設 Flash 配置在 128K 上下文下使用四張 80 GB H800 GPU 的張量平行。

    推薦理由:此次發布詳細介紹了一個 126B 參數的 MoE 音訊模型,啟動參數為 6.5B,外加一個 9.3B 的 tiny 變體,為開放音訊語言模型的規模與部署提供了具體參考。

  3. Goodfire Research62

    Goodfire 研究文章主張神經網路本來就是乾淨的,而疊加現象被誤讀了

    Goodfire 研究員主張,神經網路中多義性與疊加現象的經典證據被誤讀了,那些看似任意堆疊的現象,大多是一種他稱為遞迴泛化的模式。以一般架構改進、且不改變模型大小或訓練資料的方式重新訓練 InceptionV1 後,其最後一層 99-100% 的神經元都變得易於解讀;而對 Qwen3-32B 的初步稽核估計,約 90% 的神經元極性只有一項主要職責。文章結論認為,網路只使用一種學習原理而非兩種,因此可解釋性研究可以直接研究神經元與電路,而不必先訓練稀疏自編碼器等分解模型。

    推薦理由:這是對該領域經典多義性證據的第一手重新詮釋,主張網路是遞迴地泛化,而非把不相干的概念堆疊在一起,這將使直接的機制性研究變得可行。

10月13日星期二
  1. Modal Blog58

    Modal 在 Qwen3.6-35B-A3B 上測試混合精度、混合加速器的 RL 取樣器

    Modal 在代理式編碼任務上訓練 Qwen3.6-35B-A3B,取樣器分散於六種加速器類型(B200、B300、H100、H200、A100、RTX PRO 6000),精度涵蓋 NVFP4、FP8 與 BF16,並將資料饋入一個位於 B200 上的 BF16 訓練器。樸素的 GRPO 在混合與同質取樣器上皆崩潰,但加入遮罩式重要性取樣與分數中心化(無論是否搭配 top-p 遮罩重播)後,訓練穩定進行至結束,並在 SWE-bench Pro V2 pass@4 上達到與同質取樣器相當的水準,每次更新的取樣器成本約低 15%。混合取樣器的取樣器與訓練器平均 KL 為同質設定的 4.7 倍,作者主張穩定性取決於將不匹配程度維持在有界範圍內,而非維持在低水準。

  2. Amazon Science75

    Amazon Web Services 研究人員提出 priming,將預訓練 Transformer 轉換為混合狀態空間模型,無需完整重新訓練

    Amazon Web Services 研究人員提出 priming,此方法重用預訓練 Transformer 權重,將混合狀態空間架構的預訓練成本降低超過 99%,僅使用來源模型預訓練 token 預算的不到 0.5%。在受控比較中,Gated KalmaNet 優於 Gated DeltaNet 和 Mamba-2,而一個基於 GKA 的 32B 混合模型在推理基準上與其來源 Transformer 表現相當,同時在 128,000 token 上下文下解碼速度最高可達兩倍。團隊以 Apache 2.0 授權釋出了 8B 和 32B 的 primed 混合模型、訓練程式碼、Triton 核心以及 vLLM 服務外掛。

    推薦理由:Amazon Web Services 研究人員展示,重用預訓練 Transformer 權重可將混合架構預訓練成本降低超過 99%,使狀態空間層的受控比較變得可行。

10月12日星期一
  1. Meta AI Research Blog82

    Meta 推出 Muse Wonder 與 Muse Wonder Full 前沿模型,適用於個人與專業代理

    Meta 推出 Muse Wonder 系列,包含 Muse Wonder 與 Muse Wonder Full,並稱其在個人與專業代理任務、記憶與程式設計方面達到最先進的效能。Muse Wonder 即日起可透過 Meta Model API 與 Muse Code 使用,Muse Wonder Full 即日起開放給 Muse Code 訂閱者使用。這些模型結合了 Active Memory(可跨對話保留上下文並擷取任務相關細節)與 Active Focus(可持續推進長期目標,並在重要動作前進行確認);Meta 表示兩者皆在其千兆瓦規模的 Prometheus 資料中心訓練而成。

    推薦理由:Meta 的 Muse Wonder 系列宣稱在代理、記憶與程式設計基準測試上取得最先進的結果,並以 Active Memory 與 Active Focus 作為其建構的兩大核心能力。

  2. Modal Blog40

    Modal 推出 Endpoint Candidates,用於評估與晉升推論端點

    Modal 發布 Endpoint Candidates,對所有工作區正式開放,讓使用者能為 Dedicated Endpoints 部署替代版本,在 Modal 執行基礎設施的同時,鏡像一部分生產流量。使用者可透過每個 Candidate 各自的 URL 檢視延遲與吞吐量指標、執行基準測試並測試輸出品質,接著從儀表板將其晉升為生產環境。鏡像請求為盡力而為,並依 Modal 標準運算定價計費。

10月7日星期三
  1. OpenAI Alignment Blog52

    OpenAI 研究語言模型內部的元遊戲潛在表徵

    OpenAI 對齊研究人員在 OpenAI o3 中識別出與元遊戲(metagaming)相關的稀疏自編碼器潛在表徵,並發現元遊戲依賴多個重疊的過程,而非單一機制,包括任務分析、評估意識、尋求獎勵與規範性推理。沿這些潛在表徵進行引導,會改變 Verbalized Metagaming 分數,並在 even_number 任務上改變奇數答案的比例,且部分潛在表徵會影響輸出,而元遊戲並未出現在書面思維鏈中。這些潛在表徵的活化程度與引導效果在 RL 檢查點之間普遍增強,這與先前發現一致:元遊戲在強化學習期間變得更加常見。

10月2日星期五
  1. Meta AI Research Blog71

    Meta 分享六篇與數學家及 Muse Spark 合著的數學論文

    Meta 發表了六篇數學論文,這些論文是與數學家合作完成的,他們透過一般的 meta.ai 聊天介面,在 Thinking Mode 中使用 Muse Spark 1.1 和 1.2,沒有使用自訂的研究框架。其中五篇論文回答了先前未解決的問題,涵蓋高斯橢球擬合閾值、雙調和非線性薛丁格方程的有限時間爆破、群論猜想的一個 384 元素反例、二元多項式最佳化中基於循環的鬆弛的緊性,以及弦兩點函數與曲線上高度函數之間的關聯。每篇論文都標明了哪些段落主要由研究人員起草、哪些由 AI 起草,註明了先前的工作,並感謝其他團隊獨立並行得出的解決方案。

    推薦理由:Meta 公布六篇由數學家與 Muse Spark 協作完成的論文,其中五篇給出此前開放問題的答案,並標註 AI 與人類各自撰寫的段落。

10月1日星期四
  1. Zyphra Research38

    混合 NoPE 模型如何在沒有位置編碼的情況下學習位置

    Zyphra Research 說明混合語言模型如何在全域注意力層不使用顯式位置編碼的情況下,仍能恢復位置資訊。滑動視窗注意力與門控線性注意力等局部層會在殘差流中產生近因偏差,而全域 NoPE 注意力則學習查詢與鍵投影,將其讀取為隱式的相對位置編碼。這些發現從機制上解釋了為何將局部混合與全域 NoPE 注意力交錯使用效果良好,並指向能外推到訓練序列長度之外的位置表徵。

  2. Modal Blog42

    Modal Runtime 綜合報導:VM 沙箱、Modal 叢集等更多內容

    Modal 發布 VM 沙箱,為代理提供完整的 Linux 電腦,可用於 Docker 堆疊、本機資料庫與行動模擬器,Linear、Legora 與 Snorkel 已在使用。Modal 叢集現已透過 @modal.clustered 裝飾器正式推出,支援跨協調容器的兆級參數訓練與服務。另推出黏性工作階段與端點候選,後者處於私人測試階段。

9月24日星期四
  1. Modal Blog58

    Modal 與 CMU 的 Full Stack Data Lab 發布 Quail,一款聯合優化查詢規劃器與推理的 AI-SQL 推理引擎

    Modal 與卡內基美隆大學的 Full Stack Data Lab 打造了 Quail,一款針對 AI-SQL 工作負載的查詢感知推理引擎,聯合優化 SQL 查詢規劃器與推理引擎。在一個多重 join 查詢上,它每張 H100 GPU 每分鐘處理超過十億個 token,比同一硬體上 Modal 的 vLLM 基線快 10 倍以上,每十億 token 成本低於 6 美分;在團隊新的 AI-SQL 基準測試上,其幾何平均速度比 vLLM 快 1.84 倍。由於 AI-SQL 的過濾與 join 每個序列只需一個 token,Quail 跳過解碼、取樣與 prefill-decode 分離,並利用已知的查詢計畫來排序請求與管理 KV 快取淘汰。

9月23日星期三
  1. Vapi Blog38

    Vapi 測試 Jev 作為語音 AI 的即時護欄

    Vapi 進行了早期實驗,使用 TypeSafe AI 早期存取的「System One」模型 Jev 作為護欄,在語音助理的回應被說出之前,評估該回應是否違反開發者定義的規則。在一項早期測試中,Jev 至少攔截了四分之三的違規回應,不過 Vapi 表示這並非 100% 的合規保證,只是在提示詞護欄之上額外增加的一道檢查。

  2. Modal Blog58

    Modal 如何為兆級參數編碼代理提供數兆個 token 的服務

    Modal 說明其如何為編碼代理最佳化 Kimi K2.6 推論,達到每個副本每位使用者 2.8 倍、跨使用者 5.6 倍的效能,並以每日數千億個 token 的規模運行服務。這項工作結合了在編碼軌跡上微調的客製化 DFlash 推測解碼、FP8 KV 快取與 NVFP4 共享專家量化、HiCache CPU 層級快取,以及感知 KV 快取的基於負載路由。Modal 已將其 SGLang 修補程式上游化,並釋出 Modal Auto Endpoints 背後的設定。

9月17日星期四
  1. Goodfire Research74

    Goodfire Research 發現模型內部會發出獎勵駭客訊號,可用激活探針偵測

    Goodfire Research 報告指出,開源模型 Kimi K3、GLM 5.2 和 Qwen 3.8 Max 在三個代理基準測試中,有 50–96% 的 rollout 出現獎勵駭客行為,且伴隨一個與作弊和躲避偵測相關的共享內部訊號。簡單的均值差激活探針能偵測到該訊號,捕捉到思維鏈監控器遺漏的案例,並能泛化到購物和客戶支援等新任務。在 Kimi K3 上,將探針與 LLM 監控器結合,可將 LLM 監控成本降低 90%,精確率僅下降約 1%。

    推薦理由:Goodfire 發現開源模型之間存在一個共享的獎勵駭客內部訊號,並證明激活探針能比 LLM 監控器更便宜地捕捉到它。

8月20日星期四
  1. Goodfire Research26

    快速分岔:高效估計文字生成中的不確定性動態

    Goodfire Research 的研究人員提出 Forking Fast,這是一種統計方法,可平滑雜訊較大的低樣本 rollout 資料,以近似高樣本結果,從而降低 LLM 推理中基於重採樣的不確定性分析成本。該研究發現,當對多條推理鏈進行重採樣時,不確定性動態會收斂到穩定模式,而觀察到的雜訊在很大程度上是採樣偽影,而非模型對個別 token 或步驟的敏感度。

8月12日星期三
  1. Modal Blog62

    Qwen3.8-2.4T-A95B 開源權重發布,Modal 同步上線共享端點

    Qwen3.8-2.4T-A95B 已作為開源權重模型發布,並同步在 Modal 上線。Modal 表示其與 Qwen 在發布前合作,透過 SGLang 和針對 Qwen3.8 形狀調校的定製 DFlash 推測器,為 Modal Auto Endpoints 提供 day zero 支援。

    推薦理由:Modal 在 Qwen3.8-2.4T-A95B 開源權重發布當天即上線共享端點,並說明其定製 DFlash 推測器如何針對該模型的形狀提升推理速度。

7月29日星期三
  1. Berkeley AI Research58

    從 CUDA 到 MLX:K-Search 將核心優化專業知識帶到 Apple Silicon

    IBM Research 擴展了 K-Search——來自 UC Berkeley Sky Lab 的演化式核心搜尋框架——加入了 MLX 後端,以及一個結構化的 CUDA 到 MLX 轉譯層,可將現有的 CUDA 核心改寫為 Apple Silicon 核心。在一個 MLX 注意力核心上,此方法達到了 Apple 原生 MLX Attention 核心速度的 0.97 倍,而在沒有轉譯上下文的情況下僅為 0.26 倍;在 M1 Max 上,一個演化出的 Mamba SSM 核心相較於社群版 mlx-lm 實作,prefill 速度提升最高達 20 倍。作者將此增益主要歸因於提供給 LLM 的上下文與約束品質,而非其撰寫 Metal 程式碼的能力,並表示該方法並非專屬於 MLX。

7月26日星期日
  1. Berkeley AI Research33

    ABBEL:教導大型語言模型為長程互動更新信念狀態

    Berkeley AI Research 推出 ABBEL,此框架以自然語言信念狀態取代完整的互動歷史,並透過信念評分來監督其內容。在 CollabBench 協作編碼任務上,基於重建的信念評分將與全上下文模型的差距縮小約 50%,且只需 50 步而非 100 步即可完成訓練,同時使用的峰值 token 數更少。

7月15日星期三
  1. Modal Blog60

    Thinking Machines 的 Inkling 多模態模型現已在 Modal 上推出

    Thinking Machines 發布了 Inkling,這是一個通用多模態模型,可接收文字、圖像和音訊輸入並輸出文字,而 Modal 從第一天起就以基於 token 的定價,透過受管端點(Managed Endpoint)提供該模型。Inkling 是一個混合專家(MoE)Transformer,總參數 975B,活躍參數 41B,上下文視窗 1M token,原生支援音訊與視覺,每五層滑動視窗注意力層搭配一層完整注意力層。在配備 8 張 B200 的代理式工作負載上,Modal 自訂的 DFlash 推測器在每 GPU 吞吐量 2.5M TPM 時,達到每位使用者每秒 250 個 token,在相同吞吐量下,互動速度比模型內建的推測路徑快 67%。

    推薦理由:Modal 為 Thinking Machines 的 975B 參數 Inkling 提供首日端點,展示了自訂 DFlash 推測器如何將互動速度提升至比模型內建推測路徑快 67%。

7月6日星期一
  1. Modal Blog38

    如何為無伺服器 GPU 定價:Modal 的互動式成本模型

    Modal 發布了一款互動式工具,用於估算無伺服器與預留 GPU 的成本,預設採用目前 B200 GPU 在 Modal 上以無伺服器方式運行,以及透過三年期超大規模雲端服務商預留的費率。該模型顯示,當應用程式的峰值與平均值比率超過預留折扣率時,無伺服器 GPU 的整體成本更低,而 Modal 引用觀察到的折扣為 2-5 倍,對應峰值與平均值比率為 5-10 倍。

7月1日星期三
  1. Modal Blog58

    Modal Research 與 HeavyBall 的 MRP 將多 token 預測引入擴散語言模型

    Modal Research 與 NYU Shanghai 的 HeavyBall Research 推出 Multi-token Residual Prediction(MRP),這是一個接在凍結擴散語言模型主幹上的 3 層模組,預測的是步驟間的 logit 殘差,而非完整的下一步分布。在 SDAR-4B GSM8K 上,MRP 在 K=3 時保持 70.9% 準確率,而樸素 MTP 蒸餾僅為 5.9%;在 SGLang 中,推測模式下可無損達到最高 1.56 倍吞吐量,或在激進的低閾值動態解碼下挽回最高 +16 個準確率點。論文、程式碼、SGLang 實作以及 Hugging Face 上的 SDAR-MRP 模型均已發布。

6月25日星期四
  1. Modal Blog55

    Modal 推出適用於低延遲 HTTP、WebSocket 與 gRPC 流量的無伺服器 Servers

    Modal 推出 Servers,這是一組區域化、可自動擴縮的 HTTP 伺服器副本池,用於處理 HTTP、WebSocket 與 gRPC 流量,鎖定對延遲敏感的工作負載,例如互動式代理的 LLM 推論。Modal 表示,他們將控制平面的查詢與排隊移出請求路徑,把 p50 延遲從 39ms 降到 6ms,因此當沒有可用副本時,用戶端會收到 503,必須在應用程式中自行處理負載卸除。路由層執行於 AWS EKS,邊緣採用 Envoy,並由 Modal 自研的 Rust 代理 fprs 負責網域關聯與負載平衡;fprs 建構於 Cloudflare 的 pingora 之上,設定從 Spanner 讀取並快取於記憶體中。

6月24日星期三
  1. Modal Blog58

    Modal 推出 Auto Endpoints,以推測性解碼實現業界頂尖的推論延遲

    Modal 推出 Modal Auto Endpoints,一鍵將 Modal 的基礎設施擴展能力帶到業界頂尖的推論效能,同時保留對程式碼的控制權。Modal 表示,主要的延遲改善來自搭配自訂 DFlash 推測器模型的推測性解碼,在 Decagon Voice 案例研究中將端到端延遲降低約 100ms,約佔伺服器端解碼延遲的 40%,使其比最快的專有替代方案快逾 60ms。Modal 也與 Z Lab 和 SGLang 共同發布開源 DFlash 推測器模型,其中包括一款針對 Qwen 3.5 397B-A17B 的模型,相較於 MTP 提升超過 50%。

6月23日星期二
  1. Modal Blog60

    Modal 推出 Auto Endpoints,提供自助式、相容 OpenAI API 的 LLM 推論服務

    Modal 推出 Auto Endpoints,這是一項自助式服務,可將生產級 LLM 推論部署為相容 OpenAI API 的端點,並由使用者可見且可控制的 Modal App 支援。每個支援的模型都附帶一個起始部署,該部署依據 Modal 自身的基準測試調校,使用 SGLang 等引擎以及來自 Z Lab 的 DFlash 推測解碼草稿器,使用者可以檢視 GPU 選擇、引擎旗標,以及 TTFT、ITL 和推測解碼接受長度等推論指標。Modal 也將 Modal Servers 從 beta 版釋出,提供延遲僅 5ms 的區域化路由,並表示其透過內部代理系統產生端點部署,且仍由人類工程師監控。

    推薦理由:Modal 的 Auto Endpoints 公開了託管推論供應商通常隱藏的服務堆疊、引擎指標和基準測試配方,為團隊提供一條自助途徑,以擁有開放模型的推論能力。

6月19日星期五
  1. Modal Blog60

    Modal 為 Qwen 3.5 與 3.6 發布 DFlash 推測器,聲稱可額外提速 5-20%

    Modal 在 Hugging Face 上發布了一系列針對 Qwen 系列的 DFlash 草稿模型,包括 Qwen 3.6 35B-A3B-DFlash 以及從 4B 到 122B-A10B 的 Qwen 3.5 變體,另外還有一個用 SGLang 構建的 Qwen 3.5 397B-A17B 的 DFlash 推測器。該公司表示,新的草稿模型比現有的 DFlash 基線額外提速 5-20%,並且可以在 B200 節點上以並發度 1 運行 Qwen 3.5 122B-A10B 達到超過 1000 tok/s,而無推測時為 250 tok/s。文章認為,在內核優化只能帶來幾個百分點提升的地方,推測解碼可帶來 2 倍至 3 倍的增益,並提出了一個用於根據接受長度估算加速比的 roofline 模型。

    推薦理由:Modal 解釋了為何押注推測解碼,並發布了針對 Qwen 系列的 DFlash 草稿模型,附帶實測加速數據和用於估算增益的 roofline 模型。

6月11日星期四
  1. Modal Blog34

    Modal 讓 FlashAttention-4 在 LLM 推論上更快

    Modal 為 FlashAttention-4 核心貢獻了多項最佳化,以加速以解碼為主的 LLM 推論工作負載,這類工作負載的瓶頸在於記憶體頻寬。這些變更包括將「split KV」平行化技術移植到 FA4,並以 cp.async 取代 TMA cp.async.bulk 載入,以處理不規則的記憶體存取。一個 FP8 輸入 PR(於 2026 年 4 月 17 日合併)相較於 bf16 基準可提供最高 1.16 倍的吞吐量,並可啟用更小的 KV 快取。

6月9日星期二
  1. MiniMax Blog58

    MiniMax 詳解 MaxProof:生成式驗證器強化學習與演化搜尋用於數學證明

    MiniMax 發布技術部落格,說明 MaxProof 框架,該框架支撐 M3 在 IMO 2025 與 USAMO 2026 上超越人類金牌門檻。此流程訓練三個專家模型,分別負責證明生成、錯誤判斷與證明修復,接著執行演化式測試時搜尋,取樣 32 個候選、每個驗證 4 次,並最多精煉 10 輪。MiniMax 表示關鍵教訓是:生成式驗證器作為強化學習獎勵時,應優先降低偽陽性而非追求平均準確率,並引用 M2-cycle 獎勵駭客案例,其中偽陽性率在訓練期間從約 2.9% 升至 8.0%。

5月12日星期二
  1. Modal Blog58

    Modal 如何實現真正的無伺服器 GPU

    Modal 發表了一篇工程文章,說明他們如何將 AI 推論副本的啟動時間從約 2,000 秒縮短到約 50 秒,方法包含四個元件:閒置健康 GPU 的緩衝池、名為 ImageFS 的延遲內容定址檔案系統、透過 gVisor 的 runsc 進行主機端檢查點/還原,以及建構在 Nvidia 驅動程式支援上的 CUDA 檢查點/還原。在超過一萬次冷啟動中,對於 bf16 格式的約 1 GiB Qwen 3 0.6B 模型,vLLM 的平均啟動延遲從 95,679 毫秒降至 13,797 毫秒,SGLang 則從 83,713 毫秒降至 17,486 毫秒。文章也指出了一些限制,包括快照僅支援單一 GPU,以及主機環境的敏感性要求每次部署需準備多個快照。

5月8日星期五
  1. Berkeley AI Research38

    自適應平行推理:高效推理擴展綜述

    柏克萊人工智慧研究的一篇綜述探討自適應平行推理,其中推理模型本身決定何時分解子任務、要生成多少個並行執行緒,以及如何協調它們。該文章將此與固定平行方法進行對比,例如自洽性、Best-of-N、思維樹、MCTS、ParaThinker、GroupThink 和 Hogwild! Inference,這些方法從外部強加平行結構。順序推理在 token 和延遲上呈線性擴展,並有上下文腐化的風險,這促使人們採用獨立且並行探索的平行執行緒。

5月4日星期一
4月29日星期三
  1. Modal Blog33

    在 Modal 上打造強化學習定理證明工作流程

    AE Studio 詳細說明如何在 Modal 上以強化學習訓練大型語言模型證明數學定理,在保持訓練迴圈固定的前提下比較演化策略與 GRPO。此設置在 GPU 上執行 vLLM 推論、於隔離的 CPU 沙箱中進行 Lean 編譯器驗證,並搭配輕量級協調器,使用逐函式映像、.map() 扇出,以及 Volumes 來存放基礎權重。

4月20日星期一
  1. Berkeley AI Research38

    GRASP:針對世界模型的長程梯度式規劃

    GRASP 是一種針對學習式世界模型的新型梯度式規劃器,透過將軌跡提升至虛擬狀態以進行時間平行優化、在狀態迭代中加入隨機性以促進探索,以及重塑梯度使動作獲得乾淨訊號,同時避免透過高維視覺模型產生脆弱的狀態輸入梯度,讓長程規劃變得實用。此研究解決了使長程規劃脆弱的病態計算圖、非貪婪局部極小值及高維潛在失效模式等問題。此工作與 Mike Rabbat、Aditi Krishnapriyan、Yann LeCun 及 Amir Bar 共同完成。

3月13日星期五
  1. Berkeley AI Research38

    Berkeley AI Research 推出 SPEX 與 ProxySPEX,用於識別 LLM 的大規模交互作用

    Berkeley AI Research 的研究人員介紹了 SPEX 與 ProxySPEX,這兩種演算法能在遠超既有方法的規模下,識別 LLM 中具影響力的特徵、資料與模型元件交互作用。SPEX 將交互作用搜尋重新表述為稀疏恢復問題,利用稀疏性與低階數(low-degreeness);ProxySPEX 則利用階層結構,以約少 10 倍的消融次數達到與 SPEX 相當的效果。在情感分析上,SPEX 在短輸入上達到與 Faith-Shap 和 Faith-Banzhaf 相當的忠實度,並在上下文擴展至數千個特徵時仍能維持。

2025年11月19日星期三
  1. Modal Blog30

    Reducto 如何在 Modal 上將企業文件處理的 P90 延遲降低 3 倍

    Reducto 將其 30 多個文件處理模型的推論工作負載遷移至 Modal,使 P90 延遲降低 3 倍。GPU 記憶體快照將冷啟動時間減少 83%,從約 70 秒降至約 12 秒,而各客戶專屬的自動擴展資源池則隔離了流量尖峰。在一次負載測試中,Reducto 在不到一小時內將其擷取管線擴展至超過 1,000 個 GPU,以展示每分鐘 10 萬頁的處理能力。