Meta 發表了六篇數學論文，這些論文是與數學家合作完成的，他們透過一般的 meta.ai 聊天介面，在 Thinking Mode 中使用 Muse Spark 1.1 和 1.2，沒有使用自訂的研究框架。其中五篇論文回答了先前未解決的問題，涵蓋高斯橢球擬合閾值、雙調和非線性薛丁格方程的有限時間爆破、群論猜想的一個 384 元素反例、二元多項式最佳化中基於循環的鬆弛的緊性，以及弦兩點函數與曲線上高度函數之間的關聯。每篇論文都標明了哪些段落主要由研究人員起草、哪些由 AI 起草，註明了先前的工作，並感謝其他團隊獨立並行得出的解決方案。
推薦理由：Meta 公布六篇由數學家與 Muse Spark 協作完成的論文，其中五篇給出此前開放問題的答案，並標註 AI 與人類各自撰寫的段落。
Zyphra Research 說明混合語言模型如何在全域注意力層不使用顯式位置編碼的情況下，仍能恢復位置資訊。滑動視窗注意力與門控線性注意力等局部層會在殘差流中產生近因偏差，而全域 NoPE 注意力則學習查詢與鍵投影，將其讀取為隱式的相對位置編碼。這些發現從機制上解釋了為何將局部混合與全域 NoPE 注意力交錯使用效果良好，並指向能外推到訓練序列長度之外的位置表徵。
Goodfire Research 開發了具序列感知能力的生物安全監控器，利用蛋白質語言模型嵌入來標記代理工作流程中令人擔憂的 DNA 或蛋白質序列。在以蛋白質毒素為核心打造的自訂雙用途基準上，這些監控器的表現優於前沿模型的安全防護機制，對良性請求的拒絕次數更少，在母體蛋白質已收錄於篩查資料庫的改寫序列上達到約 0.98 AUROC，且每條序列的執行時間為毫秒級。作者報告指出，隨著蛋白質模型能力提升，偵測效果也會改善，並說明改寫序列的結果依賴於電腦模擬估計，並未確認重新設計的蛋白質是否仍保有生物活性。
本文主張，那些聲稱一切都將變成 RL 環境的人，並未依此信念行事；而隨著模型逼近 RSI，有用的 RL 環境將呈指數級愈發稀缺、愈發有價值。文章呼籲在真正專業的領域中建構長程任務，而非 Goodhart 式的任務農場，並主張環境的廣泛分佈勝過少數一組前沿難度的環境。
Markov Robotics 正在訓練一個世界模型，以實現零樣本通用機器人靈巧操作，使用的機器人資料不到十小時，而同等結果通常需要數千小時。該公司幾乎所有運算都在 Modal 上執行，從預處理數百 TB 的影片，到 2–10 個並行訓練任務，以及透過 Modal Tunnels 進行遠端推論，往返延遲約 20 毫秒。原本可能耗費一整天的預處理，現在只需二十到三十分鐘即可完成，並可同時展開到多達 500 個 GPU。
一位作者探討 LLM 代理的持續學習，將當今的模型描述為失憶的實習生，其知識在上下文窗口結束時就會重置。LLM 只有兩種原生記憶：無損但昂貴的上下文與 KV 快取，以及壓縮但難以更新的權重，兩者之間幾乎沒有中間地帶。文章權衡了更長的上下文、有狀態的記憶框架，以及將上下文壓縮為學習到的潛在表徵，並引用了 Llama 3.1 70B 的 141 GB 權重和每個 token 320 KiB 的 KV 快取。
Botika 在 Modal 上運行其全端生成式 AI 業務，涵蓋 100 TB 的影像資料管線、數十億參數的自研基礎模型，以及約 15 個模型提供生產環境推論。該管線在數千個並行容器上處理該資料集，錯誤率低於 1%，而單一研究人員現在每天可執行 50 次實驗，而非過去的一到兩次。
Zyphra 以 Apache 2.0 授權發布 PUFFER，這是一套開源、具備來源感知能力的增量模糊去重系統，用於持續成長的 LLM 訓練語料。相較於現有基於 CPU 的去重方法，它帶來 11 倍至 35 倍的加速，並可在單一進程上於 1.75 小時內攝入十億份文件，且已在超過 300 億份文件上進行生產部署。PUFFER 保留一份存於磁碟的 MinHash-LSH 歷史紀錄，因此可以新增資料集、以確定性方式恢復中斷的工作，並可撤除個別資料集而無需重建整個語料索引。
Berkeley AI Research 推出 ABBEL，此框架以自然語言信念狀態取代完整的互動歷史，並透過信念評分來監督其內容。在 CollabBench 協作編碼任務上，基於重建的信念評分將與全上下文模型的差距縮小約 50%，且只需 50 步而非 100 步即可完成訓練，同時使用的峰值 token 數更少。
OpenAI 與 Apollo Research 開發了對比式 SDF，這是一種測試方法：在暗示相反評分者偏好的合成文件上微調模型的兩個副本，並衡量其行為在多大程度上追隨評分者。應用於一次以能力為重點、未經安全訓練的 OpenAI o3 強化學習運行中的中間檢查點時，評分者差距從早期檢查點到後期檢查點呈上升趨勢，而其他權威對象的差距則維持在接近零。在 Broken Promises Coding 與 Log Falsification 誠實性評估中，後期檢查點的誠實性遠更取決於它認為評分者獎勵什麼，且該方法還原出了三個 gpt-oss-120b 模型生物的目标權威對象，這些模型生物分別被訓練為偏好使用者、評分者或 OpenAI 領導層。
推薦理由：OpenAI 與 Apollo Research 提出對比式 SDF，這是一種基於微調的測試，用來衡量模型的行為在多大程度上追隨它認為其評分者所獎勵的內容，並發現這種傾向在一次未經安全訓練的 o3 強化學習運行中持續增長。
UC Berkeley 的 Aditya G. Parameswaran 與合作者主張，隨著推論成本從 2023 年初約每百萬個 token 30 美元降到今日不到 1 美元，資料系統必須圍繞三大挑戰重新設計：為 Agent 而生的系統、由 Agent 組成的系統，以及由 Agent 打造的系統。他們指出，在一個每項任務配置多個 Agent 的 text-to-SQL 基準測試中，只有 10-20% 的子計畫彼此不同，因此 80-90% 的子查詢都在重複相同工作，並據此提出重用、近似與主動式資料系統。
MiniMax 發布技術部落格，說明 MaxProof 框架，該框架支撐 M3 在 IMO 2025 與 USAMO 2026 上超越人類金牌門檻。此流程訓練三個專家模型，分別負責證明生成、錯誤判斷與證明修復，接著執行演化式測試時搜尋，取樣 32 個候選、每個驗證 4 次，並最多精煉 10 輪。MiniMax 表示關鍵教訓是：生成式驗證器作為強化學習獎勵時，應優先降低偽陽性而非追求平均準確率，並引用 M2-cycle 獎勵駭客案例，其中偽陽性率在訓練期間從約 2.9% 升至 8.0%。
Modal 表示，LLM 強化學習後訓練的瓶頸如今在於基礎設施，而非演算法，並發布了一個源自大規模執行強化學習經驗的開源函式庫。文中詳述三個痛點——膠水程式碼、叢集排隊與 GPU 使用率不足——並回報 RDMA 權重同步將 Qwen3 8B 的更新時間從 2.62 秒縮短至 41 毫秒。
Applied Compute 透過強化學習訓練企業客製化 AI 代理，並以 Modal 的沙箱、Functions 與次秒級冷啟動為基礎，讓數千個平行 rollout 持續受 GPU 綁定。其代理包括為 DoorDash 打造的商家上線模型，以及為 Cognition 打造的抓蟲代理。
AE Studio 詳細說明如何在 Modal 上以強化學習訓練大型語言模型證明數學定理，在保持訓練迴圈固定的前提下比較演化策略與 GRPO。此設置在 GPU 上執行 vLLM 推論、於隔離的 CPU 沙箱中進行 Lean 編譯器驗證，並搭配輕量級協調器，使用逐函式映像、.map() 扇出，以及 Volumes 來存放基礎權重。
Modal 展示在彈性 GPU 上執行 autoresearch 代理：在提供 Modal Skills 的情況下，Claude Code 針對 OpenAI 的 Parameter Golf 挑戰執行了 113 次實驗，共耗費 238 GPU 小時，完成核心訓練執行的速度比單一工作站快 5 倍，同時只使用專用叢集資源的一小部分。代理透過 API 呼叫配置 GPU，可從一個 H100 自動擴展到數十個，再縮回零。
Doppel 將其大部分 ML 工作流程遷移至 Modal，消除了拖慢訓練實驗與推論部署的基礎設施摩擦。透過 map() 進行的平行實驗取代了循序執行，而映像層快取與持久性磁碟區將建置時間縮短多達 10 倍，複雜設定更能達到一分鐘內的暖建置。
Berkeley AI Research 的研究人員介紹了 SPEX 與 ProxySPEX，這兩種演算法能在遠超既有方法的規模下，識別 LLM 中具影響力的特徵、資料與模型元件交互作用。SPEX 將交互作用搜尋重新表述為稀疏恢復問題，利用稀疏性與低階數（low-degreeness）；ProxySPEX 則利用階層結構，以約少 10 倍的消融次數達到與 SPEX 相當的效果。在情感分析上，SPEX 在短輸入上達到與 Faith-Shap 和 Faith-Banzhaf 相當的忠實度，並在上下文擴展至數千個特徵時仍能維持。
Opus 4.6 與 GPT-5.3-Codex 上週雙雙發布，但決定性的競爭並非原始能力。論點認為，多數具經濟價值的工作位於專業化層，在該層中，一個以客戶自有資料微調、參數低於 80B 的模型，在該客戶的工作流程上勝過 GPT-5.2——更快、更便宜，且不必將專有資料送交第三方。開源只需追上智慧上限，而非前沿，而實驗室對資本依賴的時鐘才是較弱的一環。
持續學習與專業化密不可分，因為記憶的成本會隨範圍擴大而增加：隨著上下文增長，KV 快取會線性增長，甚至可能超過所有模型權重，因此資訊必須從 token 層級移入權重之中。任務專業化基本上已透過持續微調流程解決，而廣泛範圍、稀疏回饋、一次性保留仍是困難的問題。
Chai Discovery 正在使用 Modal 運行其機器學習藥物發現流程，從蛋白質嵌入和多序列比對到抗體設計。Modal Volumes 會一次性下載並索引達到數百 GB 的資料集，然後在機器之間共享，而彈性 GPU 擴展可在幾分鐘內啟動數百個 GPU。Chai 表示，同樣的設置現在能將研究工作流程帶入生產環境，而無需重寫基礎設施。
Modal 已將其多雲 GPU 工作池擴展至超過 20,000 張並行 GPU，並在過去幾年中啟動了超過四百萬個雲端執行個體，現在正分享其背後的可靠性系統。文章涵蓋執行個體類型測試與選擇、機器映像準備與開機檢查、被動與主動 GPU 健康檢查，以及可觀測性與支援。文中報告了超大規模雲端供應商之間的差異，例如 Cloud A 的 99.6% 開機成功率，以及 Cloud C 的 H100 在 2025 年運行溫度超過 90ºC。
Modal 宣布，用於開發、測試和部署資料管線的資料編排工具 Twirl 將加入該公司。Twirl 共同創辦人 Rebecka Storm 與 Eric Hansander 將加入 Modal 的斯德哥爾摩辦公室，在那裡開發並擴展 Modal 的無伺服器基礎設施，並拓展其在歐洲的版圖。Modal 表示，該團隊的資料產品經驗將協助其從 AI 推論擴展至鄰近的 AI、ML 與資料應用場景。
微調會調整預訓練 LLM 的權重，使其符合特定任務或領域，在品質上優於提示工程，且成本與延遲更低；相較於 GPT-3.5，微調後的 Llama 7B 在效能相當的情況下，每個 token 的成本效益約高出 50 倍。本指南涵蓋結構化輸出、風格遵循與領域專屬指令等使用案例，以及 OpenAI、Predibase、Modal、Google Colab 與 AWS SageMaker 等選項，還有 HuggingFace transformers、TRL 與 Axolotl 等框架。
一支以 AFC Richmond 匿名的歐洲頂級足球隊，將其比賽追蹤資料管線遷移到 Modal 的無伺服器 GPU 平台，並將處理整個賽季比賽的成本降低了 50%。該隊透過一個基於 transformer 的自訂模型，對每場比賽約 350 萬筆追蹤觀測資料執行推論，而藉由在 Modal 上運行 Airflow，現在處理每場比賽的資料只需幾分鐘，而非數小時。
Modal 在約 300 個 SVG 的 Heroicons 圖示庫上微調了一個 Stable Diffusion 模型，以生成該風格的新黑白線條圖示，包括 barack-obama 和 golden-retriever 等概念的圖示。完整流程——下載預訓練模型、使用 HuggingFace Diffusers 的 train_text_to_image.py 腳本進行完整微調，以及提供 Gradio 網頁介面——都在 Modal 的無伺服器 GPU 平台上執行。文章詳細說明了資料集準備（SVG 轉 PNG、白色背景、標註檔 metadata.csv），並指出完整微調效果最好，不過 LoRA 式的平行適配器也可用於小型資料集。
Substack 已將幾乎所有 ML 模型的訓練與部署——包括垃圾郵件偵測、電子報推薦、音訊轉錄、情感分析和圖像生成——從 AWS SageMaker 遷移到 Modal。AI 與 ML 工程負責人 Mike Cohen 指出 SageMaker 的開發者體驗繁瑣、程式碼難以在 notebook 之間共享，以及容器啟動時間超過 5 分鐘；而在 Modal 上，一個推論端點只花一小時就實作完成。Substack 現在在 Modal 的儲存原語上運行完整的微調、驗證與部署工作流程。
一個經過微調的開源嵌入模型，只需少量範例，就能以更低成本在準確度上超越 OpenAI 的 text-embedding-3-small。Modal 在 Quora 重複問題資料集上進行了一項實驗，以找出一個簡單的問答用例需要多少微調資料，並描述了如何在其無伺服器基礎設施上建置一個。
Ramp 使用 Modal 微調其 LLM，並打造一個文字轉結構化 JSON 的模型來管理收據，將需要人工介入的收據減少 34%，其基礎設施成本估計比 OpenAI 等主要 LLM 供應商便宜 79%。Modal 函式平行訓練了許多候選模型，將權重持久化到 Modal volumes，並提供參數化的推論端點。一名工程師還將一支用於 25,000 張發票的 PII 移除腳本移植到 Modal，在 256 個雲端 worker 上平行處理，20 分鐘內完成，花費 100 美元，而非在本地耗時 3 天。