跳至正文
10月28日星期三
  1. inclusionAI Repositories28

    UBTree 專案頁面:以 Unigram 與 Bigram 模型進行平行樹狀草稿的推測解碼

    UBTree 專案頁面介紹 UBTree,這是一種使用 unigram 與 bigram 模型草擬平行 token 樹的推測解碼方法,詳見 arXiv:2609.39972。示範影片在 Ling3 Tiny 與 Flash 上,使用未經修改的 HumanEval anti_shuffle 與 bf 提示,比較 UBTree 與 AR、DFlash 及 DSpark,四種方法產生的輸出 token 完全相同。該網站是以純 HTML/CSS/JS 透過 GitHub Pages 提供,圖表與表格的數字存放在 static/js/data.js。

10月23日星期五
  1. Amazon Science38

    TorchNeuron 背後的科學:Amazon 為 AWS Trainium 晶片打造的全新 PyTorch 後端

    Amazon 發布了 TorchNeuron,這是一個開源的 PyTorch 後端,能將 PyTorch 程式碼轉換為可在 AWS Trainium 系統上執行的操作,且幾乎或完全無需修改程式碼。它新增了一個可選用的自適應 eager 模式,會將操作分組並編譯,以達到接近編譯後的效能,另外還有多層 NEFF 快取;在一項 64 程序的 LLM 測試中,共享編譯服務將首次訓練步驟的時間縮短了約三分之一。Annapurna 團隊使用從數十萬個開源模型中精選出的 841 個代表性模型,對其進行了調校與基準測試。

10月22日星期四
  1. Modal Blog71

    Modal 發布 Spindle,一個開源、相容於 Tinker 的訓練伺服器

    Modal 發布了 Spindle,這是一個開源、相容於 Tinker 的訓練伺服器,可在客戶的 Modal 工作區中運行,讓團隊能自訂技術堆疊,並按 GPU 時間而非 token 計費。Spindle 支援對開源模型進行全參數訓練與多 LoRA,Modal 表示,在一個 DAPO-math GRPO 任務上,讓 8 個客戶端共用一個訓練器,相較於 Tinker,每 100 萬輸出 token 的成本最多可降低 80%。Modal 表示 Spindle 仍處於 beta 階段,並將其定位於自家的 Dojo 訓練函式庫與原始叢集基礎元件之間。

    推薦理由:Modal 的開源 Spindle 伺服器為團隊提供了一個相容於 Tinker 的替代方案,以 GPU 時間取代按 token 計費,據稱多 LoRA 共用可將成本最多降低 80%。

  2. Ai2 · Allen Institute for AI58

    Ai2 發布 OlmoEarth v1.3 衛星嵌入模型,附全球預先計算嵌入與瀏覽器探索工具

    Ai2 發布 OlmoEarth v1.3,這是一款衛星嵌入模型,能將一整年的 Sentinel-1、Sentinel-2 與 Landsat 時間序列,轉換為每個 10 公尺像素一個 128 維向量,其中前 64 維可作為較小的嵌入使用。Ai2 預先計算了全球的年度嵌入並發布於 Source Cooperative,其 128 維嵌入在 27 項評估中的 20 項拿下最高分,對手包括 AlphaEarth Foundations 與 Tessera v2,其中也包含一項名為 PLANTEUR 的熱帶作物新基準。此次發布還包括 OlmoEarth Embeddings Explorer,這是一款免登入的瀏覽器工具,可比較不同年份、尋找相似地點,並即時訓練小型分類器,涵蓋 2025、2024 與 2023 年全球範圍,以及 2017 至 2022 年部分國家;權重、預訓練資料與程式碼皆為開放。

  3. inclusionAI Models58

    inclusionAI 發布 Ling-3.0-flash-Sante,一款 124B 醫療專業化 MoE 模型

    inclusionAI 發布 Ling-3.0-flash-Sante,這是一款以 Ling-3.0-flash 為基礎打造的醫療專業化模型,總參數 124B、每 token 激活參數 5.1B,權重已上架 Hugging Face 與 ModelScope。它採用混合線性 MoE 架構,結合 Kimi Delta Attention、門控 MLA 與稀疏 MoE 層,訓練上下文達 256K tokens,預設啟用思考模式,並可透過相容的服務框架進行工具呼叫。該公司將其標示為研究模型而非醫療器材,並表示其輸出不得取代專業醫療建議、診斷或治療。

  4. MiniMax Blog62

    MiniMax Code 推出 Mini App 執行環境,內建託管 MCP 與開源儲存庫

    MiniMax 在 MiniMax Code 桌面應用中推出 Mini App,這是一種外掛格式的應用程式,具備前端與 Node.js 後端,讓 Agent 的工作保留在一個持續運行的頁面上,而不是散落在各段對話中。此次發布包含具備持久化資料目錄的執行環境、託管 MCP、Agent API、Host Connectors 與頁內工具核准,以及可從一句話需求直接生成可用頁面的 /miniapp-creator,還有外掛市集中的官方 Mini Apps。MiniMax Bot 本身就是一個 Mini App,其原始碼與社群打造的 Mini Apps 現已收錄於開源的 MiniMax-Code-MiniApps 儲存庫;Mini Apps 可在 macOS 與 Windows 的本機工作階段中使用。

    推薦理由:MiniMax Code 把 Agent 的工作從對話流搬進常駐頁面,並公開了 Mini App 的執行環境與開源儲存庫,為 Agent 工具形態提供了一種可參考的架構。

10月21日星期三
  1. Modal Blog58

    Modal 推出 Dojo,一個用於生產級 LLM 訓練的函式庫

    Modal 發布了 Modal Dojo,這是一個訓練函式庫,提供建構模組、調校過的預設配方,以及可觀測性儀表板,用於生產級的 LLM 後訓練。它建構在開源框架 Miles 和 Slime 之上,支援從五億到數兆參數的模型,並提供 API 和 CLI,讓代理可以驅動以啟動和除錯執行。Modal 表示 Axiom Bio 使用它擴展到 64k 上下文的 DeepSeek V4.1 Flash 在 64 台 B300 上執行,而 Afterquery 以 256k 上下文長度訓練 Kimi 和 DeepSeek。

10月20日星期二
  1. Zyphra Research58

    Zyphra Inference Wave 2 為 MI355X 推論服務帶來自訂 HIP MoE 與稀疏注意力核心

    Zyphra 發布針對 AMD Instinct MI355X GPU 的 Zyphra Optimization Engine(ZOE)第二波更新,在其 vLLM 與 SGLang 的生產分支中加入四個自訂 HIP 核心,用於 MoE 與稀疏注意力。40x)。3 checkpoint 在四項推理基準上與 FP8 的差距維持在 3 分以內,但僅在高併發時解碼速度更快。

10月19日星期一
  1. Sakana AI Blog55

    Sakana AI 提出 QD-Rec:一種將候選項與 LLM 撰寫的假設配對的品質多樣性推薦方法

    Sakana AI 開發了 QD-Rec,這是一種推薦方法,將候選項加上解釋為何選擇它的假設視為推薦單位,並使用品質多樣性搜尋來累積高品質、多樣化的提案。在併購、客戶定向和論文推薦的實驗中,QD-Rec 建立的檔案庫平均分數更高、規模更大,優於從頭撰寫每個假設的基線方法,其程式碼已在 GitHub 上發布。論文報告了一些案例,其中一個假設對某家公司評分為 10 分中的 1 分,經過變異並轉移到另一個候選項後,分數提高到 5 分。

  2. inclusionAI Repositories58

    inclusionAI 發布 Ming-3.0-tts 語音合成模型,提供 0.5B dense 與 7.9B MoE tiny 兩種版本

    inclusionAI 發布 Ming-3.0-tts,這是一個開放權重的多語言語音合成系列,包含兩個模型:Ming-3.0-tts-0.5b,一個 0.5B dense 模型;以及 Ming-3.0-tts-tiny,一個建構於 Ling V3 之上的 MoE 模型,總參數 7.9B、活躍參數 1.3B。兩者均附有推論程式碼、任務 cookbook 與基準測試表格,並支援聲音複製、基於文字的語音設計、自由形式的自然語言表達控制、14 個行內副語言標籤、情緒與語速/音高/音量控制,以及中文、英文、德文、西班牙文、法文、韓文、日文、四川話與粵語。在 2026 年 10 月的 Artificial Analysis 文字轉語音排行榜上,Ming-3.0-tts 在 Controlled Voice 項目於開放權重模型中排名第 1,在 Pronunciation Robustness 項目以 93.2% 排名總體第 1,並在 Provider Voice 項目於開放權重模型中排名第 3。

  3. inclusionAI Repositories58

    inclusionAI 發布 Ming-3.0-asr-tiny 上下文感知語音辨識模型

    inclusionAI 發布 Ming-3.0-asr-tiny,這是一款語音辨識模型,將 Ling-tiny-v3 語言模型與音訊編碼器搭配,用於中英文轉錄、方言辨識與上下文 ASR。方言評測涵蓋 15 個測試集,包括湖南、閩南、粵語、川渝與上海,並可在提示中提供熱詞或前文對話,以解析人名與技術術語。該儲存庫提供 Transformers 與 SGLang 部署指南,程式碼與權重以 MIT 授權條款釋出。

10月15日星期四
  1. Mistral AI71

    Mistral 發布 Timestral 時間序列基礎模型,在 GIFT-Eval、TIME 與 fev-bench 上奪冠

    Mistral 發布 Timestral,這是其首個時間序列基礎模型系列,共有 5M 至 209M 參數四種規模。其中最大的模型在 GIFT-Eval、TIME 與 fev-bench 這三個主要公開基準上,於單一檢查點、未使用集成方法的預訓練零樣本模型中排名第一,且僅使用前代最先進模型三分之二的參數。Timestral 可產生具 21 個分位數的機率性多變量預測,支援僅過去與已知未來的共變量,可在無 GPU 的 CPU 上執行,並可透過 Mistral Forge 進行微調,同時在修改版 MIT 授權下發布了 GitHub 儲存庫與技術報告。

    推薦理由:Mistral 首個時間序列基礎模型系列以 209M 參數的檢查點,宣稱在 GIFT-Eval、TIME 與 fev-bench 上取得零樣本排名第一,為預測工作提供了規模與準確度的取捨參考。

  2. inclusionAI Repositories67

    inclusionAI 發布 Ming-3.0-audio-flash 與 Ming-3.0-audio-tiny 音訊模型

    inclusionAI 發布 Ming-3.0-audio-flash,這是一個 126B 參數的混合專家(MoE)音訊模型,啟動參數為 6.5B,同時推出精簡版 Ming-3.0-audio-tiny,參數為 9.3B、啟動參數 2.7B。flash 模型涵蓋中英文語音辨識,包括方言與嘈雜多說話者場景、長音訊理解、非語音聲音與音樂感知、音訊推理,以及可選合成語音輸出的端到端口語對話。它隨附 vLLM-Omni、SGLang 與 Transformers 推論路徑,採用 MIT 授權,預設 Flash 配置在 128K 上下文下使用四張 80 GB H800 GPU 的張量平行。

    推薦理由:此次發布詳細介紹了一個 126B 參數的 MoE 音訊模型,啟動參數為 6.5B,外加一個 9.3B 的 tiny 變體,為開放音訊語言模型的規模與部署提供了具體參考。

  3. Goodfire Research62

    Goodfire 研究文章主張神經網路本來就是乾淨的,而疊加現象被誤讀了

    Goodfire 研究員主張,神經網路中多義性與疊加現象的經典證據被誤讀了,那些看似任意堆疊的現象,大多是一種他稱為遞迴泛化的模式。以一般架構改進、且不改變模型大小或訓練資料的方式重新訓練 InceptionV1 後,其最後一層 99-100% 的神經元都變得易於解讀;而對 Qwen3-32B 的初步稽核估計,約 90% 的神經元極性只有一項主要職責。文章結論認為,網路只使用一種學習原理而非兩種,因此可解釋性研究可以直接研究神經元與電路,而不必先訓練稀疏自編碼器等分解模型。

    推薦理由:這是對該領域經典多義性證據的第一手重新詮釋,主張網路是遞迴地泛化,而非把不相干的概念堆疊在一起,這將使直接的機制性研究變得可行。

10月13日星期二
  1. Amazon Science75

    Amazon Web Services 研究人員提出 priming,將預訓練 Transformer 轉換為混合狀態空間模型,無需完整重新訓練

    Amazon Web Services 研究人員提出 priming,此方法重用預訓練 Transformer 權重,將混合狀態空間架構的預訓練成本降低超過 99%,僅使用來源模型預訓練 token 預算的不到 0.5%。在受控比較中,Gated KalmaNet 優於 Gated DeltaNet 和 Mamba-2,而一個基於 GKA 的 32B 混合模型在推理基準上與其來源 Transformer 表現相當,同時在 128,000 token 上下文下解碼速度最高可達兩倍。團隊以 Apache 2.0 授權釋出了 8B 和 32B 的 primed 混合模型、訓練程式碼、Triton 核心以及 vLLM 服務外掛。

    推薦理由:Amazon Web Services 研究人員展示,重用預訓練 Transformer 權重可將混合架構預訓練成本降低超過 99%,使狀態空間層的受控比較變得可行。

9月29日星期二
  1. OpenClaw Blog71

    OpenClaw Enterprise 推出,作為管理持久性代理的開源平台

    OpenClaw 宣布推出 OpenClaw Enterprise(OCE),這是一個開源、廠商中立的平台,用於在敏感環境中管理持久性代理,目前仍在開發中,預計於今年稍晚發布 1.0 版本。OCE 新增了企業控制平面,具備多租戶、嚴格安全邊界、沙箱、基於 LLM 的審查與細粒度權限,並允許將執行框架、模型與沙箱替換為第三方或內部實作。組織今天即可透過 docker-compose 進行本地開發,或透過 kubernetes 進行內部部署來自架設,目前正在包括 Red Hat 與 OpenAI 在內的公司進行試點。

    推薦理由:OpenClaw Enterprise 是一個開源控制平面,用於在敏感環境中管理持久性代理,具備多租戶、嚴格安全邊界與可審計性,現已可供內部試點工作負載使用。

9月24日星期四
  1. Modal Blog58

    Modal 與 CMU 的 Full Stack Data Lab 發布 Quail,一款聯合優化查詢規劃器與推理的 AI-SQL 推理引擎

    Modal 與卡內基美隆大學的 Full Stack Data Lab 打造了 Quail,一款針對 AI-SQL 工作負載的查詢感知推理引擎,聯合優化 SQL 查詢規劃器與推理引擎。在一個多重 join 查詢上,它每張 H100 GPU 每分鐘處理超過十億個 token,比同一硬體上 Modal 的 vLLM 基線快 10 倍以上,每十億 token 成本低於 6 美分;在團隊新的 AI-SQL 基準測試上,其幾何平均速度比 vLLM 快 1.84 倍。由於 AI-SQL 的過濾與 join 每個序列只需一個 token,Quail 跳過解碼、取樣與 prefill-decode 分離,並利用已知的查詢計畫來排序請求與管理 KV 快取淘汰。

9月23日星期三
  1. Modal Blog58

    Modal 如何為兆級參數編碼代理提供數兆個 token 的服務

    Modal 說明其如何為編碼代理最佳化 Kimi K2.6 推論,達到每個副本每位使用者 2.8 倍、跨使用者 5.6 倍的效能,並以每日數千億個 token 的規模運行服務。這項工作結合了在編碼軌跡上微調的客製化 DFlash 推測解碼、FP8 KV 快取與 NVFP4 共享專家量化、HiCache CPU 層級快取,以及感知 KV 快取的基於負載路由。Modal 已將其 SGLang 修補程式上游化,並釋出 Modal Auto Endpoints 背後的設定。

9月1日星期二
  1. Zyphra Research48

    Zyphra 發布 PUFFER,一套用於持續演進訓練語料的增量模糊去重系統

    Zyphra 以 Apache 2.0 授權發布 PUFFER,這是一套開源、具備來源感知能力的增量模糊去重系統,用於持續成長的 LLM 訓練語料。相較於現有基於 CPU 的去重方法,它帶來 11 倍至 35 倍的加速,並可在單一進程上於 1.75 小時內攝入十億份文件,且已在超過 300 億份文件上進行生產部署。PUFFER 保留一份存於磁碟的 MinHash-LSH 歷史紀錄,因此可以新增資料集、以確定性方式恢復中斷的工作,並可撤除個別資料集而無需重建整個語料索引。

7月29日星期三
  1. Berkeley AI Research58

    從 CUDA 到 MLX:K-Search 將核心優化專業知識帶到 Apple Silicon

    IBM Research 擴展了 K-Search——來自 UC Berkeley Sky Lab 的演化式核心搜尋框架——加入了 MLX 後端,以及一個結構化的 CUDA 到 MLX 轉譯層,可將現有的 CUDA 核心改寫為 Apple Silicon 核心。在一個 MLX 注意力核心上,此方法達到了 Apple 原生 MLX Attention 核心速度的 0.97 倍,而在沒有轉譯上下文的情況下僅為 0.26 倍;在 M1 Max 上,一個演化出的 Mamba SSM 核心相較於社群版 mlx-lm 實作,prefill 速度提升最高達 20 倍。作者將此增益主要歸因於提供給 LLM 的上下文與約束品質,而非其撰寫 Metal 程式碼的能力,並表示該方法並非專屬於 MLX。

7月21日星期二
  1. Modal Blog58

    Modal 與 Cognition 推出 Devin Outposts,整合 modal-devin 沙箱

    Modal 是 Devin Outposts 的發布合作夥伴。Devin Outposts 是 Cognition 的功能,將 Devin 的程式碼執行移到客戶控制的環境,而 Devin 的推理仍留在 Cognition 的雲端。開源的 modal-devin 函式庫與 CLI 會在 Modal Sandbox 中執行每個 Outpost 工作階段,提供 GPU 支援的機器、自訂映像、工作區快照與縮減至零,並自 2026 年 7 月 21 日起以 alpha 版上線。設定使用 uvx modal-devin init,會產生一個協調器函式與一個工作階段函式,團隊可持續自訂。

7月1日星期三
  1. Modal Blog58

    Modal Research 與 HeavyBall 的 MRP 將多 token 預測引入擴散語言模型

    Modal Research 與 NYU Shanghai 的 HeavyBall Research 推出 Multi-token Residual Prediction(MRP),這是一個接在凍結擴散語言模型主幹上的 3 層模組,預測的是步驟間的 logit 殘差,而非完整的下一步分布。在 SDAR-4B GSM8K 上,MRP 在 K=3 時保持 70.9% 準確率,而樸素 MTP 蒸餾僅為 5.9%;在 SGLang 中,推測模式下可無損達到最高 1.56 倍吞吐量,或在激進的低閾值動態解碼下挽回最高 +16 個準確率點。論文、程式碼、SGLang 實作以及 Hugging Face 上的 SDAR-MRP 模型均已發布。

6月24日星期三
  1. Modal Blog58

    Modal 推出 Auto Endpoints,以推測性解碼實現業界頂尖的推論延遲

    Modal 推出 Modal Auto Endpoints,一鍵將 Modal 的基礎設施擴展能力帶到業界頂尖的推論效能,同時保留對程式碼的控制權。Modal 表示,主要的延遲改善來自搭配自訂 DFlash 推測器模型的推測性解碼,在 Decagon Voice 案例研究中將端到端延遲降低約 100ms,約佔伺服器端解碼延遲的 40%,使其比最快的專有替代方案快逾 60ms。Modal 也與 Z Lab 和 SGLang 共同發布開源 DFlash 推測器模型,其中包括一款針對 Qwen 3.5 397B-A17B 的模型,相較於 MTP 提升超過 50%。

6月1日星期一
5月27日星期三
  1. MiniMax Blog72

    MiniMax 將 Agent 升級為 Mavis,並推出 Agent Teams 處理長時間任務

    MiniMax 將 MiniMax Agent 升級並更名為 Mavis,同時推出 Agent Teams,讓多個角色分工的 Agent 在桌面上並行處理長時間、複雜的任務。該系統採用 Leader、Worker 與 Verifier 三種角色,搭配狀態機式 Team Engine,讓任務在 producing、verifying 與 done 之間循環,並將 TokenPlan 與 Agent Plan 合併為單一訂閱,涵蓋 CLI、API 與 Agent,橫跨 M2.7、音樂、影片與語音。MiniMax 表示該 Agent 即將開源,預計與 MiniMax M3 模型一同推出,而桌面應用程式已經上線。

    推薦理由:MiniMax 說明了其 Leader-Worker-Verifier Agent Team 背後的設計取捨,包括交接、共享與聚合成本,為建構多 Agent 執行環境提供了具體參考。

4月29日星期三
  1. Factory58

    Factory 對 13 個模型進行程式碼審查基準測試,發現 GPT-5.2 最佳、MiniMax M2.7 最便宜

    Factory 建立了一個開源基準測試,以來自 Sentry、Grafana、Keycloak、Discourse 和 Cal.com 的 50 個真實 pull request 測試 13 個模型,每個模型都以高推理強度對每個 PR 至少審查三次,並由 LLM 評審依據人工策劃的黃金標準集對發現進行評分。GPT-5.2 以 60.5% F1、每個 PR 1.25 美元領先,領先 Claude Opus 4.6 的 59.8% F1 和每個 PR 3.11 美元,而 MiniMax M2.7 以每個 PR 0.15 美元達到 45.6% F1,Kimi K2.5 以 0.41 美元達到 51.9% F1。Factory 表示成本僅解釋約 21% 的品質變異,並開源了黃金標準集、評估腳本以及支援全部 13 個模型的 Droid Action GitHub Action。

  2. Modal Blog33

    在 Modal 上打造強化學習定理證明工作流程

    AE Studio 詳細說明如何在 Modal 上以強化學習訓練大型語言模型證明數學定理,在保持訓練迴圈固定的前提下比較演化策略與 GRPO。此設置在 GPU 上執行 vLLM 推論、於隔離的 CPU 沙箱中進行 Lean 編譯器驗證,並搭配輕量級協調器,使用逐函式映像、.map() 扇出,以及 Volumes 來存放基礎權重。

3月13日星期五
  1. Berkeley AI Research38

    Berkeley AI Research 推出 SPEX 與 ProxySPEX,用於識別 LLM 的大規模交互作用

    Berkeley AI Research 的研究人員介紹了 SPEX 與 ProxySPEX,這兩種演算法能在遠超既有方法的規模下,識別 LLM 中具影響力的特徵、資料與模型元件交互作用。SPEX 將交互作用搜尋重新表述為稀疏恢復問題,利用稀疏性與低階數(low-degreeness);ProxySPEX 則利用階層結構,以約少 10 倍的消融次數達到與 SPEX 相當的效果。在情感分析上,SPEX 在短輸入上達到與 Faith-Shap 和 Faith-Banzhaf 相當的忠實度,並在上下文擴展至數千個特徵時仍能維持。

3月4日星期三
  1. Modal Blog22

    Modal 產品更新:目錄快照、GLM-5 端點與帳務 API

    Modal 為 Sandbox 新增目錄快照(Directory Snapshots),讓使用者可對單一目錄建立快照,並獨立於基礎映像檔掛載至新的 Sandbox。Modal 亦與 Z.ai 合作推出免費公開的 GLM-5 端點,提供至四月底,相容於 OpenCode、Claude Code、OpenClaw 與 Vercel AI SDK。modal 帳務報告 CLI 與 modal.billing.workspace_billing_report API 現已正式推出,適用於 Team 與 Enterprise 工作區。

2月24日星期二
  1. Vapi Blog38

    讓你的 OpenClaw 代理開口說話:用 Vapi Skills 加入電話通話功能

    OpenClaw 代理現在可透過 Vapi 相容於 AgentSkills 的技能撥打和接聽電話,只需約五分鐘,即可透過 npx skills CLI 安裝,或直接請代理代為安裝。Vapi 管線的目標是低於 500ms 的語音回應,並支援通話中呼叫工具,共有八項技能,涵蓋助理、通話、電話號碼、工具、小隊、webhook 與工作流程。

2025年11月13日星期四
  1. Modal Blog40

    Decagon 如何在 Modal 上推出即時語音 AI

    Decagon 與 Modal 合作打造 Decagon Voice 2.0,將延遲降低 65%,同時提升意圖辨識與回應品質。Decagon 透過 SFT 與 RL 微調緊湊的開源模型,超越更大的前沿模型;Modal 則訓練了自訂的 EAGLE3 草稿模型,接受長度提高 38%,並以非同步推測解碼排程器重新設計 SGLang,將吞吐量提升最高達 12%。

2025年10月31日星期五
  1. Modal Blog22

    Modal 更新 Volumes v2、JavaScript 與 Go SDK 至 beta 版

    Modal 已為所有應用程式推出 Volumes v2 公開 beta 版,其檔案系統經過重建,可提供更高吞吐量、更快的隨機存取,以及數百個容器真正的高併發寫入,且儲存檔案數量不設上限。其 JavaScript/TypeScript 與 Go SDK 也進入 beta 版,版本為 v0.5,新增統一的 Client 物件,並支援 Sandboxes、Functions、Images 與 Volumes。

2025年9月26日星期五
  1. Modal Blog60

    Modal 工程師逆向解析 Flash Attention 4 的運作原理

    Modal 工程師閱讀已釋出的 Flash Attention 4 原始碼,逆向解析這個針對 Blackwell 最佳化的注意力核心如何運作,因為目前尚無官方技術報告。這篇文章追蹤一個 tile 如何流經該核心的 warp 特化非同步管線,並詳述兩個數學技巧:一個可取代基於 SFU 之指數運算的三次多項式軟體指數,以及一個更聰明的線上 softmax 重新縮放規則,Tri Dao 表示這能將修正次數減少 10 倍。據報導,FA4 比 Nvidia 的閉源 cudnn 注意力核心快約 20%,而撰文時尚無反向版本可用。

    推薦理由:Modal 工程師閱讀已釋出的 Flash Attention 4 原始碼,解釋其 warp 特化管線與兩個數學技巧,提供了一個可轉移的視角,說明 CUDA 核心設計的發展方向。

2025年9月22日星期一
  1. Modal Blog38

    Modal Vibe:建構於 Modal Sandboxes 的 AI 編碼平台,5 分鐘內可擴展至 1,000 個應用程式

    Modal 打造了 Modal Vibe,這是一個開源的 demo vibe coding 平台,建構於 Modal Sandboxes 之上,能在約五分鐘內從 0 擴展到 1,000 個 AI 編碼應用程式。一次建立 1,000 個應用程式的負載測試(每個應用程式都在各自的 Sandbox 中執行)耗時約 300 秒,其中 AI API 是速率限制的環節。Modal 表示,Team Plan 可執行 1,000 個並行 Sandbox,足以支撐每月超過一百萬次工作階段。

2025年9月16日星期二
  1. Modal Blog47

    深入解析 Modal Notebooks:Modal 如何打造能在數秒內啟動的雲端 GPU Notebook

    Modal 詳細介紹了 Modal Notebooks 背後的工程設計,這是其雲端 Jupyter notebook,能在數秒內啟動 GPU 與自訂映像,並支援即時協作。核心(kernel)在 Modal Sandboxes 內執行,並由一個 modal-kernelshim 常駐程式將 Jupyter ZeroMQ 訊息轉譯為 HTTP 呼叫,再透過 Modal 的控制平面進行通道傳輸。一個延遲載入的 Rust FUSE 容器檔案系統透過分層快取按需取得檔案內容,避免了映像解包延遲——對於 8 GB 的 Python/ML 映像,該延遲可能接近一分鐘。

2025年8月11日星期一
  1. Modal Blog38

    Modal 產品更新:GPU 記憶體快照、Notebooks、服務權杖等更多功能

    Modal 以 alpha 版形式新增 GPU 記憶體快照,透過跳過 Torch 編譯等步驟,將 GPU 工作負載的冷啟動時間縮短 10 倍,可透過 enable_gpu_snapshot 選項啟用。此次更新還帶來 beta 版的 Modal Notebooks,可在瀏覽器中執行 Python;供工作區管理員使用的服務權杖;以及為已部署 Functions 提供的瀏覽器生成 UI。

2025年4月30日星期三
  1. Modal Blog38

    Modal 推出 JavaScript 與 Go 的 Alpha 版 SDK

    Modal 發布了 JavaScript 與 Go 官方 SDK 的 Alpha 版本,讓開發者能從 Node、Next.js 或 Go 服務呼叫已部署的 Modal Functions 並建立隔離沙箱,無需撰寫 Python。這些 SDK 無法部署函式,部署仍須使用 Python,且目前僅支援類 JSON 或 bytes 資料型別。Modal 表示,無論使用哪種語言,都能順暢執行 10,000 個沙箱。

2025年3月17日星期一
2025年2月21日星期五
  1. Modal Blog35

    Modal 以 CC BY 4.0 授權開源 GPU Glossary

    Modal 已將其 GPU Glossary 以 Creative Commons BY 4.0 授權開源至 GitHub;該詞彙表是一份關於 GPU 程式設計主題、相互連結的短文彙編。此詞彙表最初於兩個月前發布,旨在填補跨堆疊 GPU 參考資料的空白,而社群提出貢獻的請求促成了此次開源。該儲存庫的 GitHub Issues 已列出計畫中的擴充內容,包括兩個範例 matmul 核心,以及一個關於 Thread Block Clusters 的章節。

2025年2月14日星期五
  1. Modal Blog22

    Modal 產品更新:Logs v2、即時容器效能分析,以及所有方案皆可選擇區域

    Modal 推出了改版後的日誌儀表板,支援時間範圍輸入篩選、可即時對容器進行效能分析以偵錯卡住的容器或輸入,以及可在執行中的容器內執行 vim、ps、strace 等指令的 Debug Shells。區域選擇現已開放所有方案使用,定價以基礎價格乘上倍數計算,且用戶端新增了 OIDC 驗證,可透過新的 oidc_auth_role_arn 欄位掛載雲端儲存桶。