跳至正文
10月24日星期六
  1. Epoch AI · Gradient Updates42

    Epoch 簡報:AI 工作自動化測試、SpireClimb 基準,以及 Gemini 4 Argon 的前沿推進

    Epoch AI 在 11 項真實的 Epoch 工作任務上測試了六個領先模型,發現沒有一個能可靠達到其品質標準,其中 Claude Fable 5.1 與 GPT-6 Astra 大致並列領先。其新的 SpireClimb 基準顯示,前沿模型在六個月內從在《Slay the Spire》中苦苦掙扎,發展到能贏得超過 90% 的基礎難度對局,其中 GPT-6 Astra 達到 98%。Gemini 4 Argon 在 Epoch Capabilities Index 上得分 166,與 Claude Fable 5.1 並列,落後於同為 169 的 Claude Opus 5.5 和 GPT-6 Astra。

  2. SemiAnalysis60

    SemiAnalysis 測試 Amazon Trainium3 的原生 PyTorch 訓練堆疊與 Neuron Explorer 效能分析工具

    SemiAnalysis 的工程團隊在 TorchTitan 與 TorchNeuron 堆疊上測試了 Trainium3 機架,發現原生 PyTorch 體驗相較舊有的 PyTorch/XLA 做法有大幅改善,不過仍存在錯誤與編譯時間過長的問題。在編譯模式下,於 16 顆 Trainium2 晶片上訓練 Qwen3-32B 達到每秒 14,156 個 token、MFU 為 30.47%,相較 eager 模式提升 1.28 倍,而 gpt-oss 20B 配方則花了 27 分 17 秒編譯。團隊也將 Neuron Explorer 評為業界領先的效能分析工具,領先 Nvidia 與 AMD 的工具,並回報 Trainium3 通過了 96 個 FlexAttention 測試案例中的 89 個。

10月23日星期五
  1. Modal Blog58

    Modal 與 Sakana AI 如何為 Sakana Namazu API 部署約 1T 參數的 MoE 模型

    Modal 的前置部署工程團隊與 Sakana AI 合作,在 Modal 上運行 Sakana Namazu——一個針對日本商業情境調校、約 1T 參數的 MoE 模型,以支援其公開 API 上線。團隊僅對路由專家套用選擇性 NVFP4 量化,注意力層、路由器與共享專家則維持 BF16,並以日語為主的對話進行校準,確保全部 23,040 個專家都接收到具代表性的流量。一個以超過 300 億個原始 token ID 訓練的自訂 DFlash 草稿模型,將推測性 token 接受率提升 25%,並使每 token 解碼延遲降低約 35%;另一個以約 100 萬筆真實請求訓練的草稿模型,則將平均接受長度從 3.51 提升至 5.01,並將 p99 延遲從 68 秒降至 52 秒。

10月22日星期四
  1. SemiAnalysis75

    華為與DeepSeek的共生關係:Ascend 950PR 基準測試與 DeepSeek 的 Ascend 核心支援

    SemiAnalysis 檢視了華為與 DeepSeek 的合作,對 Ascend 950PR(28 個 cube 核心、128 GiB HBM)進行基準測試,並回顧 DeepSeek 於 9 月 30 日發布對 TileLang、DeepGEMM、DeepEP、TileKernels、FlashMLA 和 DeepSelect 的 Ascend 支援。950PR 達到 1.6384 TB/s 峰值 HBM 頻寬,在小訊息尺寸下頻寬利用率勝過 H100,而其運算達成/可達比例中位數為 41.5%,H100 則為 46.8%;目前僅 TileLang 可用,因為撰寫時所需的 CANN 9.2.0 尚未發布。作者主張,儘管華為硬體落後,其軟體堆疊已接近前沿,並指出多數最佳化針對超級節點,而 vLLM-Ascend 在 x86 主機上仍無法開箱即用。

  2. Anthropic Newsroom71

    Anthropic 將 Agent Skills 標準捐贈給 Agentic AI Foundation

    Anthropic 將 Agent Skills 捐贈給 Linux 基金會旗下的 Agentic AI Foundation(AAIF)。Agent Skills 是一項開放標準,用於賦予 AI 代理專門知識與工作流程。自 2025 年 12 月發布以來,已有超過 70 個代理平台整合該標準,包括 ChatGPT、Cursor、GitHub Copilot 和 VS Code,共發布 100 萬項技能,安裝次數接近 2.8 億次。此次捐贈涵蓋 Agent Skills 的名稱與標誌、GitHub 組織以及 agentskills.io 網域,並由 Anthropic、Google、OpenAI 等公司的工程師以個人身分維護,首席維護者為 David Soria Parra 和 Mahesh Murag。

    推薦理由:Anthropic 將其 Agent Skills 標準交給 Linux 基金會的 AAIF,與 MCP 同屬一個中立家園,讓社群對該規格的發展路線圖擁有正式話語權。

10月21日星期三
  1. Mistral AI48

    Mistral 與 NVIDIA 合作打造工程工作流程 AI

    Mistral 與 NVIDIA 正在合作打造 AI 原生的工程工作流程,將 Mistral Large 4 與 NVIDIA CUDA-X 函式庫及 Warp 搭配,目標是加速模擬並實現閉環設計。此合作也將為 CAE 與 EDA 中的物理模型與代理式 AI 產出公開基準與開放資料集,並與 NVIDIA Omniverse 整合,用於 3D 場景生成與 SimReady 資產。Mistral Large 4(代號 Le Chonk)總參數約 1 兆、活躍參數 490 億,並以 3,800 顆 NVIDIA Grace Blackwell GPU 訓練而成。

  2. OpenClaw Blog22

    OpenClaw 推出焦點週,首先從 Control UI 開始

    OpenClaw 推出了焦點週(Focus Weeks)計畫,每週針對其路線圖中的一個領域,由一位維護者(Maintainer)負責,並邀請社群貢獻程式碼、錯誤回報、測試、文件與無障礙回饋。第一個焦點週於 2026 年 10 月 19 日至 25 日舉行,主題為 Control UI,由 Vyctor Brzezowski 擔任維護者。一群精選的輪值 Clawtributors 也獲得共享 OpenClaw Team 環境的臨時訪客存取權,以測試其多人協作功能。

10月18日星期日
  1. Recode China AI40

    中國擬議AI出口管制,DeepSeek押注機器人,Infinigence募資3.34億美元

    中國商務部與科技部擬將AI模型、代理、晶片設計與運算叢集納入技術出口管制目錄,草案規則將API、應用程式與SaaS存取排除在外。據報導,DeepSeek計劃領投機器人AI新創Winverse AI的種子輪,而Infinigence AI完成23億元人民幣C輪融資。DeepSeek亦發布V4.1-Flash-1017,權重採MIT授權,並具備100萬詞元上下文視窗。

10月15日星期四
  1. Modal Blog34

    用 Modal GPU 強化你的 LiveKit Agent

    Modal 說明如何在其無伺服器 GPU 上,以開放權重或自訂模型執行 LiveKit Agents,並使用 BitHuman 的開放權重 Expression Video Avatar,搭配 Qwen3-TTS 配音來複製 Charles Frye。此設定透過 Modal Server 對外開放 avatar 容器的 /launch 端點,並使用 Sticky Sessions 讓 WebSocket 用戶端維持在同一個容器上,同時以 GPU 快照隱藏冷啟動。

  2. Meta AI Research Blog88

    Meta 發布 Muse Spark Open,一個可在兩台 Mac Studio 上運行的 816B 開放權重多模態模型

    Meta 發布了 Muse Spark Open 的權重,這是一個原生多模態的開放權重模型,總參數 816B(活躍參數 42B),上下文視窗達 1M token,定位於程式編寫與代理式工作。它是同類模型中首個能在桌面上運行的模型,使用兩台 Apple M5 Ultra Mac Studio 搭配 MLX 框架;並可透過 Baseten、Fireworks AI、Groq、Modal、Nebius、OpenRouter 與 Together AI 等 API 合作夥伴取得,權重則發布於 Hugging Face、Amazon SageMaker AI、Google Cloud Model Garden 與 Microsoft Foundry Models。Meta 表示,該模型隨附 SGLang 中可自動調校的 Helion GPU 核心,在 NVIDIA 與 AMD GPU 上帶來 1.03–3.95 倍的核心層級加速,在 AMD MI350 上則有 3% 的端到端加速。

    推薦理由:Meta 發布了一個 816B 參數多模態模型的開放權重,該模型可在兩台 Mac Studio 上運行,為開發者提供了針對長時程程式編寫與代理式任務的本地選項。

10月13日星期二
  1. Recode China AI34

    DeepSeek 工程師一篇關於 AI 風險的爆紅部落格文章,以及 Anthropic,引發全球媒體關注

    DeepSeek 機器學習與核心工程師劉勝宇的一篇部落格文章在網路上爆紅,他質疑前沿 AI 如今是否能夠自行優化其低階 GPU 程式碼,並將 Anthropic 執行長 Dario Amodei 比作阿道夫·希特勒。這篇文章引來《南華早報》與《商業內幕》等媒體報導,放大了關於誰該掌控先進 AI 的爭論。

  2. LiveKit Blog18

    排解 LiveKit Egress 問題:常見錯誤與修正方法

    LiveKit 發布了一份 Egress 的疑難排解指南,涵蓋常見錯誤,例如範本從未呼叫 START_RECORDING 而出現的 412「未收到啟動訊號」、30 秒內找不到參與者或軌道的 404,以及 S3/GCP/Azure 憑證無效導致的 400 上傳失敗。指南也處理版面配置、webhook 與自架 Egress 的問題,並指出這些指引同時適用於目前的 StartEgress API 與已棄用的來源專屬 API。

10月8日星期四
  1. Goodfire Research71

    Goodfire 在 Kimi K3 和 GLM 5.3 上訓練並部署基於探針的網路濫用監控器

    3 並將其部署到生產推理堆疊上,其中一個低成本的探針會過濾對話輪次,只有可疑的交流才會送到 LLM 評審。良性會話中斷率為 5%,在沒有評審推理的情況下每百萬輪次成本為 65 美元,有評審推理時為 185 美元,並且在 SGLang 內沒有可測量的吞吐量損失。

    推薦理由:Goodfire 展示了一種探針加評審的級聯方案,能以大約低 50 倍的成本監控代理式網路濫用,且沒有可測量的吞吐量損失,這是安全地提供開放模型服務的具體配方。

10月1日星期四
  1. Modal Blog58

    Modal Clusters 正式可用,透過 @modal.clustered 一行程式碼取得多節點 RDMA 叢集

    Modal 宣布 Modal Clusters 已正式開放給所有工作區使用,使用者可透過單一裝飾器 @modal.clustered 申請多節點叢集。這些叢集提供高達 6.4 Tbps 的 InfiniBand RDMA 通訊,並自動為 PyTorch 與 NCCL 完成設定,叢集可在數秒內啟動,且按秒計費。Modal 同時說明了一套新的 gang 排程器,可一次放置 N 個節點,以及內建於 gVisor 執行環境的 RDMA 支援;文中並以 Decagon、1x 與 Runway 作為使用者案例,分別用於兆級參數微調、世界模型預訓練與多節點影片推論。

9月28日星期一
9月25日星期五
  1. OpenClaw Blog74

    Microsoft Autopilot 建構於 OpenClaw 之上,貢獻雙向流動

    Microsoft 推出 Autopilot,這是一款建構於 OpenClaw 之上的常駐個人代理,屬於其全新 Copilot 體驗的一部分,私人預覽將於本月底擴展至首批客戶。Autopilot 是 Microsoft Scout 的新名稱,後者於今年早些時候發布,Omar Shahine 的團隊表示正與 OpenClaw 及 OpenClaw Foundation 合作開發企業級執行環境。OpenClaw 重點介紹了 Microsoft 工程師的上游貢獻,包括政策合規檢查、原生 Windows 伴侶應用,以及針對背景任務、重新啟動和重複回覆的可靠性修復。

    推薦理由:Microsoft 的 Autopilot 建構於 OpenClaw 之上,此處列出的上游貢獻展示了共享代理執行環境如何跨平台改進。

9月22日星期二
  1. OpenClaw Blog60

    OpenClaw 新增選用式決策模型與共用 Plugin SDK 介面

    OpenClaw 支援另行設定的決策模型,其核心與外掛可透過 Plugin SDK 中的 api.runtime.decisions.evaluate 呼叫,回傳選項、分數或機率,而非聊天回覆。此功能為選用式,不會取代聊天模型,且各供應商套件仍在等待支援版本發布。TypeSafe 轉接器支援託管的 Jev 與本地的 System One 伺服器(例如 Jared Palmer 的 Kev),而評估工具正以 decision_evaluate 之名移入 OpenClaw 核心。

    推薦理由:OpenClaw 新增選用式決策模型層,可從應用程式碼回傳具型別的答案,並提供共用的 Plugin SDK 介面,讓外掛無須逐一整合各供應商即可使用。

9月21日星期一
  1. LiveKit Blog38

    比較用於即時語音與視訊 AI 代理的開源框架:LiveKit Agents 與 Pipecat

    本指南比較 LiveKit Agents 與 Pipecat 這兩個它認為對打造生產級語音與視訊 AI 代理最重要的開源框架,涵蓋架構、採用情況、開發者體驗與生產就緒度。LiveKit Agents 運行於 LiveKit 的開源 WebRTC 與 SIP 基礎設施上,並為你串接好管線;Pipecat 則不預設傳輸方式,由開發者逐階段組裝管線。文中也說明 TEN Framework、Dograh、Vision Agents 與 Vocode 各自的位置。

9月16日星期三
  1. Mistral AI55

    Mistral 與 Mozilla 合作,在法國與北美為 Firefox Smart Window 提供技術支援

    Mistral 宣布與 Mozilla 建立合作夥伴關係,其模型現為 Mozilla 的 AI 瀏覽助理 Firefox Smart Window(測試版)提供技術支援,服務法國與北美使用者,英國與德國預計於今年稍後推出。Mistral 表示,Smart Window 的對話預設不會儲存在 Mozilla 的伺服器上,且合作夥伴同意零資料保留,並將此協議定位為把開放權重、針對地區微調的模型帶入消費級瀏覽體驗。

9月14日星期一
  1. Modal Blog40

    Modal 產品更新:沙箱 Sidecar、Kimi K3 與 GLM 5.3 支援、儀表板煥新

    Modal 在其 Auto Endpoints 上新增了對四個開放權重模型的零日支援——Kimi K3、Qwen3.8-2.4T-A95B、GLM-5.3 與 GLM-5.3-Flash,其中 Kimi K3 透過自訂的 DFlash 推測器在代理式工作負載上以每秒 460 個 token 執行。Sandbox Sidecars 進入公開 alpha,VM Sandboxes 達到公開 beta,廣泛區域定價倍數從 1.5x 降至 1.15x。儀表板煥新並推出淺色模式 beta,Python SDK 1.5.5 以及 JavaScript 與 Go SDK 0.10.0 已發布。

8月18日星期二
  1. LiveKit Blog40

    LiveKit:超越 1:1 連線的多參與者機器人技術

    LiveKit 正將其 SFU 架構擴展到單一對等連線之外,讓機器人部署能執行多參與者工作階段,其中一個 Room 可讓每台攝影機、模型、操作員或服務各自作為獨立的參與者加入。LiveKit 描述了三種架構:人在迴路中的資料錄製,機器人、策略、操作員與錄製器同處一個工作階段;VLM 引導的技能編排,由視覺語言模型以約 1 Hz 選擇技能,而各別策略參與者以數十赫茲控制機器人;以及策略升級,由 30 Hz 或更高頻率的獎勵模型標記卡住或不安全的狀態,機器人則撤銷專家策略的權限。

8月13日星期四
  1. MiniMax Blog71

    MiniMax 發布 Music 3.0,一款可生成長達五分鐘完整歌曲的開放權重音樂生成模型

    MiniMax 推出 Music 3.0,這是一款開放權重音樂生成模型,能從創意概念與可選歌詞出發,單次生成即可作曲、編曲並製作長達五分鐘的完整歌曲。此流程將一個由 Qwen3.5-8B 初始化的 8B Global LLM 與一個 0.6B Local LLM 配對,融合兩者的連續隱藏狀態,用以調控一個 2.4B flow-matching 模組與一個 123M Flow-VAE,並採用八層 RVQ 以及隨時間描述情緒、樂器編制與演唱方式的 Structured Captions。MiniMax 表示,這能更準確地詮釋創作意圖、編曲更飽滿,人聲也更清晰自然。

    推薦理由:MiniMax 的架構拆解顯示,一個 8B 全域 LLM 搭配一個 0.6B 本地模型與 flow-matching 堆疊,如何針對長歌曲的連貫性問題。

8月4日星期二
  1. Modal Blog34

    Modal 將無伺服器 Functions 遷移至區域 I/O 平面,p50 延遲降低約 80ms

    Modal 已將所有 Functions 遷移至新的地理分散式 I/O 平面,使端到端 Function Call 延遲在 p50 下降低約 80ms。先前每個 Function 的輸入與輸出都經由 us-east I/O 伺服器路由,每次呼叫增加最多數百毫秒;新平面已在至少 4 個區域提供,並可透過 routing_region 旗標選擇。伺服器層以 Go 重寫,非關鍵工作已移出熱路徑。

7月27日星期一
  1. Modal Blog75

    Moonshot 的 Kimi K3 現已在 Modal 上線,並提供首日 vLLM 支援

    Modal 在 Moonshot 的 Kimi K3 發布當天,便於其平台上架這款 2.8 兆參數的多模態模型,透過按 token 計價的 Shared API 與專用 Auto Endpoints,提供 100 萬 token 的上下文視窗。Modal 表示,一款針對 K3 架構調校的客製化 DFlash 推測器,在代理式工作負載下,將互動性從每秒 100 個 token 提升至每秒 460 個 token,並將每顆 GPU 的吞吐量從 80 萬 TPM 提升至 150 萬 TPM。該模型採用混合專家設計,每個 token 啟用 896 個專家中的 16 個,而 Moonshot 在發布前也向 vLLM 貢獻了新的前綴快取實作。

    推薦理由:Modal 詳細說明它如何在發布當天將 Moonshot 的 2.8 兆參數 Kimi K3 上架至其平台,其中包括一款客製化 DFlash 推測器,可將互動性從每秒 100 個 token 提升至每秒 460 個 token。

6月23日星期二
  1. Modal Blog60

    Modal 推出 Auto Endpoints,提供自助式、相容 OpenAI API 的 LLM 推論服務

    Modal 推出 Auto Endpoints,這是一項自助式服務,可將生產級 LLM 推論部署為相容 OpenAI API 的端點,並由使用者可見且可控制的 Modal App 支援。每個支援的模型都附帶一個起始部署,該部署依據 Modal 自身的基準測試調校,使用 SGLang 等引擎以及來自 Z Lab 的 DFlash 推測解碼草稿器,使用者可以檢視 GPU 選擇、引擎旗標,以及 TTFT、ITL 和推測解碼接受長度等推論指標。Modal 也將 Modal Servers 從 beta 版釋出,提供延遲僅 5ms 的區域化路由,並表示其透過內部代理系統產生端點部署,且仍由人類工程師監控。

    推薦理由:Modal 的 Auto Endpoints 公開了託管推論供應商通常隱藏的服務堆疊、引擎指標和基準測試配方,為團隊提供一條自助途徑,以擁有開放模型的推論能力。

6月19日星期五
  1. Modal Blog60

    Modal 為 Qwen 3.5 與 3.6 發布 DFlash 推測器,聲稱可額外提速 5-20%

    Modal 在 Hugging Face 上發布了一系列針對 Qwen 系列的 DFlash 草稿模型,包括 Qwen 3.6 35B-A3B-DFlash 以及從 4B 到 122B-A10B 的 Qwen 3.5 變體,另外還有一個用 SGLang 構建的 Qwen 3.5 397B-A17B 的 DFlash 推測器。該公司表示,新的草稿模型比現有的 DFlash 基線額外提速 5-20%,並且可以在 B200 節點上以並發度 1 運行 Qwen 3.5 122B-A10B 達到超過 1000 tok/s,而無推測時為 250 tok/s。文章認為,在內核優化只能帶來幾個百分點提升的地方,推測解碼可帶來 2 倍至 3 倍的增益,並提出了一個用於根據接受長度估算加速比的 roofline 模型。

    推薦理由:Modal 解釋了為何押注推測解碼,並發布了針對 Qwen 系列的 DFlash 草稿模型,附帶實測加速數據和用於估算增益的 roofline 模型。

6月11日星期四
  1. Modal Blog34

    Modal 讓 FlashAttention-4 在 LLM 推論上更快

    Modal 為 FlashAttention-4 核心貢獻了多項最佳化,以加速以解碼為主的 LLM 推論工作負載,這類工作負載的瓶頸在於記憶體頻寬。這些變更包括將「split KV」平行化技術移植到 FA4,並以 cp.async 取代 TMA cp.async.bulk 載入,以處理不規則的記憶體存取。一個 FP8 輸入 PR(於 2026 年 4 月 17 日合併)相較於 bf16 基準可提供最高 1.16 倍的吞吐量,並可啟用更小的 KV 快取。

6月1日星期一
  1. MiniMax Blog87

    MiniMax M3 發布,具備 1M 上下文、前沿編碼與原生多模態能力

    MiniMax 發布 M3,這是一款開放權重模型,該公司稱其為首個結合前沿編碼與代理能力、1M token 上下文窗口,以及原生圖像與影片輸入的模型。M3 採用 MiniMax 新的 MSA 稀疏注意力架構,該公司報告稱,此架構在 1M 上下文下將每 token 計算量降至前一代的 1/20,並將預填充速度提升逾 9 倍、解碼速度提升逾 15 倍。它在 SWE-Bench Pro 上得分 59.0%、在 Terminal-Bench 2.1 上得分 66.0%、在 MCP Atlas 上得分 74.2%,並可透過 MiniMax Code、Token Plan 與 API 使用,權重與技術報告承諾在 10 天內發布。

    推薦理由:MiniMax M3 將 1M token 上下文、前沿編碼與代理得分,以及原生圖像與影片輸入結合於一個開放權重模型中,並以 MSA 在長上下文下降低每 token 計算量。

5月4日星期一
2月14日星期六
  1. Charlie O'Neill38

    AI 界的 Michael Scott 紙業公司:為何開源專業化在智慧上限上勝過前沿實驗室

    Opus 4.6 與 GPT-5.3-Codex 上週雙雙發布,但決定性的競爭並非原始能力。論點認為,多數具經濟價值的工作位於專業化層,在該層中,一個以客戶自有資料微調、參數低於 80B 的模型,在該客戶的工作流程上勝過 GPT-5.2——更快、更便宜,且不必將專有資料送交第三方。開源只需追上智慧上限,而非前沿,而實驗室對資本依賴的時鐘才是較弱的一環。

2月11日星期三
2025年12月2日星期二
  1. Modal Blog42

    Modal 為 Mistral 3 新增 Day 0 支援,並透過 GPU 快照技術將冷啟動速度提升 10 倍

    Modal 現已提供 Mistral 3 的 Day 0 支援,讓開發者能在無需管理基礎設施的情況下,於無伺服器 GPU 上部署這個開源模型系列。在 3B 的 Ministral 3 模型上,Modal 的 GPU 快照功能將中位冷啟動時間從約 118 秒縮短至約 12 秒,降幅接近 10 倍。Ministral 3 提供 3B、8B 和 14B 三種規模,在基準測試中與 Qwen 3-VL 系列表現相當。

2025年11月18日星期二
  1. Modal Blog36

    Modal 部落格:主機端開銷正在扼殺你的推論效率

    Modal 的部落格說明主機端開銷——GPU 閒置等待 CPU 準備工作的空檔——如何在 AI 推論中以低 GPU 核心利用率的形式顯現。在主機端開銷達 50% 時,GPU 推論成本是原本可能的兩倍。文章詳細介紹了生產環境開源推論引擎中採用的修正措施,包括在裝置上建構張量而非傳輸張量,以及減少不必要的 CUDA 核心啟動。

2025年11月4日星期二
  1. Modal Blog58

    Modal、Pipecat 與開源模型實現一秒語音對語音延遲

    Modal 的 Ben Shababo 示範如何在 Modal 上以開源 Pipecat 框架與開放權重模型打造對話語音機器人,當客戶端與容器地理位置相近時,語音對語音延遲中位數約為一秒。此管線使用 NVIDIA parakeet-tdt-0.6b-v3 進行 STT、以 vLLM 服務的 Qwen3-4B-Instruct-2507、KokoroTTS 產生語音輸出,並以 ChromaDB 搭配 all-minilm-l6-v2 對 Modal 文件進行 RAG。Modal Tunnels 繞過輸入平面,為 STT、TTS 與 vLLM 服務提供低延遲的 WebSocket 與 HTTP 連結,而綁定於每個對話工作階段的 FunctionCall 則恢復自動擴縮能力,將服務固定於鄰近區域可降低網路延遲。

2025年10月30日星期四
  1. Modal Blog38

    Modal 與 Datalab:5 分鐘內部署 Marker 與 Surya 文件智慧工具

    Modal 與 Datalab 合作,讓開發者能在 5 分鐘內於 Modal GPU 上部署 Marker 文件解析模型與 Surya OCR 工具包。Marker 是參數量低於十億的模型,支援超過 90 種語言,在 Modal 上運行可達每容器每秒約 2.2 頁,約為 M4 Mac 使用 Apple MPS 時每秒 0.22 頁的 10 倍。Datalab 的工具對研究、個人使用,以及融資或營收低於 200 萬美元的初創公司維持免費,並提供商業授權。

2025年7月23日星期三
  1. Modal Blog52

    Modal 開源 ASR 模型基準測試:批次轉錄速度提升 100 倍、成本大幅降低

    Modal 在其平台上使用 NVIDIA 的 parakeet-tdt-0.6b-v2 與 canary-1b-flash 實作了批次轉錄服務,回報端到端效能比一款熱門的專有 ASR API 快 100 倍或便宜 100 倍,同時在約一週的 ESB 基準音訊上達到與其相當的錯誤率。團隊將這些增益歸因於跨請求批次打散檔案、在 GPU 批次內依音訊長度排序、平行下載,以及經實證選定的 GPU 與 worker 配置。文章逐步說明架構與最佳化步驟,讓其他人也能建構類似的服務。

2025年7月11日星期五
  1. Modal Blog31

    Jamsocket 加入 Modal

    開源協調器 Plane、Y-Sweet 和 ForeverVM 背後的後端平台 Jamsocket 正在加入 Modal,共同創辦人 Paul Butler 和 Taylor Baldwin 也將加入 Modal 團隊。Jamsocket 的產品將照常運作,同時核心功能會遷移到 Modal;創辦人表示,這讓以 AI 為核心的客戶能在單一平台上部署 GPU 推論、程式碼沙箱和即時後端。

2025年6月9日星期一
  1. Modal Blog40

    Modal 1.0 發布:更穩定的 Python SDK,採用明確配置

    Modal 推出了其 Python SDK 客戶端的 1.0 版本,該公司稱這是一個里程碑,為其無伺服器雲端運算平台帶來了全新層次的成熟度與穩定性,預計未來破壞性變更將大幅減少。此版本移除了諸如自動掛載本地套件等「魔法」行為,將核心功能拆分到不同的裝飾器中,例如新的 @modal.concurrent,並將本地檔案處理整合到 modal.Image 類別之下。Modal 也計劃推出其他語言的 SDK,並正在探索該平台應如何服務 AI 驅動的代理工作流程。