跳至正文
5月15日星期五
5月12日星期二
  1. Modal Blog58

    Modal 如何實現真正的無伺服器 GPU

    Modal 發表了一篇工程文章,說明他們如何將 AI 推論副本的啟動時間從約 2,000 秒縮短到約 50 秒,方法包含四個元件:閒置健康 GPU 的緩衝池、名為 ImageFS 的延遲內容定址檔案系統、透過 gVisor 的 runsc 進行主機端檢查點/還原,以及建構在 Nvidia 驅動程式支援上的 CUDA 檢查點/還原。在超過一萬次冷啟動中,對於 bf16 格式的約 1 GiB Qwen 3 0.6B 模型,vLLM 的平均啟動延遲從 95,679 毫秒降至 13,797 毫秒,SGLang 則從 83,713 毫秒降至 17,486 毫秒。文章也指出了一些限制,包括快照僅支援單一 GPU,以及主機環境的敏感性要求每次部署需準備多個快照。

  2. Vapi Blog50

    Vapi 完成 5000 萬美元 B 輪融資,其語音代理通話量突破 10 億次

    Vapi 宣布完成由 Peak XV 領投的 5000 萬美元 B 輪融資,YC、M12、Kleiner Perkins 及早期投資者參與,總融資額達到 7200 萬美元。此輪融資之前的一年裡,Vapi 的企業營收成長了 10 倍,其語音代理處理的通話量突破 1,000,000,000 次。Vapi 表示,Amazon Ring 在兩週內從評估階段轉為在其平台上運行 100% 的來電,且 CSAT 有所提升。

5月11日星期一
5月8日星期五
  1. Berkeley AI Research38

    自適應平行推理:高效推理擴展綜述

    柏克萊人工智慧研究的一篇綜述探討自適應平行推理,其中推理模型本身決定何時分解子任務、要生成多少個並行執行緒,以及如何協調它們。該文章將此與固定平行方法進行對比,例如自洽性、Best-of-N、思維樹、MCTS、ParaThinker、GroupThink 和 Hogwild! Inference,這些方法從外部強加平行結構。順序推理在 token 和延遲上呈線性擴展,並有上下文腐化的風險,這促使人們採用獨立且並行探索的平行執行緒。

5月5日星期二
  1. OpenAI Developers Blog50

    OpenAI 語音代理即時提示指南

    OpenAI 發布了一份語音代理的即時提示指南,涵蓋 Realtime 2 推理、前置語、工具與精確實體擷取。該指南說明如何建構提示,讓即時語音代理在處理推理與工具使用的同時,精確擷取實體。

5月4日星期一
5月1日星期五
  1. Vapi Blog34

    開放式堆疊 vs 整合式解決方案:語音 AI 開發者的關鍵考量

    Vapi Blog 專訪 Cartesia 的 Iz Shalom,探討在整合式與開放模組化語音 AI 堆疊之間如何選擇。整合式堆疊適合範圍較窄的使用情境與快速的概念驗證,而開放式堆疊則適合多種使用情境、多語言支援,以及替換元件。文章呼籲團隊在自己的環境中測量 P99 延遲,並在進入生產環境前建立嚴謹的評估機制。

4月30日星期四
  1. OpenAI Developers Blog47

    適用於 ChatGPT 和 Codex 的 OpenAI Developers 外掛程式

    OpenAI 發布了一款 Developers 外掛程式,讓 ChatGPT 和 Codex 能夠存取 OpenAI API Platform 與 API 設定指引,並針對 Claude Code 和 Cursor 進行了調整,捆綁了可攜式開發者技能與公開的 OpenAI Docs MCP 伺服器。它涵蓋 API 金鑰設定、使用 Agents SDK 建置應用程式、將 API 遷移至 Responses API,以及疑難排解常見的 API 故障。

4月29日星期三
  1. Factory58

    Factory 對 13 個模型進行程式碼審查基準測試,發現 GPT-5.2 最佳、MiniMax M2.7 最便宜

    Factory 建立了一個開源基準測試,以來自 Sentry、Grafana、Keycloak、Discourse 和 Cal.com 的 50 個真實 pull request 測試 13 個模型,每個模型都以高推理強度對每個 PR 至少審查三次,並由 LLM 評審依據人工策劃的黃金標準集對發現進行評分。GPT-5.2 以 60.5% F1、每個 PR 1.25 美元領先,領先 Claude Opus 4.6 的 59.8% F1 和每個 PR 3.11 美元,而 MiniMax M2.7 以每個 PR 0.15 美元達到 45.6% F1,Kimi K2.5 以 0.41 美元達到 51.9% F1。Factory 表示成本僅解釋約 21% 的品質變異,並開源了黃金標準集、評估腳本以及支援全部 13 個模型的 Droid Action GitHub Action。

  2. Modal Blog33

    在 Modal 上打造強化學習定理證明工作流程

    AE Studio 詳細說明如何在 Modal 上以強化學習訓練大型語言模型證明數學定理,在保持訓練迴圈固定的前提下比較演化策略與 GRPO。此設置在 GPU 上執行 vLLM 推論、於隔離的 CPU 沙箱中進行 Lean 編譯器驗證,並搭配輕量級協調器,使用逐函式映像、.map() 扇出,以及 Volumes 來存放基礎權重。

4月23日星期四
  1. Factory55

    Factory 推出自動化 QA 技能,能像真實使用者一樣測試應用程式,並在 PR 中回報結果

    Factory 發布了一項自動化 QA 技能,能像真實使用者一樣操作應用程式,填寫表單、在終端機中輸入指令並呼叫端點,接著將包含截圖、終端機快照與 API 追蹤紀錄的結構化報告,以單一留言的形式發布在每個 pull request 上。此技能透過 Droid 在每次推送時執行,可設定為由 PR 標籤、留言指令或手動觸發的選用 CI 檢查,也能在任何 Droid 工作階段中透過 /qa 在本機使用。設定時使用 /install-qa,此功能即日起在所有 Factory 方案中提供。

4月22日星期三
  1. Replit Blog22

    Replit 榮獲 2026 年 Google Cloud 年度最佳 AI 工具合作夥伴獎

    Google Cloud 將 Replit 評選為 2026 年度最佳 AI 工具合作夥伴,肯定這個平台目前已有超過 5,000 萬人使用,涵蓋 85% 的《財星》500 大企業。此獎項是在 Replit 推出 Agent 4 之後頒發,該公司表示 Agent 4 比 Agent 3 快 10 倍,並可平行執行多個代理。Replit 已在 Google Cloud Marketplace 上架,並與 Cloud Run、Kubernetes Engine 和 BigQuery 整合。

4月20日星期一
  1. Berkeley AI Research38

    GRASP:針對世界模型的長程梯度式規劃

    GRASP 是一種針對學習式世界模型的新型梯度式規劃器,透過將軌跡提升至虛擬狀態以進行時間平行優化、在狀態迭代中加入隨機性以促進探索,以及重塑梯度使動作獲得乾淨訊號,同時避免透過高維視覺模型產生脆弱的狀態輸入梯度,讓長程規劃變得實用。此研究解決了使長程規劃脆弱的病態計算圖、非貪婪局部極小值及高維潛在失效模式等問題。此工作與 Mike Rabbat、Aditi Krishnapriyan、Yann LeCun 及 Amir Bar 共同完成。

4月17日星期五
  1. OpenAI Developers Blog60

    OpenAI 發布 GPT-6 工作負載的 API 部署檢查清單

    OpenAI 發布了一份 API 部署檢查清單,引導開發者將工作負載遷移到 Responses API 與 GPT-6 模型系列,包括 gpt-6-astra、gpt-6.1-sol、gpt-6 Sol 和 gpt-6 Luna。該指南涵蓋從 low 到 max 的 reasoning.effort 等級、text.verbosity、搭配延遲工具載入的 tool_search、Programmatic Tool Calling、Multi-agent、compaction、prompt caching 以及 WebSocket 模式;OpenAI 表示,對於工具呼叫達 20 次以上的工作流程,WebSocket 模式已展現出端到端執行速度最高約提升 40%。指南也詳細說明可靠性與安全步驟,例如處理 429 與 503 錯誤、以 background=True 處理長時間任務、safety_identifier 以及 misalignment 監控。

    推薦理由:OpenAI 的官方部署檢查清單將模型選擇、推理強度、工具搜尋、compaction 與 WebSocket 模式整合為一份 GPT-6 工作負載的遷移指南。

4月16日星期四
  1. OpenAI Developers Blog60

    OpenAI Codex 應用程式更新擴展至工具、應用程式與自動化

    OpenAI 發布了 Codex 應用程式新更新的概述,旨在跨工具、應用程式、自動化及其他開發者工作流程運作。該內容僅為簡短摘要,因此未描述具體功能、版本與可用性細節。

    推薦理由:OpenAI 概述了 Codex 應用程式的更新,將此編碼代理擴展至工具、應用程式與自動化,顯示其範圍正從程式碼生成向外擴大。

4月15日星期三
  1. Modal Blog58

    Modal 與 OpenAI Agents SDK:以沙箱與 GPU 打造平行編碼代理框架

    Modal 發布了一篇教學,說明如何在 OpenAI 今日推出的 OpenAI Agents SDK 之上打造自訂的編碼代理框架,並使用 Modal Sandboxes 為代理提供隔離的 Linux 環境與 GPU。該指南從一個以 exec 為基礎的最小代理開始,接著加入用於記憶的 session、用於平行非同步工作的協調器與子代理池、GPU 配額、用來去重複設定流程的檔案系統快照,以及技能子系統,最後完成一個能在平行 GPU 子代理上執行 OpenAI Parameter Golf 挑戰的框架。Modal 引用了 Ramp 在 Modal 上運行的背景編碼代理艦隊,並表示該艦隊目前產出該公司超過一半的 PR。

4月14日星期二
  1. Vapi Blog18

    Vapi 產品副總裁:基礎功對打造差異化 AI 產品比以往更重要

    Vapi 產品管理副總裁 Nathalie Criou 在 HumanX 座談會上與 Salesforce、Databricks 和 TinyFish 同台表示,AI 是放大而非取代領域專業與判斷力等基礎功。她說,Vapi 的平台建立在數百萬次真實世界的語音互動之上,能累積單次訓練無法複製的組織記憶。座談小組認為,搶先進入市場這類淺薄的護城河正在消退,而信任、轉換成本和獨特的互動資料則以更快的速度複利累積。

  2. Vapi Blog27

    Vapi 工程師分享在企業級規模部署語音 AI 的經驗教訓

    Vapi 的前置部署工程師表示,從示範到正式上線之間的落差,正是多數企業語音 AI 計畫停滯的地方,這需要大量測試、防護機制,以及以意圖為基礎的設計,而非精確片語比對。團隊警告會出現「人格漂移」,也就是代理會採用來電者的說話風格,並指出 LLM 具有非確定性,因此部署需要界定容錯範圍並持續迭代。他們建議從成本最佳化著手,但以創造營收為目標,並將良好的互動基準訂在不到一分鐘。

  3. Modal Blog40

    Modal 自動擴展 Autoresearch:為 AI 研究代理提供彈性 GPU

    Modal 展示在彈性 GPU 上執行 autoresearch 代理:在提供 Modal Skills 的情況下,Claude Code 針對 OpenAI 的 Parameter Golf 挑戰執行了 113 次實驗,共耗費 238 GPU 小時,完成核心訓練執行的速度比單一工作站快 5 倍,同時只使用專用叢集資源的一小部分。代理透過 API 呼叫配置 GPU,可從一個 H100 自動擴展到數十個,再縮回零。

4月10日星期五
  1. Modal Blog38

    Butter 被 Modal 收購,創辦人 Erik Dunteman 加入 Sandbox 團隊

    Modal 已收購 Butter,創辦人 Erik Dunteman 與研究員 Raymond Tana 加入 Modal 的 Sandbox 團隊。Butter 團隊帶來代理程式框架工程經驗,包括 bVisor——一個以 Zig 從零撰寫的虛擬 Linux 核心,用於輕量、短暫的沙箱。Modal 表示,此次延攬推進了其讓 Modal Sandboxes 成為同類最佳產品體驗的目標。

4月8日星期三
  1. Modal Blog40

    Modal 為 Physical Intelligence 機器人提供即時推論能力

    Physical Intelligence(Pi)在 Modal 上運行其視覺-語言-動作機器人模型,僅增加約 10-15ms 的網路開銷。Pi 與 Modal 合作,在 UDP 上建置了基於 QUIC 的入口,具備自動 NAT 穿透,取代 TCP Tunnels,以避免機器人控制迴路中的請求-回應停滯。儲存在 Modal Volumes 中的檢查點可在 30 秒內載入,而區域鎖定的部署讓推論維持在機器人附近。

4月7日星期二
  1. Modal Blog22

    Modal 產品更新:RTX Pro 6000 Blackwell、Command K、Sandbox FS API

    Modal 現已提供 NVIDIA 的 RTX Pro 6000 Blackwell,具備 96GB 視訊記憶體與強勁的 fp4/fp8 輸送量,只需一行程式碼即可用於推論與微調工作負載。此次更新還新增了儀表板命令面板(CMD+K)、改版後的 Sandbox 檔案系統 API(Beta 版,支援最高 5GB 的讀取與雙向串流),以及可擷取歷史紀錄的 CLI 日誌命令。

4月1日星期三
  1. Vapi Blog18

    Vapi 推出企業語音 AI 音訊隱私強化安全模式

    Vapi 發布強化安全模式,這是一層音訊隱私保護機制,該公司稱其為企業語音 AI 平台歷來部署過最安靜且最安全的方案,旨在防止 AI 代理的語音在開放空間中被旁人聽見。該公司表示,其整個音訊處理流程經過重新設計,能反轉訊號存在優化,且不會增加延遲失真。早期存取涵蓋醫療保健、福利管理與急性後期照護機構,該功能現已推出。

3月26日星期四
  1. Modal Blog38

    Runway 與 Modal 合作,為 Runway Characters 提供即時推論能力

    Runway 正與 Modal 合作,為 Runway Characters 提供即時推論能力。Runway Characters 是一套即時影片代理 API,建構於 Runway 的 GWM-1 世界模型之上,能從單一影像生成富有表現力的數位人物,且無需任何微調。Modal 的無伺服器平台讓 Runway 在不到 30 天內從概念驗證推進到正式上線,並在每個區域使用具備 RDMA 網路的單行多節點 GPU 叢集。Characters 現已於 dev.runwayml.com 向開發者與企業開放,並於 runwayml.com 向一般消費者提供。

3月25日星期三
3月20日星期五
  1. Vapi Blog38

    Vapi 網路研討會解答關於 Composer 語音代理建置器的熱門問題

    Vapi 舉辦了一場網路研討會,由首席產品經理 Nick Robin 示範 Composer,這是其產品內建的助理,可用於無程式碼建置語音代理,並在 30 分鐘的示範中產出一個可運作的來電客戶服務代理。Composer 會撰寫系統提示、配置電話號碼、設定排程,並標記自身的錯誤以供核准。它目前處於 alpha 階段,支援來電與去電助理、CRM 與行事曆整合,以及依助理 ID 編輯現有代理。

3月13日星期五
  1. Berkeley AI Research38

    Berkeley AI Research 推出 SPEX 與 ProxySPEX,用於識別 LLM 的大規模交互作用

    Berkeley AI Research 的研究人員介紹了 SPEX 與 ProxySPEX,這兩種演算法能在遠超既有方法的規模下,識別 LLM 中具影響力的特徵、資料與模型元件交互作用。SPEX 將交互作用搜尋重新表述為稀疏恢復問題,利用稀疏性與低階數(low-degreeness);ProxySPEX 則利用階層結構,以約少 10 倍的消融次數達到與 SPEX 相當的效果。在情感分析上,SPEX 在短輸入上達到與 Faith-Shap 和 Faith-Banzhaf 相當的忠實度,並在上下文擴展至數千個特徵時仍能維持。

3月12日星期四
  1. OpenAI Developers Blog67

    OpenAI 更新 Sora 2 提示指南,加入角色參考、20 秒片段與影片延長功能

    OpenAI 更新了 Sora 2 提示指南,涵蓋新的 API 功能:可重複使用的物件與動物角色參考、1920×1080 與 1080×1920 匯出、最長片段長度從 12 秒提高到 20 秒、以完整原始片段作為脈絡的影片延長,以及用於非同步影片任務的 Batch API。該指南也說明鏡頭取景、攝影機運動、光線與對話的提示結構,並指出解析度、時長與角色 ID 必須設為 API 參數,而非以文字描述。支援最多 20 秒的延長,且一支影片最多可延長 6 次,總計 120 秒。

    推薦理由:OpenAI 更新的 Sora 2 提示指南詳述了角色參考、20 秒片段與影片延長等新 API 功能,以及可用於控制鏡頭的可重複使用提示範本。

3月4日星期三
  1. Modal Blog22

    Modal 產品更新:目錄快照、GLM-5 端點與帳務 API

    Modal 為 Sandbox 新增目錄快照(Directory Snapshots),讓使用者可對單一目錄建立快照,並獨立於基礎映像檔掛載至新的 Sandbox。Modal 亦與 Z.ai 合作推出免費公開的 GLM-5 端點,提供至四月底,相容於 OpenCode、Claude Code、OpenClaw 與 Vercel AI SDK。modal 帳務報告 CLI 與 modal.billing.workspace_billing_report API 現已正式推出,適用於 Team 與 Enterprise 工作區。

2月25日星期三
  1. Vapi Blog35

    Vapi 推出 Skills 與 MCP Connector,讓編碼代理能建構語音代理

    Vapi 發布了 Vapi Skills,這是一個遵循 Agent Skills 標準的儲存庫,另有一個 Model Context Protocol 連接器,讓編碼代理能即時存取 Vapi 的文件。只需一個安裝指令,即可載入附有確切 API schema 的逐步指示,涵蓋 create-assistant、create-tool、create-call 與 setup-webhook 等工作流程,且此技能包可在 Claude Code、Cursor、VS Code Copilot 與 Gemini CLI 上執行。

  2. OpenAI Developers Blog62

    OpenAI 發布 Codex 提示詞指南,適用於 gpt-5.3-codex

    OpenAI 發布了一份 Codex 提示詞指南,供開發者透過 API 直接呼叫針對 Codex 調校的 gpt-5.3-codex 模型,建議互動式編碼採用中等推理強度,最困難的任務則採用高或 xhigh。該指南涵蓋將現有測試框架遷移至開源 codex-cli,包括標準 Codex-Max 提示詞、apply_patch、shell_command 與 update_plan 工具,以及透過 Responses API 中的 /compact 對多小時工作階段進行一等公民級壓縮。指南亦說明了新的 phase 欄位,僅支援於 gpt-5.3-codex,會將助理項目標記為 commentary 或 final_answer,且必須保留於歷史記錄中以避免效能下降。

    推薦理由:OpenAI 的官方指南詳細說明如何為 gpt-5.3-codex 調整提示詞、工具與壓縮,為團隊提供具體的遷移路徑來建構自家的編碼代理。

  3. Modal Blog22

    Modal 部落格:Modal 如何加速加速 AI 研究的 AI 研究

    Modal 是一個針對資料與運算密集型 AI 工作負載的雲端基礎設施平台,重點介紹了 Hazy Research、Scaling Intelligence 和 IRIS 的研究,這些研究利用其 GPU 機群來加速 AI 研究。由 Scaling Intelligence 的 Anne Ouyang、Simon Guo 和 Will Hu 領導的 KernelBench 專案,提供了一個包含 250 個問題的基準與研究環境,用於自動化 GPU 核心生成,並使用 Modal 在從 L40s 到 Blackwell 系統的硬體上進行一致、可擴展的基準測試。

2月24日星期二
  1. Vapi Blog38

    讓你的 OpenClaw 代理開口說話:用 Vapi Skills 加入電話通話功能

    OpenClaw 代理現在可透過 Vapi 相容於 AgentSkills 的技能撥打和接聽電話,只需約五分鐘,即可透過 npx skills CLI 安裝,或直接請代理代為安裝。Vapi 管線的目標是低於 500ms 的語音回應,並支援通話中呼叫工具,共有八項技能,涵蓋助理、通話、電話號碼、工具、小隊、webhook 與工作流程。

  2. Modal Blog55

    Modal 推出 Directory Snapshots 公開測試版,用於 Sandbox 專案狀態

    Modal 推出 Directory Snapshots 公開測試版,讓使用者能對執行中的 Sandbox 內特定目錄建立快照,並將其掛載到另一個 Sandbox,不受基礎映像檔與檔案系統其餘部分影響。此功能鎖定需要在 Sandbox 重啟後保留專案狀態的 coding agents 與 vibe coding 平台;Modal 表示,這能將系統相依性與應用程式碼分離、預先暖機 Sandbox 池,並更快預載關鍵檔案。Directory Snapshots 在最後一次使用後保留 30 天,且能瞬間掛載,其內容在 Modal 的延遲載入容器檔案系統上會優先預載。

2月19日星期四
  1. Modal Blog58

    Ramp 如何在 Modal 上打造 Ramp Inspect,一個具備完整上下文的背景編碼代理

    Ramp 打造了 Ramp Inspect,一個在 Modal Sandboxes 上運行的內部背景編碼代理,如今 Ramp 前端與後端儲存庫中約有一半已合併的拉取請求由它發起。每個工作階段都能在數秒內啟動包含 Postgres、Redis、Temporal 與 RabbitMQ 的全端環境,因為一個 Modal cron 作業每 30 分鐘會複製儲存庫並儲存檔案系統快照。Modal Functions、Dicts 與 Queues 負責處理快照建置、工作階段鎖定與提示路由,讓 Inspect 得以支援多人工作階段與數百個並行工作階段,且彼此互不影響。

2月14日星期六
  1. Charlie O'Neill38

    AI 界的 Michael Scott 紙業公司:為何開源專業化在智慧上限上勝過前沿實驗室

    Opus 4.6 與 GPT-5.3-Codex 上週雙雙發布,但決定性的競爭並非原始能力。論點認為,多數具經濟價值的工作位於專業化層,在該層中,一個以客戶自有資料微調、參數低於 80B 的模型,在該客戶的工作流程上勝過 GPT-5.2——更快、更便宜,且不必將專有資料送交第三方。開源只需追上智慧上限,而非前沿,而實驗室對資本依賴的時鐘才是較弱的一環。