OpenAI 語音代理即時提示指南
OpenAI 發布了一份語音代理的即時提示指南,涵蓋 Realtime 2 推理、前置語、工具與精確實體擷取。該指南說明如何建構提示,讓即時語音代理在處理推理與工具使用的同時,精確擷取實體。
OpenAI 發布了一份語音代理的即時提示指南,涵蓋 Realtime 2 推理、前置語、工具與精確實體擷取。該指南說明如何建構提示,讓即時語音代理在處理推理與工具使用的同時,精確擷取實體。
Vapi Blog 專訪 Cartesia 的 Iz Shalom,探討在整合式與開放模組化語音 AI 堆疊之間如何選擇。整合式堆疊適合範圍較窄的使用情境與快速的概念驗證,而開放式堆疊則適合多種使用情境、多語言支援,以及替換元件。文章呼籲團隊在自己的環境中測量 P99 延遲,並在進入生產環境前建立嚴謹的評估機制。
Spiral 總經理 Marcus Moretti 靠 Claude Code 獨力營運整個產品,他表示這消除了產品管理中枯燥乏味的工作,把原本分散在 10 個不同應用程式的工作集中到單一對話串中。他自己唯一親手撰寫的產品文件是路線圖,前後改了六個版本;每一份 PRD 和工單都由 Claude 撰寫。
OpenAI 發布了一款 Developers 外掛程式,讓 ChatGPT 和 Codex 能夠存取 OpenAI API Platform 與 API 設定指引,並針對 Claude Code 和 Cursor 進行了調整,捆綁了可攜式開發者技能與公開的 OpenAI Docs MCP 伺服器。它涵蓋 API 金鑰設定、使用 Agents SDK 建置應用程式、將 API 遷移至 Responses API,以及疑難排解常見的 API 故障。
Factory 建立了一個開源基準測試,以來自 Sentry、Grafana、Keycloak、Discourse 和 Cal.com 的 50 個真實 pull request 測試 13 個模型,每個模型都以高推理強度對每個 PR 至少審查三次,並由 LLM 評審依據人工策劃的黃金標準集對發現進行評分。GPT-5.2 以 60.5% F1、每個 PR 1.25 美元領先,領先 Claude Opus 4.6 的 59.8% F1 和每個 PR 3.11 美元,而 MiniMax M2.7 以每個 PR 0.15 美元達到 45.6% F1,Kimi K2.5 以 0.41 美元達到 51.9% F1。Factory 表示成本僅解釋約 21% 的品質變異,並開源了黃金標準集、評估腳本以及支援全部 13 個模型的 Droid Action GitHub Action。
Factory 發布了一項自動化 QA 技能,能像真實使用者一樣操作應用程式,填寫表單、在終端機中輸入指令並呼叫端點,接著將包含截圖、終端機快照與 API 追蹤紀錄的結構化報告,以單一留言的形式發布在每個 pull request 上。此技能透過 Droid 在每次推送時執行,可設定為由 PR 標籤、留言指令或手動觸發的選用 CI 檢查,也能在任何 Droid 工作階段中透過 /qa 在本機使用。設定時使用 /install-qa,此功能即日起在所有 Factory 方案中提供。
OpenAI 發布了一份 API 部署檢查清單,引導開發者將工作負載遷移到 Responses API 與 GPT-6 模型系列,包括 gpt-6-astra、gpt-6.1-sol、gpt-6 Sol 和 gpt-6 Luna。該指南涵蓋從 low 到 max 的 reasoning.effort 等級、text.verbosity、搭配延遲工具載入的 tool_search、Programmatic Tool Calling、Multi-agent、compaction、prompt caching 以及 WebSocket 模式;OpenAI 表示,對於工具呼叫達 20 次以上的工作流程,WebSocket 模式已展現出端到端執行速度最高約提升 40%。指南也詳細說明可靠性與安全步驟,例如處理 429 與 503 錯誤、以 background=True 處理長時間任務、safety_identifier 以及 misalignment 監控。
推薦理由:OpenAI 的官方部署檢查清單將模型選擇、推理強度、工具搜尋、compaction 與 WebSocket 模式整合為一份 GPT-6 工作負載的遷移指南。
OpenAI 發布了 Codex 應用程式新更新的概述,旨在跨工具、應用程式、自動化及其他開發者工作流程運作。該內容僅為簡短摘要,因此未描述具體功能、版本與可用性細節。
推薦理由:OpenAI 概述了 Codex 應用程式的更新,將此編碼代理擴展至工具、應用程式與自動化,顯示其範圍正從程式碼生成向外擴大。
Vapi 發布 Vapi Monitoring,這是一款監控產品,讓團隊能為語音代理建立可自訂的監控器,並在觸及閾值時收到警示。它涵蓋 Enterprise 訂閱方案的有效性與合規性監控,以及技術與基礎架構監控,並呈現問題、受影響的通話數量與建議的修正方式。
Modal 發布了一篇教學,說明如何在 OpenAI 今日推出的 OpenAI Agents SDK 之上打造自訂的編碼代理框架,並使用 Modal Sandboxes 為代理提供隔離的 Linux 環境與 GPU。該指南從一個以 exec 為基礎的最小代理開始,接著加入用於記憶的 session、用於平行非同步工作的協調器與子代理池、GPU 配額、用來去重複設定流程的檔案系統快照,以及技能子系統,最後完成一個能在平行 GPU 子代理上執行 OpenAI Parameter Golf 挑戰的框架。Modal 引用了 Ramp 在 Modal 上運行的背景編碼代理艦隊,並表示該艦隊目前產出該公司超過一半的 PR。
Vapi 產品管理副總裁 Nathalie Criou 在 HumanX 座談會上與 Salesforce、Databricks 和 TinyFish 同台表示,AI 是放大而非取代領域專業與判斷力等基礎功。她說,Vapi 的平台建立在數百萬次真實世界的語音互動之上,能累積單次訓練無法複製的組織記憶。座談小組認為,搶先進入市場這類淺薄的護城河正在消退,而信任、轉換成本和獨特的互動資料則以更快的速度複利累積。
Modal 展示在彈性 GPU 上執行 autoresearch 代理:在提供 Modal Skills 的情況下,Claude Code 針對 OpenAI 的 Parameter Golf 挑戰執行了 113 次實驗,共耗費 238 GPU 小時,完成核心訓練執行的速度比單一工作站快 5 倍,同時只使用專用叢集資源的一小部分。代理透過 API 呼叫配置 GPU,可從一個 H100 自動擴展到數十個,再縮回零。
Modal 已收購 Butter,創辦人 Erik Dunteman 與研究員 Raymond Tana 加入 Modal 的 Sandbox 團隊。Butter 團隊帶來代理程式框架工程經驗,包括 bVisor——一個以 Zig 從零撰寫的虛擬 Linux 核心,用於輕量、短暫的沙箱。Modal 表示,此次延攬推進了其讓 Modal Sandboxes 成為同類最佳產品體驗的目標。
Modal 現已提供 NVIDIA 的 RTX Pro 6000 Blackwell,具備 96GB 視訊記憶體與強勁的 fp4/fp8 輸送量,只需一行程式碼即可用於推論與微調工作負載。此次更新還新增了儀表板命令面板(CMD+K)、改版後的 Sandbox 檔案系統 API(Beta 版,支援最高 5GB 的讀取與雙向串流),以及可擷取歷史紀錄的 CLI 日誌命令。
Runway 正與 Modal 合作,為 Runway Characters 提供即時推論能力。Runway Characters 是一套即時影片代理 API,建構於 Runway 的 GWM-1 世界模型之上,能從單一影像生成富有表現力的數位人物,且無需任何微調。Modal 的無伺服器平台讓 Runway 在不到 30 天內從概念驗證推進到正式上線,並在每個區域使用具備 RDMA 網路的單行多節點 GPU 叢集。Characters 現已於 dev.runwayml.com 向開發者與企業開放,並於 runwayml.com 向一般消費者提供。
Vapi 舉辦了一場網路研討會,由首席產品經理 Nick Robin 示範 Composer,這是其產品內建的助理,可用於無程式碼建置語音代理,並在 30 分鐘的示範中產出一個可運作的來電客戶服務代理。Composer 會撰寫系統提示、配置電話號碼、設定排程,並標記自身的錯誤以供核准。它目前處於 alpha 階段,支援來電與去電助理、CRM 與行事曆整合,以及依助理 ID 編輯現有代理。
Modal 為 Sandbox 新增目錄快照(Directory Snapshots),讓使用者可對單一目錄建立快照,並獨立於基礎映像檔掛載至新的 Sandbox。Modal 亦與 Z.ai 合作推出免費公開的 GLM-5 端點,提供至四月底,相容於 OpenCode、Claude Code、OpenClaw 與 Vercel AI SDK。modal 帳務報告 CLI 與 modal.billing.workspace_billing_report API 現已正式推出,適用於 Team 與 Enterprise 工作區。
Vapi 發布了 Vapi Skills,這是一個遵循 Agent Skills 標準的儲存庫,另有一個 Model Context Protocol 連接器,讓編碼代理能即時存取 Vapi 的文件。只需一個安裝指令,即可載入附有確切 API schema 的逐步指示,涵蓋 create-assistant、create-tool、create-call 與 setup-webhook 等工作流程,且此技能包可在 Claude Code、Cursor、VS Code Copilot 與 Gemini CLI 上執行。
OpenAI 發布了一份 Codex 提示詞指南,供開發者透過 API 直接呼叫針對 Codex 調校的 gpt-5.3-codex 模型,建議互動式編碼採用中等推理強度,最困難的任務則採用高或 xhigh。該指南涵蓋將現有測試框架遷移至開源 codex-cli,包括標準 Codex-Max 提示詞、apply_patch、shell_command 與 update_plan 工具,以及透過 Responses API 中的 /compact 對多小時工作階段進行一等公民級壓縮。指南亦說明了新的 phase 欄位,僅支援於 gpt-5.3-codex,會將助理項目標記為 commentary 或 final_answer,且必須保留於歷史記錄中以避免效能下降。
推薦理由:OpenAI 的官方指南詳細說明如何為 gpt-5.3-codex 調整提示詞、工具與壓縮,為團隊提供具體的遷移路徑來建構自家的編碼代理。
OpenClaw 代理現在可透過 Vapi 相容於 AgentSkills 的技能撥打和接聽電話,只需約五分鐘,即可透過 npx skills CLI 安裝,或直接請代理代為安裝。Vapi 管線的目標是低於 500ms 的語音回應,並支援通話中呼叫工具,共有八項技能,涵蓋助理、通話、電話號碼、工具、小隊、webhook 與工作流程。
Modal 推出 Directory Snapshots 公開測試版,讓使用者能對執行中的 Sandbox 內特定目錄建立快照,並將其掛載到另一個 Sandbox,不受基礎映像檔與檔案系統其餘部分影響。此功能鎖定需要在 Sandbox 重啟後保留專案狀態的 coding agents 與 vibe coding 平台;Modal 表示,這能將系統相依性與應用程式碼分離、預先暖機 Sandbox 池,並更快預載關鍵檔案。Directory Snapshots 在最後一次使用後保留 30 天,且能瞬間掛載,其內容在 Modal 的延遲載入容器檔案系統上會優先預載。
Ramp 打造了 Ramp Inspect,一個在 Modal Sandboxes 上運行的內部背景編碼代理,如今 Ramp 前端與後端儲存庫中約有一半已合併的拉取請求由它發起。每個工作階段都能在數秒內啟動包含 Postgres、Redis、Temporal 與 RabbitMQ 的全端環境,因為一個 Modal cron 作業每 30 分鐘會複製儲存庫並儲存檔案系統快照。Modal Functions、Dicts 與 Queues 負責處理快照建置、工作階段鎖定與提示路由,讓 Inspect 得以支援多人工作階段與數百個並行工作階段,且彼此互不影響。
Opus 4.6 與 GPT-5.3-Codex 上週雙雙發布,但決定性的競爭並非原始能力。論點認為,多數具經濟價值的工作位於專業化層,在該層中,一個以客戶自有資料微調、參數低於 80B 的模型,在該客戶的工作流程上勝過 GPT-5.2——更快、更便宜,且不必將專有資料送交第三方。開源只需追上智慧上限,而非前沿,而實驗室對資本依賴的時鐘才是較弱的一環。
Vapi 推出了 Composer,這是一款內建於 Vapi 儀表板的 AI 助理,能依據描述打造語音代理,負責撰寫提示詞、配置設定、開通電話號碼、建置工具並設定整合。Composer 還能調用通話紀錄來解釋失敗的通話並套用修正,並生成在 Vapi 基礎設施上執行的自訂程式碼工具,用於 HubSpot 等整合。此功能現已以 Alpha 版本推出,無需設定或引導流程。
Modal 推出 GLM-5 的免費 OpenAI API 相容端點,可用至 4 月底,限單個並發請求,同時發布在單節點 8 張 B200 上用 SGLang 部署的可重現程式碼。
推薦理由:Modal 為 Z.ai 的 GLM-5 提供免費 OpenAI 相容端點,並給出在 OpenCode、OpenClaw、Claude Code 和 Vercel AI SDK 中接入的具體配置。
OpenAI 在官方開發者部落格文章中推出了 Codex 應用程式,這是專為其 Codex 編碼代理打造的專屬應用程式。該文章是一篇入門導覽,介紹此應用程式及其核心工作流程,完整影片則發布於 YouTube。
推薦理由:OpenAI 的官方導覽展示了 Codex 應用程式如何組織核心編碼工作流程,對於正在評估它與現有編碼代理的開發者來說很有參考價值。
Modal 現在可透過 AWS 和 Google Cloud Marketplaces 購買,讓企業客戶能將既有的雲端支出承諾用於 Modal 的使用。該平台也推出了 Sandbox UI 更新,提供更清楚的資源與區域詳細資訊,以及新的執行時間軸;用戶端 1.3.1 新增對 Python 3.14 的支援,包括在 Modal 容器中實驗性的 free-threaded Python(3.14t)。
Factory 推出 Agent Readiness,從八個技術支柱與五個成熟度等級評估程式碼庫對自主開發的支援程度,可透過 Droid 中的 /readiness-report、組織儀表板或 API 執行。每項標準皆為二元判定,唯有當某等級 80% 的標準及所有先前等級皆通過時,該等級才會解鎖;將每次評估建立於儲存庫先前的報告之上,使 9 個基準儲存庫在六週內的評分變異從平均 7% 降至 0.6%。報告可觸發代理開啟拉取請求,以修正未通過的標準,例如缺少 AGENTS.md、linter 設定或 pre-commit hooks。
Replit 現已進駐 ChatGPT,使用者可在任何訊息中標記 @replit,讓 Replit Agent 直接在對話中建立、更新及部署 Replit 應用程式。建置進度與互動式預覽會顯示在對話中,而新增深色模式或付款表單等每項請求都會即時更新應用程式,應用程式會儲存在使用者的 Replit 帳戶中,供日後發布。此整合功能需要 ChatGPT 帳戶(Free、Plus、Pro 或 Teams)和 Replit 帳戶,在 ChatGPT App Store 上架的地區均可使用,並會消耗 Replit Agent 額度。
推薦理由:Replit 的 ChatGPT 整合功能讓使用者在對話中描述應用程式,並由 Replit Agent 完成建置、預覽及部署,全程無需離開對話。
Modal 主張,那些幫助人類的開發者體驗原則——緊密的回饋循環、透過 CLI/SDK/API 的程式化存取、可據以行動的錯誤訊息,以及與程式碼相鄰的一致範例——同樣能讓 coding agents 更快。由於 agents 是透過產生、執行與觀察程式碼來迭代,含糊的錯誤或僅限 UI 的設定會讓它們停滯,因此為 agents 設計意味著套用同樣的原則,而非重新發明它們。
Vapi 現已為所有語音 AI 助理支援結構化輸出,確保每通通話都回傳符合開發者自訂 JSON 結構定義的資料。這些結構定義會在執行時透過 OpenAI、Anthropic、Gemini 等供應商的原生功能強制執行,並可重複使用於多個助理。擷取到的資料會透過通話完成 webhook 與 REST API 傳送。
Replit 推出 Fast Mode,這是一種更快的方式,可指示其 Agent 進行小幅、精確的變更。它運行於一個高效的 agentic 模型上,比 Build mode 便宜得多,並經過最佳化,能以最少的步驟完成請求,針對快速修正、視覺迭代和小型功能。Fast Mode 從今天起對所有 Replit 使用者開放,並透過閃電圖示啟用。
Modal 打造了 Modal Vibe,這是一個開源的 demo vibe coding 平台,建構於 Modal Sandboxes 之上,能在約五分鐘內從 0 擴展到 1,000 個 AI 編碼應用程式。一次建立 1,000 個應用程式的負載測試(每個應用程式都在各自的 Sandbox 中執行)耗時約 300 秒,其中 AI API 是速率限制的環節。Modal 表示,Team Plan 可執行 1,000 個並行 Sandbox,足以支撐每月超過一百萬次工作階段。
Modal 發布產品更新,包括可用於雲端 Python 實驗、最高支援 8 張 B200 GPU 的 Modal Notebooks,以及 modal.Sandbox.create() 新增的選用 idle_timeout 參數。用戶端也為 @app.function() 與 @app.cls() 裝飾器新增 startup_timeout 參數,並推出以命令式管理 Modal 資源類型的新 API 模式。Modal Notebooks 其後已關閉,但現有 notebook 仍可下載為 .ipynb 檔案。
Modal Notebooks 在上個月限量測試後,現已全面開放給所有 Modal 客戶使用。這個協作式筆記本環境執行於支援 GPU 的 Python 核心上,在任意容器映像及最高 256 個 vCPU 與 8 張 H100/B200 GPU 的硬體配置下,不到 5 秒即可達到就緒狀態,並具備閒置自動關閉、共享 Volumes 與 Secrets,以及即時多游標編輯功能。Modal 表示,在 8 月的測試期間,超過 5,000 個帳號執行了 200,000 個程式碼儲存格,即將推出的功能包括記憶體快照、一鍵匯出至 Modal Apps,以及排程執行。
AI 程式碼沙箱是一個隔離環境,會在執行時執行 LLM 產生的程式碼,將錯誤或注入漏洞的影響範圍限制住。現代實作運行於 VM 或容器上,通常使用 gVisor 等安全執行環境來攔截系統呼叫並保護主機。多數公司選擇託管沙箱服務,而非用 Kubernetes 自行打造,因為冷啟動與擴展到數百萬個並行工作階段成本高昂。
Lovable 在 2025 年 6 月與 Anthropic、OpenAI 和 Google 合作的促銷週末期間,使用 Modal Sandboxes 執行程式碼生成式 LLM 所產生的程式碼,讓使用者在 48 小時內建構了估計 25 萬個應用程式。Modal 執行了超過 100 萬個沙箱,尖峰時最多同時執行 2 萬個,而 Lovable 的並行工作階段激增 2.5 至 3 倍,其平台團隊一次都沒有被呼叫。Lovable 改用 Modal 後,將其沙箱協調程式碼從 15,000 行減少到 700 行。
Quora 使用 Modal Sandboxes,在其 AI 聊天機器人平台 Poe 中安全執行 LLM 生成的程式碼,讓這項功能比自行開發提前數個月上線。團隊對 Sandbox 的建立吞吐量進行壓力測試,達到每秒 1000 個沙箱,並表示節省了相當於 2 名工程師的持續基礎設施維護時間。
Vapi 現在讓使用者能透過上傳包含電話號碼與自訂變數的 CSV 檔來發動外呼活動,再指派助理或工作流程執行。Vapi 負責處理佇列、執行與記錄,通話狀態可在儀表板中查看。活動需要已驗證的電話號碼,因為無法使用 Vapi 號碼。
一份指南概述了房地產經紀人運用 AI 的五種方式,包括以 Vapi 打造、能全天候接聽電話、篩選潛在客戶並預約看房的語音代理。指南也涵蓋以 ChatGPT 和 Canva 自動化內容製作,以及 HouseCanary、CoreLogic 等 AI 定價工具,這些工具能產出附帶信心分數的估值。