GitHub 部落格:AI 重塑工作型態,開發者必備的三項技能
GitHub 部落格指出,隨著 AI 改變開發者的工作方式,開發者應強化三項技能:引導 AI 代理而不只是使用它們、批判性地審查 AI 產出而非輕信第一個答案,以及利用 AI 節省下來的時間處理更廣泛的問題。文中引用 GitHub Copilot 內建的 Rubber Duck 代理,它會用第二個模型在開發者繼續推進之前,對計畫、程式碼與測試提出批判。
GitHub 部落格指出,隨著 AI 改變開發者的工作方式,開發者應強化三項技能:引導 AI 代理而不只是使用它們、批判性地審查 AI 產出而非輕信第一個答案,以及利用 AI 節省下來的時間處理更廣泛的問題。文中引用 GitHub Copilot 內建的 Rubber Duck 代理,它會用第二個模型在開發者繼續推進之前,對計畫、程式碼與測試提出批判。
一位 Every 的員工描述了從單線程提示轉向將整個專案委派給協調子代理的過程,使用技能、協調器線程、上下文封包、MCP 和電腦操作。這一轉變是由六月的一條推文引發的,Katie Parrott 在推文中要求 Codex 將她置於「AI 採用的八個層級」指南中;Codex 將她置於第 5 級,並初現第 6 級的端倪。
Claude Code mods 是小型 JavaScript 或 TypeScript 檔案,以隨外掛提供的 hooks 形式在工作階段內執行,可觀察事件、改寫行為,或在終端機或桌面應用程式中繪製自訂 UI。本指南打造 Token Weather,一個約 80 行的 mod,在每一輪之後讀取 $.session.usage(),並在提示上方繪製一條天氣樣式的上下文視窗帶,接著導覽 Blast Radius(會攔住有風險的 Bash 指令)與 Replay Theater(逐步檢視某一輪的編輯)。Mods 需要 Claude Code 2.1.287 或更新版本,且預設為開啟;這三個 mod 的完成版程式碼都在 anthropics/claude-code-playground。
推薦理由:一篇實作導向的 Claude Code mods 逐步教學,用約 80 行打造出可運作的上下文視窗計量器,展示 hooks、狀態與自訂 UI 如何彼此搭配。
Anthropic 在 Claude Code 內的 claude-api 技能中新增了兩個指令:/claude-api build-eval 會在你的程式碼庫中建立評估集,而 /claude-api hillclimb 則會針對該評估反覆迭代應用程式,並以保留集來捕捉過擬合。
推薦理由:Anthropic 在其 claude-api 技能中新增 build-eval 與 hillclimb 指令,展示 Claude Code 如何設計評估並針對評估反覆迭代,同時防範過擬合。
Vapi 進行了早期實驗,使用 TypeSafe AI 早期存取的「System One」模型 Jev 作為護欄,在語音助理的回應被說出之前,評估該回應是否違反開發者定義的規則。在一項早期測試中,Jev 至少攔截了四分之三的違規回應,不過 Vapi 表示這並非 100% 的合規保證,只是在提示詞護欄之上額外增加的一道檢查。
Every 的評測負責人 Mike Taylor 說明他與 AI 協作時使用的寫作流程,從先寫標題、蒐集資料,到錄製口述獨白,再以 Claude Opus 5.5、Fable 5.1 與 GPT-6 Astra 生成草稿。他表示,這套流程讓他寫一篇 1,200 字的文章從一整天縮短到兩小時以內,流量與讀者正面留言都沒有下滑;他仍親自撰寫引言與結論,並預期草稿在自我編輯階段會有 20-30% 的內容被改動。
Modal 說明其如何為編碼代理最佳化 Kimi K2.6 推論,達到每個副本每位使用者 2.8 倍、跨使用者 5.6 倍的效能,並以每日數千億個 token 的規模運行服務。這項工作結合了在編碼軌跡上微調的客製化 DFlash 推測解碼、FP8 KV 快取與 NVFP4 共享專家量化、HiCache CPU 層級快取,以及感知 KV 快取的基於負載路由。Modal 已將其 SGLang 修補程式上游化,並釋出 Modal Auto Endpoints 背後的設定。
Every 的評測負責人說明如何建立個人 AI 基準測試,而不是依賴 MMLU-Pro 和其他公開測試;他根據自身經驗,用真實工作任務測試 Claude Opus 5、Claude Fable 5、GPT-5.6 Sol、Astra、Luna 和 Haiku。這個方法有三個層級,旨在顯示何時該切換模型,以及較小、較便宜的模型是否就足夠。
本指南比較 LiveKit Agents 與 Pipecat 這兩個它認為對打造生產級語音與視訊 AI 代理最重要的開源框架,涵蓋架構、採用情況、開發者體驗與生產就緒度。LiveKit Agents 運行於 LiveKit 的開源 WebRTC 與 SIP 基礎設施上,並為你串接好管線;Pipecat 則不預設傳輸方式,由開發者逐階段組裝管線。文中也說明 TEN Framework、Dograh、Vision Agents 與 Vocode 各自的位置。
LiveKit 說明,其語音代理中的「推論比即時更慢」警告指的是本機 VAD 模型,而非透過 LiveKit Inference 使用的 STT、TTS 或 LLM 模型。每個 32ms 的音訊視窗必須在 32ms 內處理完畢,而回報的延遲顯示 VAD 落後即時音訊的程度。事件迴圈受阻與 CPU 飽和是主因,解決方法是排除同步程式碼,而非增加執行緒。
語音信箱偵測(也稱答錄機偵測)會在大約三到五秒內判斷外撥電話是接通到真人還是錄音,依據的是時間與行為訊號,而非語音音訊。一篇 2026 年的 arXiv 預印本發現,單靠時間特徵就能達到與嗶聲及關鍵字方法相當的效果,同時避免它們額外增加的延遲。Vapi 讓使用者選擇偵測供應商、調整時間參數,並在真人接聽時切換回對話。
Botika 在 Modal 上運行其全端生成式 AI 業務,涵蓋 100 TB 的影像資料管線、數十億參數的自研基礎模型,以及約 15 個模型提供生產環境推論。該管線在數千個並行容器上處理該資料集,錯誤率低於 1%,而單一研究人員現在每天可執行 50 次實驗,而非過去的一到兩次。
LiveKit 的部落格解析了語音代理為何在「yes」或「ok」這類簡短回覆後經常陷入沉默,並將原因追溯至輪次偵測失敗。最常見的原因是 STT 供應商漏掉簡短語音,從未發出 final_transcript,導致話語結束偵測完全無法運作。文章也涵蓋過於激進或過於寬鬆的端點偵測延遲,以及將簡短音訊當作噪音丟棄的錯誤噪音消除設定。
Vapi 發布了一套七項標準的評分準則,用於評估客戶體驗中的 AI 語音代理,涵蓋解決率、即時語音品質、採取行動、升級轉接、模型靈活性、生命週期信任與平台控制。該指南主張,以 containment 與 deflection 計算成功率會高估成效,因為被 containment 的來電者可能只是掛斷電話;並引用 ContactBabel 數據顯示,偏好以電話進行複雜互動的比例從 2018 年的 28% 上升至 2024 年的 47%。Vapi 將自身定位為模型無關的平台層,具備可配置的端點偵測、打斷處理與背景降噪。
LiveKit 正將其 SFU 架構擴展到單一對等連線之外,讓機器人部署能執行多參與者工作階段,其中一個 Room 可讓每台攝影機、模型、操作員或服務各自作為獨立的參與者加入。LiveKit 描述了三種架構:人在迴路中的資料錄製,機器人、策略、操作員與錄製器同處一個工作階段;VLM 引導的技能編排,由視覺語言模型以約 1 Hz 選擇技能,而各別策略參與者以數十赫茲控制機器人;以及策略升級,由 30 Hz 或更高頻率的獎勵模型標記卡住或不安全的狀態,機器人則撤銷專家策略的權限。
一份廠商中立指南列出為企業語音代理選擇對話式 AI 平台的五項標準:開發者控制權、模型選擇與備援、測試與可觀測性、完整的代理生命週期,以及大規模合規性。指南引用 Zapier 對 542 位美國 C 級高階主管的調查,其中 81% 擔心依賴特定 AI 廠商,僅 6% 能在不造成中斷的情況下捨棄其主要廠商。指南主張延遲與編排比功能清單更重要,並指出 AssemblyAI 的發現:超過 500–700 毫秒的延遲會讓人覺得不自然。
Vapi 主張,語音代理的評判標準在於五個即時維度:延遲、輪流發言、打斷處理、韻律,以及具韌性的管線。它引用研究指出,人類的輪流發言間隔接近 200 毫秒,並指出超過約 500–700 毫秒的延遲會顯得不自然,而樸素的循序管線可能耗費約 1.9 秒,優化後的管線則為 600–900 毫秒。Vapi 將其不綁定特定模型的管線定位為可透過模擬通話調校與測試。
Vapi 公布了其與 Anthropic 合辦的語音 AI 網路研討會問答,詳細介紹了在 Vapi 上以 Anthropic 的 Claude Haiku 和 Layla v2 語音打造的即時叫車示範代理。該代理使用了五個工具——預估、預訂、查詢狀態、取消和結束通話——再加上智慧端點偵測和保守的中斷閾值,以達到亞秒級輪次。在 Vapi 上執行 Claude 的代理在過去 30 天內處理了近 500 萬通電話,涵蓋 50 多種語言。
AI 語音代理以兩種方式縮短客戶等待時間:透過自助服務分流、智慧路由、座席輔助與需求預測,把工作從佇列中移除;以及即時應答、無需等候。SQM Group 發現客戶平均在 2 分 36 秒時掛斷電話,而 ContactBabel 指出 2024 年英國平均放棄率為 8.4%。Vapi 表示,第一個語音代理可在數分鐘內從其儀表板建立完成,之後再以 ASA、放棄率與首次通話解決率來衡量。
Kieran Klaassen 描述「打磨」(polish),這是他複合工程工作流程的最後一步:他親自執行應用程式,並告訴 agent 哪裡感覺不對,直到不再不對為止。他使用複合工程外掛的 /ce-polish 指令,簽出分支、啟動開發伺服器,並在編輯器中把執行中的應用程式開在 agent 旁邊。他舉了一個 Cora 電子郵件卡片動畫為例:它通過了所有自動化檢查與審查 agent,卻仍然是從螢幕頂端滑入,而不是從點擊處展開。
Modal 發布了一款互動式工具,用於估算無伺服器與預留 GPU 的成本,預設採用目前 B200 GPU 在 Modal 上以無伺服器方式運行,以及透過三年期超大規模雲端服務商預留的費率。該模型顯示,當應用程式的峰值與平均值比率超過預留折扣率時,無伺服器 GPU 的整體成本更低,而 Modal 引用觀察到的折扣為 2-5 倍,對應峰值與平均值比率為 5-10 倍。
Vapi 公布了與 Spring Venture Group 合辦的網路研討會中,最常被問到的七個問題的解答。會中 Homer Kay 說明了 SVG 如何運用 Vapi 語音代理,在將來電者轉接給持照代理人之前,先對 Medicare 潛在客戶進行資格審核。這些解答涵蓋了外撥電話合規、API 優先的整合、獨立替換 STT、LLM 與 TTS 元件、轉接真人,以及符合 HIPAA 規範且採用零資料保留的設定。
語音 AI 的成功始於使用場景的選擇:以連結、程式碼或數字結尾的任務適合用聊天,而緊急、難以打字或情緒負載重的問題則適合用語音。聊天腳本必須為耳朵改寫——將長段落拆成單一概念的輪次,把收集到的細節(如日期)大聲複述,並將口頭選項限制在兩到三個。一家人力資源公司透過在收集每個時段時即時確認,將下游安置錯誤減少了 30%;另一個團隊則將開放式問題轉為選擇題,使平均通話時長縮短了 40 秒。
Vapi 打造了首頁上的 15 個語音代理——涵蓋 5 種語言的 3 個使用案例——做法是從單一 ROUGH_DRAFT.md 檔案生成,而非在儀表板中逐一手動編輯。這套四階段框架(規劃、草擬、啟動、強化)會搭建一個 TypeScript 專案,使用 temperature 設為 0.5 的 OpenAI gpt-4.1、ElevenLabs 與 Deepgram/Soniox 語音堆疊,以及一個冪等的 upsert 迴圈,將 assistant ID 存入 .env.local。該儲存庫已公開:複製它、加入 VAPI_PRIVATE_KEY,然後執行 bun run bootstrap。
Modal 為 FlashAttention-4 核心貢獻了多項最佳化,以加速以解碼為主的 LLM 推論工作負載,這類工作負載的瓶頸在於記憶體頻寬。這些變更包括將「split KV」平行化技術移植到 FA4,並以 cp.async 取代 TMA cp.async.bulk 載入,以處理不規則的記憶體存取。一個 FP8 輸入 PR(於 2026 年 4 月 17 日合併)相較於 bf16 基準可提供最高 1.16 倍的吞吐量,並可啟用更小的 KV 快取。
Modal 表示,LLM 強化學習後訓練的瓶頸如今在於基礎設施,而非演算法,並發布了一個源自大規模執行強化學習經驗的開源函式庫。文中詳述三個痛點——膠水程式碼、叢集排隊與 GPU 使用率不足——並回報 RDMA 權重同步將 Qwen3 8B 的更新時間從 2.62 秒縮短至 41 毫秒。
複合工程這套 AI 原生的工程哲學,已將其核心循環從四步擴展到八步,在前端新增了構思與腦力激盪,並在末端新增了打磨。原本的循環——腦力激盪、執行、審查、複合——仍是核心工程週期,但這次更新反映了人類注意力如今流向何處:決定要打造什麼,以及判斷成品是否感覺對了。
Every 正在調整其 Plus One 產品,讓旗下 AI 代理成為具有明確職責的團隊共享資源,而非每位員工各有一個個人助理。該公司表示,第一版建構於 OpenClaw 之上,帶來的挫折多於效率,代理經常未能遵循指示。下一版旨在更穩定,技能與整合仍在規劃之中。
Modal 發表了一篇工程文章,說明他們如何將 AI 推論副本的啟動時間從約 2,000 秒縮短到約 50 秒,方法包含四個元件:閒置健康 GPU 的緩衝池、名為 ImageFS 的延遲內容定址檔案系統、透過 gVisor 的 runsc 進行主機端檢查點/還原,以及建構在 Nvidia 驅動程式支援上的 CUDA 檢查點/還原。在超過一萬次冷啟動中,對於 bf16 格式的約 1 GiB Qwen 3 0.6B 模型,vLLM 的平均啟動延遲從 95,679 毫秒降至 13,797 毫秒,SGLang 則從 83,713 毫秒降至 17,486 毫秒。文章也指出了一些限制,包括快照僅支援單一 GPU,以及主機環境的敏感性要求每次部署需準備多個快照。
Vapi 團隊審查了數千個語音部署案例,歸納出五項特徵,可預測語音代理使用場景是否會成功:高通話量、重複且可預測的對話、明確的成功標準,以及另外兩項。缺少一項特徵尚可彌補,但缺少三項就意味著應探索其他使用場景。
OpenAI 發布了一份語音代理的即時提示指南,涵蓋 Realtime 2 推理、前置語、工具與精確實體擷取。該指南說明如何建構提示,讓即時語音代理在處理推理與工具使用的同時,精確擷取實體。
Modal 對 SGLang 的排程器在多模態工作負載上進行了效能剖析,並以簡單的 Python 字典快取取代重複的 CUDA IPC handle 記錄作業,在 H100 上執行 Qwen2.5-VL-3B-Instruct 時,吞吐量提升 16.2%,平均 TTFT 降低 13.2%,TPOT 降低 17.2%。此修正已合併至 SGLang v0.5.10。
Vapi Blog 專訪 Cartesia 的 Iz Shalom,探討在整合式與開放模組化語音 AI 堆疊之間如何選擇。整合式堆疊適合範圍較窄的使用情境與快速的概念驗證,而開放式堆疊則適合多種使用情境、多語言支援,以及替換元件。文章呼籲團隊在自己的環境中測量 P99 延遲,並在進入生產環境前建立嚴謹的評估機制。
Spiral 總經理 Marcus Moretti 靠 Claude Code 獨力營運整個產品,他表示這消除了產品管理中枯燥乏味的工作,把原本分散在 10 個不同應用程式的工作集中到單一對話串中。他自己唯一親手撰寫的產品文件是路線圖,前後改了六個版本;每一份 PRD 和工單都由 Claude 撰寫。
AE Studio 詳細說明如何在 Modal 上以強化學習訓練大型語言模型證明數學定理,在保持訓練迴圈固定的前提下比較演化策略與 GRPO。此設置在 GPU 上執行 vLLM 推論、於隔離的 CPU 沙箱中進行 Lean 編譯器驗證,並搭配輕量級協調器,使用逐函式映像、.map() 扇出,以及 Volumes 來存放基礎權重。
OpenAI 發布了一份 API 部署檢查清單,引導開發者將工作負載遷移到 Responses API 與 GPT-6 模型系列,包括 gpt-6-astra、gpt-6.1-sol、gpt-6 Sol 和 gpt-6 Luna。該指南涵蓋從 low 到 max 的 reasoning.effort 等級、text.verbosity、搭配延遲工具載入的 tool_search、Programmatic Tool Calling、Multi-agent、compaction、prompt caching 以及 WebSocket 模式;OpenAI 表示,對於工具呼叫達 20 次以上的工作流程,WebSocket 模式已展現出端到端執行速度最高約提升 40%。指南也詳細說明可靠性與安全步驟,例如處理 429 與 503 錯誤、以 background=True 處理長時間任務、safety_identifier 以及 misalignment 監控。
推薦理由:OpenAI 的官方部署檢查清單將模型選擇、推理強度、工具搜尋、compaction 與 WebSocket 模式整合為一份 GPT-6 工作負載的遷移指南。
Modal 發布了一篇教學,說明如何在 OpenAI 今日推出的 OpenAI Agents SDK 之上打造自訂的編碼代理框架,並使用 Modal Sandboxes 為代理提供隔離的 Linux 環境與 GPU。該指南從一個以 exec 為基礎的最小代理開始,接著加入用於記憶的 session、用於平行非同步工作的協調器與子代理池、GPU 配額、用來去重複設定流程的檔案系統快照,以及技能子系統,最後完成一個能在平行 GPU 子代理上執行 OpenAI Parameter Golf 挑戰的框架。Modal 引用了 Ramp 在 Modal 上運行的背景編碼代理艦隊,並表示該艦隊目前產出該公司超過一半的 PR。
Vapi 的前置部署工程師表示,從示範到正式上線之間的落差,正是多數企業語音 AI 計畫停滯的地方,這需要大量測試、防護機制,以及以意圖為基礎的設計,而非精確片語比對。團隊警告會出現「人格漂移」,也就是代理會採用來電者的說話風格,並指出 LLM 具有非確定性,因此部署需要界定容錯範圍並持續迭代。他們建議從成本最佳化著手,但以創造營收為目標,並將良好的互動基準訂在不到一分鐘。
Doppel 將其大部分 ML 工作流程遷移至 Modal,消除了拖慢訓練實驗與推論部署的基礎設施摩擦。透過 map() 進行的平行實驗取代了循序執行,而映像層快取與持久性磁碟區將建置時間縮短多達 10 倍,複雜設定更能達到一分鐘內的暖建置。
OpenAI 更新了 Sora 2 提示指南,涵蓋新的 API 功能:可重複使用的物件與動物角色參考、1920×1080 與 1080×1920 匯出、最長片段長度從 12 秒提高到 20 秒、以完整原始片段作為脈絡的影片延長,以及用於非同步影片任務的 Batch API。該指南也說明鏡頭取景、攝影機運動、光線與對話的提示結構,並指出解析度、時長與角色 ID 必須設為 API 參數,而非以文字描述。支援最多 20 秒的延長,且一支影片最多可延長 6 次,總計 120 秒。
推薦理由:OpenAI 更新的 Sora 2 提示指南詳述了角色參考、20 秒片段與影片延長等新 API 功能,以及可用於控制鏡頭的可重複使用提示範本。