跳至正文
10月20日星期二
  1. GitHub Blog · AI & ML26

    如何在 VS Code 中繼續 GitHub Copilot 應用程式工作階段

    GitHub Copilot 應用程式工作階段現在可以直接在 VS Code 中開啟,並延續對話、程式碼變更與工作樹,讓開發者無需重新開始即可檢視差異、手動編輯並在本機測試。本教學逐步說明如何開啟工作階段、逐行檢視代理的變更、在 Copilot 側邊欄中繼續同一段對話,以及將更新推送至該工作階段的提取要求。

  2. Google Developers Blog60

    Google 將 TorchTitan 接入 TorchTPU,並發布 TPU 模型最佳化手冊

    Google 發布了 Meta TorchTitan 的 TPU 分支版本,可透過 TorchTPU 原生的 torch.device("tpu") 後端在 Cloud TPU 上執行 PyTorch 訓練,並附帶 TPU 原生核心與逐步最佳化指南。在 TPU v7x(Ironwood)上,Llama 3 405B 在 128 到 1,024 顆晶片之間維持約 57% MFU,Qwen3 235B 在單一 1,024 晶片切片上達到 32.42% MFU,FLUX.1 在 1,024 顆晶片上達到 19.4% MFU,弱擴展效率為 93%。該分支位於 https://github.com/google-pytorch/torchtitan/,另有 Transformers 建模後端與 agent 上手技能,可將同一訓練器延伸至其他檢查點。

    推薦理由:Google 與 Meta 合作把 TorchTitan 移植到 TPU,並給出從 FLUX.1 到 Qwen3 235B 的逐級調優路徑與 MFU 數字,可作為 PyTorch 團隊評估 TPU 訓練可行性的參考。

10月19日星期一
  1. Modal Blog38

    Legora 如何在 Modal Sandboxes 上執行 2,000 個平行代理評估

    Legora 現在將每一項法律代理評估分別執行於獨立的 Modal Sandbox 中,啟動其完整應用程式並固定於特定 commit,使每次執行都反映確切的產品版本。典型實驗包含 100 個案例、4 種 harness 變體、每種各 5 次試驗——共 2,000 次平行執行——並以 Modal Volumes 快照文件、資料庫與權限狀態。Legora 也從 gVisor 遷移至 Modal VM Sandboxes,移除了其 Docker 網路與 FUSE 的變通方案,並透過更智慧的壓縮與自訂工具搜尋,將代理成本降低 30%。

10月16日星期五
  1. Modal Blog36

    Modal 說明如何為 VM Sandboxes 打造快速檔案系統堆疊

    Modal 詳細說明其如何演進檔案系統堆疊以支援 VM Sandboxes,將客體請求透過 virtio-fs 與 virtiofsd 路由至其 ImageFS 延遲載入檔案系統。第一個版本開機快速但執行緩慢:遞迴 chown 從四秒變成超過一分鐘,pnpm 與 bun 安裝約慢了三倍。微基準測試顯示,chown 在 virtio-fs 上為 9.87 秒,而在 gVisor 上為 2.31 秒、在 ImageFS 上為 1.58 秒。

  2. OpenClaw Blog22

    PJ 如何協助小型企業採用並擁有 OpenClaw

    PJ 是佛羅里達州奧卡拉(Ocala)一位由工程師轉行的除蟲業老闆,如今為小型企業提供顧問服務——其中包括屋頂、泳池與汽車承包商——協助他們架設 OpenClaw,並教他們自行操作。他的客戶想要一個完全屬於自己的工具,而不是把公司資料餵給租用的軟體;其中一位客戶、66 歲的行政人員 Donna,每天都使用她的 OpenClaw。

  3. LiveKit Blog38

    如何打造可上線的 AI 語音代理

    LiveKit 的指南彙整了解決方案架構師與前線部署工程師的經驗,說明如何讓 AI 語音代理從展示階段走向正式上線,並圍繞三個問題組織:代理是否足夠聰明自然、其效能是否可觀測,以及能否可靠且具成本效益地擴展。指南建議單獨量測第一輪對話,因為有公司發現約四分之三的通話在問候步驟就結束了,並指出客戶從 GPT-4.1 改用 LiveKit Inference 上的 Gemma 4 31B,在 p50 下節省了 300–500ms。

10月15日星期四
  1. Anthropic · Claude.dev62

    Claude Code 團隊如何進行程式碼審查

    Claude Code 團隊描述其分層的程式碼審查流程,其中大部分閱讀由機器完成,人類注意力則保留給基於風險的核准。從六月到九月,合併至 Claude Code 程式碼庫的拉取請求增加了一倍以上,而必須回退的比例下降了超過 40%。該流程在 PR 之前堆疊驗證、必要的 CI、Claude 審查、安全審查、風險分級的人工核准,以及帶有旗標和快速回滾的合併佇列,團隊並將過去的事件轉化為審查者的每日評估集。

    推薦理由:Anthropic 的 Claude Code 團隊詳細說明了他們如何將大部分程式碼閱讀移至自動化層,同時合併的 PR 翻倍且回退下降超過 40%,為代理密集的團隊提供了一個可轉移的審查模型。

  2. Modal Blog34

    用 Modal GPU 強化你的 LiveKit Agent

    Modal 說明如何在其無伺服器 GPU 上,以開放權重或自訂模型執行 LiveKit Agents,並使用 BitHuman 的開放權重 Expression Video Avatar,搭配 Qwen3-TTS 配音來複製 Charles Frye。此設定透過 Modal Server 對外開放 avatar 容器的 /launch 端點,並使用 Sticky Sessions 讓 WebSocket 用戶端維持在同一個容器上,同時以 GPU 快照隱藏冷啟動。

10月14日星期三
  1. GitHub Blog · AI & ML38

    GitHub 的秘密偵測模型:以更少雜訊找出更多秘密

    GitHub 訓練了一個微調過的 ModernBERT 分類器,用來取代先前以 LLM 為基礎的通用秘密偵測流程,將擁有者加權的警示精確率提升了 11.5%,並把推送後掃描執行時間的中位數縮短了 86%。這套兩階段流程先用正規表達式產生候選,再進行情境感知分類,相較於遠端 LLM 呼叫,也讓服務成本降低了超過 98%。效率的提升使得把通用秘密偵測擴展到推送保護變得可行,能在變更被推送前就回傳結果。

10月13日星期二
  1. LiveKit Blog18

    排解 LiveKit Egress 問題:常見錯誤與修正方法

    LiveKit 發布了一份 Egress 的疑難排解指南,涵蓋常見錯誤,例如範本從未呼叫 START_RECORDING 而出現的 412「未收到啟動訊號」、30 秒內找不到參與者或軌道的 404,以及 S3/GCP/Azure 憑證無效導致的 400 上傳失敗。指南也處理版面配置、webhook 與自架 Egress 的問題,並指出這些指引同時適用於目前的 StartEgress API 與已棄用的來源專屬 API。

  2. GitHub Blog · AI & ML36

    GitHub Copilot 入門:讓 Copilot 認識你程式碼庫的四種方法

    GitHub 的 Copilot for Beginners 系列說明了四種為 Copilot 提供專案脈絡的方式:在 `.github/copilot-instructions.md` 中設定自訂指示,並在 `.github/instructions` 中放置路徑專屬檔案;在 `.github/skills` 中定義代理技能;在 `.github/agents` 中設定自訂代理;以及透過 MCP 伺服器將 Copilot 連接至 Playwright 等外部工具。文章逐一介紹每種機制及其組合方式,並指引讀者前往社群 Awesome Copilot 集合取得現成範例。

10月12日星期一
10月9日星期五
  1. LiveKit Blog34

    Serve AI 使用 LiveKit Agent Simulations 以單一提示詞重建其語音代理

    Serve AI 在 LiveKit 上為一位價值 1.5 億美元的害蟲防治客戶重建了其電話代理,將一個 224 節點的 Retell 流程圖壓縮為單一提示詞,並用 Agent Simulations 進行驗證。約 100 通真實生產通話被轉化為模擬場景,在切換前經過 10–15 次迭代達到 98% 的通過率,中位輪次延遲為 1.3 秒,低於 1.5 秒的上限。首次遷移耗時一週,沒有回滾,遏制率提升了 15%,Serve 估計這每年為客戶額外節省 32 萬美元。

10月8日星期四
  1. Anthropic · Claude.dev62

    Anthropic 逐步說明如何用 Claude Managed Agents 建立排程代理自動化

    Anthropic 發布了 Claude Managed Agents(beta)的參考實作,它會依 cron 排程讀取 Slack 頻道與 GitHub 拉取請求,透過各來源的書籤追蹤自上次執行以來的變更,並將摘要發佈到 Slack。這份逐步說明涵蓋保存在 vault 中的憑證、唯讀存取與每次執行的支出上限,以及將失敗的來源回報為無法讀取而非當作平靜無事的一天,還有在更新書籤與帳本前先確認 Slack 發文成功等規則。一個帶有 claude-api 技能的 Claude Code 命令會依文章指引設定該代理。

    推薦理由:Anthropic 分享了一個排程 Claude Managed Agents 的參考實作,它會讀取 Slack 與 GitHub,並針對書籤、讀取失敗與發文確認訂有具體規則。

10月6日星期二
  1. Anthropic · Claude.dev72

    Claude Code 雲端工作階段:在獨立 VM 上執行任務的實戰指南

    Addy Osmani 詳細介紹 Claude Code 雲端工作階段:每個任務都在 Anthropic 管理的新鮮 VM 上執行,儲存庫會複製到各自的分支,且雲端工作階段已包含在 Pro、Max、Team 與 Enterprise 方案中,不額外收取運算費用。在一個範例 Node 儲存庫上進行的四工作階段測試中,三個工作階段在彼此相隔 16 秒內啟動,並在第一个工作階段開始後 87 秒完成,而針對不穩定測試的工作階段執行了測試套件 40 次,零失敗。本指南涵蓋設定腳本、網路層級、GitHub 連線路徑,以及七種適合雲端工作階段的工作流程,同時指出對於需要本機資料、VPN 服務、GPU 或零資料保留的任務,本機工作階段仍是更合適的選擇。

    推薦理由:一份 Claude Code 雲端工作階段的實戰指南,展示每個任務的 VM 如何實現平行工作,以及本機工作階段在哪些情況下仍更合適。

10月2日星期五
  1. GitHub Blog · AI & ML25

    GitHub 部落格:AI 重塑工作型態,開發者必備的三項技能

    GitHub 部落格指出,隨著 AI 改變開發者的工作方式,開發者應強化三項技能:引導 AI 代理而不只是使用它們、批判性地審查 AI 產出而非輕信第一個答案,以及利用 AI 節省下來的時間處理更廣泛的問題。文中引用 GitHub Copilot 內建的 Rubber Duck 代理,它會用第二個模型在開發者繼續推進之前,對計畫、程式碼與測試提出批判。

10月1日星期四
  1. Anthropic · Claude.dev60

    開始使用 Claude Code mods:打造一個上下文視窗預報

    Claude Code mods 是小型 JavaScript 或 TypeScript 檔案,以隨外掛提供的 hooks 形式在工作階段內執行,可觀察事件、改寫行為,或在終端機或桌面應用程式中繪製自訂 UI。本指南打造 Token Weather,一個約 80 行的 mod,在每一輪之後讀取 $.session.usage(),並在提示上方繪製一條天氣樣式的上下文視窗帶,接著導覽 Blast Radius(會攔住有風險的 Bash 指令)與 Replay Theater(逐步檢視某一輪的編輯)。Mods 需要 Claude Code 2.1.287 或更新版本,且預設為開啟;這三個 mod 的完成版程式碼都在 anthropics/claude-code-playground。

    推薦理由:一篇實作導向的 Claude Code mods 逐步教學,用約 80 行打造出可運作的上下文視窗計量器,展示 hooks、狀態與自訂 UI 如何彼此搭配。

9月28日星期一
  1. Anthropic · Claude.dev72

    Anthropic 在 Claude Code 的 claude-api 技能中新增 build-eval 與 hillclimb 指令

    Anthropic 在 Claude Code 內的 claude-api 技能中新增了兩個指令:/claude-api build-eval 會在你的程式碼庫中建立評估集,而 /claude-api hillclimb 則會針對該評估反覆迭代應用程式,並以保留集來捕捉過擬合。

    推薦理由:Anthropic 在其 claude-api 技能中新增 build-eval 與 hillclimb 指令,展示 Claude Code 如何設計評估並針對評估反覆迭代,同時防範過擬合。

9月23日星期三
  1. Vapi Blog38

    Vapi 測試 Jev 作為語音 AI 的即時護欄

    Vapi 進行了早期實驗,使用 TypeSafe AI 早期存取的「System One」模型 Jev 作為護欄,在語音助理的回應被說出之前,評估該回應是否違反開發者定義的規則。在一項早期測試中,Jev 至少攔截了四分之三的違規回應,不過 Vapi 表示這並非 100% 的合規保證,只是在提示詞護欄之上額外增加的一道檢查。

  2. Modal Blog58

    Modal 如何為兆級參數編碼代理提供數兆個 token 的服務

    Modal 說明其如何為編碼代理最佳化 Kimi K2.6 推論,達到每個副本每位使用者 2.8 倍、跨使用者 5.6 倍的效能,並以每日數千億個 token 的規模運行服務。這項工作結合了在編碼軌跡上微調的客製化 DFlash 推測解碼、FP8 KV 快取與 NVFP4 共享專家量化、HiCache CPU 層級快取,以及感知 KV 快取的基於負載路由。Modal 已將其 SGLang 修補程式上游化,並釋出 Modal Auto Endpoints 背後的設定。

9月21日星期一
  1. LiveKit Blog38

    比較用於即時語音與視訊 AI 代理的開源框架:LiveKit Agents 與 Pipecat

    本指南比較 LiveKit Agents 與 Pipecat 這兩個它認為對打造生產級語音與視訊 AI 代理最重要的開源框架,涵蓋架構、採用情況、開發者體驗與生產就緒度。LiveKit Agents 運行於 LiveKit 的開源 WebRTC 與 SIP 基礎設施上,並為你串接好管線;Pipecat 則不預設傳輸方式,由開發者逐階段組裝管線。文中也說明 TEN Framework、Dograh、Vision Agents 與 Vocode 各自的位置。

9月9日星期三
  1. LiveKit Blog22

    LiveKit 語音代理中「推論比即時更慢」是什麼意思

    LiveKit 說明,其語音代理中的「推論比即時更慢」警告指的是本機 VAD 模型,而非透過 LiveKit Inference 使用的 STT、TTS 或 LLM 模型。每個 32ms 的音訊視窗必須在 32ms 內處理完畢,而回報的延遲顯示 VAD 落後即時音訊的程度。事件迴圈受阻與 CPU 飽和是主因,解決方法是排除同步程式碼,而非增加執行緒。

9月3日星期四
  1. Vapi Blog38

    AI語音代理如何分辨真人與語音信箱

    語音信箱偵測(也稱答錄機偵測)會在大約三到五秒內判斷外撥電話是接通到真人還是錄音,依據的是時間與行為訊號,而非語音音訊。一篇 2026 年的 arXiv 預印本發現,單靠時間特徵就能達到與嗶聲及關鍵字方法相當的效果,同時避免它們額外增加的延遲。Vapi 讓使用者選擇偵測供應商、調整時間參數,並在真人接聽時切換回對話。

9月2日星期三
8月24日星期一
  1. LiveKit Blog36

    在語音代理中偵錯簡短話語

    LiveKit 的部落格解析了語音代理為何在「yes」或「ok」這類簡短回覆後經常陷入沉默,並將原因追溯至輪次偵測失敗。最常見的原因是 STT 供應商漏掉簡短語音,從未發出 final_transcript,導致話語結束偵測完全無法運作。文章也涵蓋過於激進或過於寬鬆的端點偵測延遲,以及將簡短音訊當作噪音丟棄的錯誤噪音消除設定。

8月20日星期四
  1. Vapi Blog22

    最適合 CX 的 AI 語音代理:如何評估它們

    Vapi 發布了一套七項標準的評分準則,用於評估客戶體驗中的 AI 語音代理,涵蓋解決率、即時語音品質、採取行動、升級轉接、模型靈活性、生命週期信任與平台控制。該指南主張,以 containment 與 deflection 計算成功率會高估成效,因為被 containment 的來電者可能只是掛斷電話;並引用 ContactBabel 數據顯示,偏好以電話進行複雜互動的比例從 2018 年的 28% 上升至 2024 年的 47%。Vapi 將自身定位為模型無關的平台層,具備可配置的端點偵測、打斷處理與背景降噪。

8月18日星期二
  1. LiveKit Blog40

    LiveKit:超越 1:1 連線的多參與者機器人技術

    LiveKit 正將其 SFU 架構擴展到單一對等連線之外,讓機器人部署能執行多參與者工作階段,其中一個 Room 可讓每台攝影機、模型、操作員或服務各自作為獨立的參與者加入。LiveKit 描述了三種架構:人在迴路中的資料錄製,機器人、策略、操作員與錄製器同處一個工作階段;VLM 引導的技能編排,由視覺語言模型以約 1 Hz 選擇技能,而各別策略參與者以數十赫茲控制機器人;以及策略升級,由 30 Hz 或更高頻率的獎勵模型標記卡住或不安全的狀態,機器人則撤銷專家策略的權限。

8月14日星期五
  1. Vapi Blog22

    如何為企業開發選擇對話式 AI 平台

    一份廠商中立指南列出為企業語音代理選擇對話式 AI 平台的五項標準:開發者控制權、模型選擇與備援、測試與可觀測性、完整的代理生命週期,以及大規模合規性。指南引用 Zapier 對 542 位美國 C 級高階主管的調查,其中 81% 擔心依賴特定 AI 廠商,僅 6% 能在不造成中斷的情況下捨棄其主要廠商。指南主張延遲與編排比功能清單更重要,並指出 AssemblyAI 的發現:超過 500–700 毫秒的延遲會讓人覺得不自然。

8月4日星期二
  1. Vapi Blog22

    什麼造就出色的對話式 AI 體驗:Vapi 談語音設計

    Vapi 主張,語音代理的評判標準在於五個即時維度:延遲、輪流發言、打斷處理、韻律,以及具韌性的管線。它引用研究指出,人類的輪流發言間隔接近 200 毫秒,並指出超過約 500–700 毫秒的延遲會顯得不自然,而樸素的循序管線可能耗費約 1.9 秒,優化後的管線則為 600–900 毫秒。Vapi 將其不綁定特定模型的管線定位為可透過模擬通話調校與測試。

7月27日星期一
  1. Vapi Blog22

    Anthropic 與 Vapi 網路研討會問答:Claude Haiku 叫車語音代理是如何打造的

    Vapi 公布了其與 Anthropic 合辦的語音 AI 網路研討會問答,詳細介紹了在 Vapi 上以 Anthropic 的 Claude Haiku 和 Layla v2 語音打造的即時叫車示範代理。該代理使用了五個工具——預估、預訂、查詢狀態、取消和結束通話——再加上智慧端點偵測和保守的中斷閾值,以達到亞秒級輪次。在 Vapi 上執行 Claude 的代理在過去 30 天內處理了近 500 萬通電話,涵蓋 50 多種語言。

7月24日星期五
  1. Vapi Blog22

    如何用 AI 語音代理縮短客戶等待時間

    AI 語音代理以兩種方式縮短客戶等待時間:透過自助服務分流、智慧路由、座席輔助與需求預測,把工作從佇列中移除;以及即時應答、無需等候。SQM Group 發現客戶平均在 2 分 36 秒時掛斷電話,而 ContactBabel 指出 2024 年英國平均放棄率為 8.4%。Vapi 表示,第一個語音代理可在數分鐘內從其儀表板建立完成,之後再以 ASA、放棄率與首次通話解決率來衡量。

7月6日星期一
  1. Modal Blog38

    如何為無伺服器 GPU 定價:Modal 的互動式成本模型

    Modal 發布了一款互動式工具,用於估算無伺服器與預留 GPU 的成本,預設採用目前 B200 GPU 在 Modal 上以無伺服器方式運行,以及透過三年期超大規模雲端服務商預留的費率。該模型顯示,當應用程式的峰值與平均值比率超過預留折扣率時,無伺服器 GPU 的整體成本更低,而 Modal 引用觀察到的折扣為 2-5 倍,對應峰值與平均值比率為 5-10 倍。

6月24日星期三
  1. Vapi Blog15

    Vapi 回應其 SVG 潛在客戶資格審核網路研討會的熱門問題

    Vapi 公布了與 Spring Venture Group 合辦的網路研討會中,最常被問到的七個問題的解答。會中 Homer Kay 說明了 SVG 如何運用 Vapi 語音代理,在將來電者轉接給持照代理人之前,先對 Medicare 潛在客戶進行資格審核。這些解答涵蓋了外撥電話合規、API 優先的整合、獨立替換 STT、LLM 與 TTS 元件、轉接真人,以及符合 HIPAA 規範且採用零資料保留的設定。

6月17日星期三
  1. Vapi Blog30

    為耳朵而打造:為語音 AI 設計對話

    語音 AI 的成功始於使用場景的選擇:以連結、程式碼或數字結尾的任務適合用聊天,而緊急、難以打字或情緒負載重的問題則適合用語音。聊天腳本必須為耳朵改寫——將長段落拆成單一概念的輪次,把收集到的細節(如日期)大聲複述,並將口頭選項限制在兩到三個。一家人力資源公司透過在收集每個時段時即時確認,將下游安置錯誤減少了 30%;另一個團隊則將開放式問題轉為選擇題,使平均通話時長縮短了 40 秒。

  2. Vapi Blog40

    Vapi 如何用程式碼無痛啟動 15 個首頁語音代理

    Vapi 打造了首頁上的 15 個語音代理——涵蓋 5 種語言的 3 個使用案例——做法是從單一 ROUGH_DRAFT.md 檔案生成,而非在儀表板中逐一手動編輯。這套四階段框架(規劃、草擬、啟動、強化)會搭建一個 TypeScript 專案,使用 temperature 設為 0.5 的 OpenAI gpt-4.1、ElevenLabs 與 Deepgram/Soniox 語音堆疊,以及一個冪等的 upsert 迴圈,將 assistant ID 存入 .env.local。該儲存庫已公開:複製它、加入 VAPI_PRIVATE_KEY,然後執行 bun run bootstrap。

6月11日星期四
  1. Modal Blog34

    Modal 讓 FlashAttention-4 在 LLM 推論上更快

    Modal 為 FlashAttention-4 核心貢獻了多項最佳化,以加速以解碼為主的 LLM 推論工作負載,這類工作負載的瓶頸在於記憶體頻寬。這些變更包括將「split KV」平行化技術移植到 FA4,並以 cp.async 取代 TMA cp.async.bulk 載入,以處理不規則的記憶體存取。一個 FP8 輸入 PR(於 2026 年 4 月 17 日合併)相較於 bf16 基準可提供最高 1.16 倍的吞吐量,並可啟用更小的 KV 快取。

6月1日星期一
5月12日星期二
  1. Modal Blog58

    Modal 如何實現真正的無伺服器 GPU

    Modal 發表了一篇工程文章,說明他們如何將 AI 推論副本的啟動時間從約 2,000 秒縮短到約 50 秒,方法包含四個元件:閒置健康 GPU 的緩衝池、名為 ImageFS 的延遲內容定址檔案系統、透過 gVisor 的 runsc 進行主機端檢查點/還原,以及建構在 Nvidia 驅動程式支援上的 CUDA 檢查點/還原。在超過一萬次冷啟動中,對於 bf16 格式的約 1 GiB Qwen 3 0.6B 模型,vLLM 的平均啟動延遲從 95,679 毫秒降至 13,797 毫秒,SGLang 則從 83,713 毫秒降至 17,486 毫秒。文章也指出了一些限制,包括快照僅支援單一 GPU,以及主機環境的敏感性要求每次部署需準備多個快照。

5月5日星期二
  1. OpenAI Developers Blog50

    OpenAI 語音代理即時提示指南

    OpenAI 發布了一份語音代理的即時提示指南,涵蓋 Realtime 2 推理、前置語、工具與精確實體擷取。該指南說明如何建構提示,讓即時語音代理在處理推理與工具使用的同時,精確擷取實體。