跳至正文
11月5日星期四
  1. Mastra Blog38

    Mastra 推出 Custom Harness 計畫,配置嵌入式前線部署工程師

    Mastra 推出 Custom Harness 計畫,由前線部署工程師進駐客戶團隊,共同打造量身訂製的 agent harness。該計畫涵蓋可觀測性、evals、自訂 MCP、human-in-the-loop 工作流程、驗證與 RBAC,並可優先使用 Mastra Enterprise Platform。Mastra 以 Workday 為例,該公司在 31 天內從 Amazon Bedrock Agents 遷移,減少 3,000 行程式碼,並將向量儲存成本降低 98%。

11月4日星期三
  1. vLLM Blog73

    Buoyant 發布 Kinference,一個針對 vLLM 與 Kubernetes 的開源推論控制平面

    Buoyant 宣布推出 Kinference,這是一個 Apache v2 開源控制平面,可將相容於 OpenAI 與 Anthropic 的推論流量路由至 Kubernetes 上的 vLLM 工作節點,並加入權杖速率限制、各租戶用量與成本追蹤、KV 快取感知負載平衡,以及 YAML 推論策略。在該專案的公開基準測試中,Kinference 在單一工作負載上,相較於標準 Kubernetes 服務負載平衡,將中位數首字延遲降低了 95%,中位數端到端延遲降低了 45%;在容量測試中,於共享前綴情境下提供 7.4 倍的有效吞吐量,於多輪對話情境下約提供 3.5 倍。策略可將較簡單的提示路由至較便宜的模型、將突發溢流導向 Bedrock 與 Databricks 等供應商,或將標記為 PII 的請求保留在叢集內;各租戶指標涵蓋權杖速率、TTFT、ITL,以及快取與未快取的提示權杖。

    推薦理由:Buoyant 的 Kinference 在 vLLM 之上加入了 KV 快取感知負載平衡與 YAML 推論策略,基準測試聲稱相較於標準 Kubernetes 服務路由,在 TTFT 與有效吞吐量上有大幅提升。

  2. LiveKit Blog22

    Clerk AI 採用 LiveKit 大規模驅動企業語音代理

    Clerk AI 在 LiveKit 的開源框架與全球邊緣網路上運行企業語音與訊息代理,無需預先配置即可處理超過 1,000 個並發語音工作階段。代理回應時間低於 500 毫秒,原生支援 30 多種語言,ScreenSense 來電篩選準確率達 97%,TrueReach 語音信箱偵測準確率超過 98%。該平台對 STT、LLM 與 TTS 供應商保持完整控制權,並持有 SOC 2 Type II 認證,內建 TCPA 合規機制。

  3. Meta Engineering Blog34

    Meta F3 Lightning 將廣告 ML 特徵發布速度提升約 3.6 倍

    Meta 推出 F3 Lightning,這是在其 Facebook Feature Framework(F3)之上建構的基礎設施層,將特徵發布與共用執行解耦,使 20,000 多個廣告排序特徵中的每一個都能獨立編譯、驗證、部署和回滾。相較於先前的 F3,同類萃取特徵現在進入生產環境的速度約快 3.6 倍,且基礎設施運算成本並未增加。

  4. Preferred Networks News18

    Preferred Networks 將於 SC26 展出 MN-Core 系列

    Preferred Networks 將在 11 月 15 日至 20 日於芝加哥舉行的高效能運算國際會議 SC26 展出其 MN-Core 系列,並於 11 月 17 日至 19 日在攤位進行展示。該公司將在 4606 號攤位展示其開發中的 MN-Core L1000 推論 AI 晶片的結構模型與實體模型、MN-Core L 系列的未來規劃、MN-Core 2 Devkit 上的現場演示,以及超高效率 AI 運算基礎設施的研發成果。

  5. Figma Blog58

    Figma 以代理驅動的原型工作流程,向所有使用者開放程式碼層級功能,進入公開測試

    Figma 的程式碼層級功能現已進入公開測試,100% 的使用者皆可使用,讓團隊能直接在 Figma 畫布上建置並比較以程式碼為後盾的原型。操作示範中,一位設計師將 GitHub 儲存庫複製到程式碼層級,提示 Figma 代理並排生成三種收件地址變體,並在全螢幕程式碼編輯器中調整其中一個。擷取設計可將畫面或錄製的流程轉為可編輯的設計層級,並能透過「更新程式碼層級」送回原型,代理還能將兩位隊友的程式碼層級合併為單一整合體驗。

11月3日星期二
  1. OpenAI Alignment Blog60

    OpenAI 詳述用於安全與對齊的訓練激活分類器

    OpenAI 描述了訓練激活分類器(或稱探針)的方法,這些探針讀取模型內部的殘差流激活,以標記未對齊或違反政策的助手補全,並表示已從 GPT-5.6 開始在其最強能力模型的內部和外部流量上部署這些探針。這些探針採用 Attention probe 架構,結合 MLP 與 QV-attention 以及指數移動平均,使用最多 100 萬條由推理模型評審標註的訊息進行訓練,並在推理引擎上以串流方式運行,因此可以在回合中途封鎖補全。OpenAI 報告稱,探針在許多後訓練階段之間具有出色的遷移能力,但在預訓練檢查點之間的遷移較為有限,並表示在其紅隊測試中,探針整體上比基於內容的分類器對越獄更具穩健性。

    推薦理由:OpenAI 詳述了內部模型激活上的激活探針如何作為串流安全層,包括它們在跨檢查點遷移方面的限制以及重新訓練的需求。

  2. Sierra Blog42

    Sierra 圍繞 Ghostwriter 重新設計 Agent Studio

    Sierra 圍繞 Ghostwriter 重新設計了 Agent Studio,Ghostwriter 是其常駐的代理構建代理,因此調查問題、編輯旅程和測試修復現在都在一次對話中完成。Ghostwriter 會跟隨你跨越旅程、模擬和儀表板,每個工作階段都會將變更和測試結果保存在一起,直到隊友審查並合併它們。Agent Studio 還將相關代理分組到單一專案中,並新增逐行差異、Preview Chat、Simulations 以及帶有必需審批和受控推出的發布治理。

  3. Google Developers Blog58

    Google 以每項任務成本為基準,對便宜分類器進行基準測試,用以分流 Gemini 模型

    Google 執行了一項 50 題自動評分的編碼代理基準測試,檢驗輕量級分類器 TypeSafe 的 Jev 能否將每項任務分流到仍能正確作答的最便宜 Gemini 配置。一個凍結的正規表達式與提示長度啟發式方法在 16 道開發題上得分 93.8%,但在 34 道留出任務上掉了 23.2 個百分點至 70.6%,而 Jev 在完整測試集上達到 96.0%。最強的無路由器配置,即低思考模式的 Gemini 3.8 Flash,解出了全部 50 道任務;而一個先將任務送往 Flash-Lite、再將被標記的任務升級的 Jev 路由器也解出了全部 50 道,同時降低了成本與回應時間;將 maxOutputTokens 上限設為 300 在簡單任務上沒有節省任何成本,還弄壞了 25 道難題中的 7 道。

11月2日星期一
  1. Zyphra Research58

    Zyphra 推出 ZHA 分層注意力,一種具備次二次路由的稀疏方法

    Zyphra 推出了 Zyphra Hierarchical Attention(ZHA),這是一種稀疏注意力方法,它建立一棵由壓縮 KV-cache 摘要構成的樹,並讓查詢自上而下地穿過這棵樹進行路由,在合適的 top-p 閾值下可達到次二次複雜度。現有的預訓練模型可以透過一個短暫的 KL 蒸餾階段進行適配,僅需使用數十億個 token;在 Qwen3.6-35B-A3B 上,ZHA 增加了 81,920 個可訓練參數,約占基礎模型的 0.00024%。在 256K token 的 RULER-13 上,寬樹模型得分為 96.2%,而稠密注意力為 96.0%;深層六級樹在 LongBench v2 上得分為 63.4%,而稠密注意力為 58.0%,同時僅關注約 1.1% 的 KV cache;一個 GPU roofline 模型預測,在 10M token 時相比稠密注意力可實現 32-35 倍加速。

  2. Ai2 · Allen Institute for AI32

    Olmo 3 如何獲得 Nextcloud 最高倫理 AI 評級

    Ai2 的 Olmo 3 獲得 Nextcloud 最高倫理 AI 評級「綠色」,該評級要求開源訓練與推論軟體、可自行託管的已訓練模型,以及公開可用的訓練資料。Nextcloud 將 Olmo 3 與其 llm2 本地 LLM 後端綁定,並選擇 7B 版本,讓沒有 16 或 32 GB VRAM 的使用者仍能獲得良好的開箱即用本地體驗。

  3. Anthropic Research70

    Anthropic 發布 FlashProve,一套用於可驗證 LLM 推理的開源 zkSNARK 系統

    Anthropic 發布 FlashProve,這是一個開源原型,使用 zkSNARKs 來證明某個回應來自一個已承諾的模型,而不揭露其權重。在 Llama 4 Maverick(400B 參數 MoE,4 位元權重)上,單張 H100 以約 110 tokens/秒 的速度生成證明,每 1,024-token 請求的證明約 19 MB,約為 vLLM 完成相同工作所需 GPU 時間的 70-95 倍。此發布包含可執行的證明者與驗證者程式碼、一個 C++ 快速驗證器、一個 Lean 驗證器(具備機器檢查的完備性、可靠性和零知識陳述),以及一份技術報告,全部採用 Apache 2.0 授權。

    推薦理由:Anthropic 的 FlashProve 顯示,基於 zkSNARK 的推理證明對於一個 400B 參數的 MoE 模型正變得實用,並附有開放程式碼和經 Lean 檢查的安全性聲明。

10月30日星期五
  1. Google DeepMind58

    Google DeepMind 將 PlanAssist AI 規劃工具擴展至另外 12 個英格蘭地方議會

    Google DeepMind 正在將其基於 Gemini 構建的 AI 規劃工具 PlanAssist 擴展至英格蘭另外 12 個地方規劃機構,使總數達到 15 個。自六月以來,在 Barnet、Camden 和 Dorset 的試點中,該工具將官員處理住戶評估任務的平均時間縮短了多達 58%,其生成的報告中有超過 70% 未經編輯即獲批准。

  2. Waymo Blog58

    Toyota 與 Waymo 將於 2027 年在日本測試自動駕駛 bZ4X 車隊

    Toyota 與 Waymo 宣布自動駕駛合作的下一個階段,初步營運將於 2027 年在日本測試並驗證自動駕駛 Toyota bZ4X 車隊,隨後計劃部署至英國及其他 Waymo 提供服務的市場。Toyota 將在愛知縣豐田市的田原工廠(Takaoka plant)製造車輛,在同一屋簷下組裝基礎車輛並整合 Waymo 的自動駕駛硬體。兩家公司將此合作夥伴關係描述為日本首個使用大量國產車輛的全自動駕駛叫車服務的里程碑。

  3. Amazon Science38

    加速旅遊應用的 LLM:Medusa 結合知識蒸餾

    將知識蒸餾與 Medusa 框架結合,讓 1.1B 參數的 TinyLlama 學生模型達到其 70B 參數 Llama-3.1 教師模型的品質,同時執行速度快 10 到 20 倍,成本不到三分之一。與 Booking.com 合作應用於 AI Trip Planner、Smart Filters 和住宿描述生成,此流程彌合了超過 90% 的品質差距,並透過 Medusa heads 額外帶來 2 到 3.6 倍的加速。

  4. Meta Engineering Blog58

    Meta 詳細說明「Catching JiTTests」的生產部署,並採用人在迴路中審查

    Meta 已將 Catching JiTTests(其基於 LLM 的即時測試生成方法)從研究原型推進至生產基礎設施,並在 FSE 2026 論文《Just-in-Time Catching Test Generation at Meta》中發表了結果。該系統利用閒置算力在夜間運行,針對有風險的 diff,透過 dodgy-diff 與意圖感知工作流程生成測試,並在結果送達工程師之前,以 LLM-as-Judge 集成加上基於規則的 RubFake 評估器過濾誤報。截至撰寫本文時,已有 589 名工程師(佔觸達人數的 64%)參與了這些結果,結果顯示真陽性率為 60%;在 2026 年上半年,該系統在 diff 階段捕獲了 74 個嚴重的隱私缺陷,並將隱私 SEV 降低了 20%。

  5. Google Developers Blog12

    DevFest 2026 回歸:橫跨 115 個國家、超過 800 場社群活動

    DevFest 是 Google 社群主辦的開發者活動系列,由 Google Developer Groups 籌辦,將於 2026 年 10 月 1 日至 12 月 31 日回歸,預計在 115 個國家舉辦超過 800 場活動,吸引近 100 萬名參與者。議程與工作坊涵蓋 Google AI 技術,以及 Google Cloud、Android 與 Web 等主題軌,並圍繞在代理式時代中建構、確保安全與擴展規模。活動由基層組織者以當地語言主辦,講者包括 Google Developer Experts 與 Google 工程師。

10月29日星期四
  1. inclusionAI Models34

    inclusionAI 發布 Ling-3.0-flash-Sante-fp8,一款 FP8 量化的醫療保健模型

    inclusionAI 發布了 Ling-3.0-flash-Sante-fp8,這是其醫療保健專用模型 Ling-3.0-flash-Sante 的 FP8 量化版本,維持 124B 總參數與每 token 5.1B 活躍參數。它在醫療保健基準測試上達到與 BF16 檢查點相同的 73.9 平均分,同時為支援 FP8 的硬體降低了權重記憶體佔用。該研究用途模型支援 256K token 上下文,並預設為思考模式且支援工具呼叫。

  2. Meta Engineering Blog40

    Meta Andromeda:Meta 新一代廣告檢索引擎每秒處理 10 億則廣告

    Meta 詳細介紹了新一代 Andromeda——其個人化廣告檢索引擎,在生產環境中每秒可評分超過 10 億則廣告,相較 2024 年系統吞吐量提升 100 倍。新架構將受 LLM 啟發的混合專家模型引入檢索,以約少 300 倍的推論時 FLOPs 達到接近排序級別的模型效能,在單張 NVIDIA GH200 GPU 上每秒可處理超過 100 億則廣告。自 2025 年以來,Andromeda 已為 Facebook 帶來 2.4% 的轉換率提升。

  3. Replit Blog55

    Replit 詳述其 Agent Habitat 背後的資安架構,以支援代理程式工作

    Replit 公布了 Agent Habitat 背後的架構,這項產品讓代理程式能在公司可控的邊界內存取公司知識與系統。文章提出四項原則:代理程式的最小權限、故障的隔離控制、可問責的生產環境變更,以及可治理的委派工作。Replit 表示,其既有的 microVM 隔離機制防範了近期揭露的 Linux 核心漏洞遭利用,且連接器憑證不會留在代理程式的上下文中,而是由憑證代理在每次請求時先行授權,再從保管庫取出機密。

  4. Preferred Networks News40

    Zenrin Group 與 Preferred Networks 締結業務與資本聯盟,融合地理空間數據與 AI

    Zenrin、Zenrin DataCom 與 Preferred Networks 已簽署業務與資本聯盟協議,由 Zenrin 旗下公司認購 PFN 的第三方增資。合作夥伴將把持續更新的地理空間數據(包括歷史變更紀錄)與 PFN 的生成式 AI、實體 AI 及 3D 空間辨識技術相結合,打造能夠理解並預測現實世界變化的 AI 模型。初期重點領域包括公共部門、房地產、零售與流通,鎖定需求預測、門市選址與都市規劃、防災與物流模擬等應用。

10月28日星期三
  1. Meta Engineering Blog34

    Meta PrivacyLib:資料存取邊界上的隱私控制

    Meta 詳細介紹了 PrivacyLib,這是一個內嵌於其數百個資料與處理系統用戶端的通用程式庫,在資料存取點強制執行隱私要求,每秒執行數十億次檢查。系統只需整合一次,新的隱私功能便以外掛模組形式發布,取代了過去可能耗時數月的各系統獨立實作。一個 Agent Observability 模組透過將代理上下文傳遞給 PrivacyLib,來追蹤內部 AI 代理的資料存取。

10月27日星期二
  1. Replit Blog75

    Replit Cloud Agents 現在讓非工程人員也能參與公司程式碼庫

    Replit 為既有儲存庫推出 Cloud Agents,讓團隊中任何人都能用自然語言描述變更,並由代理在 GitHub 或 GitLab 開啟經過測試的提取請求,所有 Pro 與 Enterprise 客戶皆可使用。代理會在隔離的雲端沙箱中執行每項變更、點擊操作運行中的應用程式,並將截圖與影片附加到 PR,而共享環境則為每位貢獻者提供預先配置的設定,並從主分支更新。Replit 同時推出早期存取的自我改進工作區記憶,可將審查意見轉化為由工程師核准的團隊技能,以及一項 Slack 整合,讓使用者在討論串中提及 @Replit 即可發起變更。

    推薦理由:Replit 把 Cloud Agents 接入企業既有程式碼庫,讓非工程人員以帶測試影片的 PR 形式提交改動,展示了 AI 編碼工具向團隊協作流程延伸的一種路徑。

  2. Sakana AI Blog40

    Sakana AI 開放企業版 Sakana API 平台早期存取

    Sakana AI 已開放其 Sakana API 平台的早期存取計畫,讓企業客戶可透過 API 存取其大型語言模型,並能在組織與工作區層級管理成員及使用成本。此 API 與 OpenAI 相容,只需變更端點即可使用,首批提供 Sakana Fugu 與 Fugu Ultra,Sakana Namazu 與 Fugu Max 將隨後推出。功能包括角色型存取控制、CSV 稽核日誌、預算上限、發票付款、MSA 與 DPA,以及承諾不會以客戶輸入內容進行訓練。

  3. Google Developers Blog34

    在 GCP 上以多代理集群打造對話式商務:一個可運作的原型

    Google Cloud 開發者打造了 HappyDelivery,這是一個運用 LangGraph、Gemini、FastAPI 與 Google Cloud 的對話式商務可運作原型,延續了先前由 Ingress、Memory 與 Cognition 組成的三層藍圖。Ingress 層會驗證 WhatsApp、RCS、Apple Messages 與 SMS 等各平台專屬的 webhook 簽章,將承載資料正規化為共通結構,並卸載至 Pub/Sub,約在 300ms 內回傳 HTTP 200。文章逐步說明程式碼、狀態機、確定性財務工具,以及一套自動化驗證套件。

  4. Google Developers Blog58

    Google A2UI 新增可替換的推論格式,Express 最高可將延遲降低 3 倍

    Google 為 A2UI 發布了可替換的推論格式,A2UI 是其針對生成式 UI 最佳化的代理協定,讓代理生成一種中間格式,再由 SDK 編譯器轉換為經過驗證的 A2UI 訊息。新的預設格式 A2UI Express 在相同 UI 下使用的 token 比 Direct JSON 少最多 3 倍,並將延遲降低最多 3 倍,且已隨 Python(a2ui-agent-sdk 0.9.0)、TypeScript(@a2ui/agent)與 Dart SDK 一同發布。Google 也展示了決策模型,例如 TypeSafe 的 Jev 在預先定義的版面配置中進行選擇,其表示可將延遲降低最多 80 倍;在 Apparite 範例中,11 個提示的畫面均在 0.8 至 1.7 秒內完成。

  5. Preferred Networks News60

    PFN 推出具備網頁搜尋與 Deep Research 的 PLaMo 3.1 Prime

    Preferred Networks 於 2026 年 10 月 27 日開始提供 PLaMo 3.1 Prime,新增網頁搜尋與 Deep Research 功能,可在數分鐘至數十分鐘內自主規劃、蒐集、分析並撰寫附來源引用的報告。Deep Research 亦可於地端執行,並能連接內部文件搜尋系統;該公司表示,相較於 PLaMo 3.0 Prime,包含 AA Omniscience 在內的八項幻覺相關基準測試平均分數提升約 15%。PFN 亦指出,透過推測解碼使處理速度提升 1.7 倍,且在非推理模式下輸出 token 減少 90%,並推出免費的 PLaMo API 方案,以及 PLaMo Chat 活動,於 2026 年 11 月 30 日前每日提供兩次 Deep Research。

    推薦理由:PFN 的 PLaMo 3.1 Prime 新增可於地端執行的自主 Deep Research,為日本企業提供可本地部署、附來源引用的調查工作選項。

  6. Apple Newsroom58

    Apple Creator Studio 加入 AI 助理、MCP 支援,以及 Final Cut Pro 的 MotionVFX

    Apple 為 Apple Creator Studio 推出更新,將建構於 Apple 與第三方模型的智慧助理帶進 Keynote、Pages 和 Numbers,並支援 Model Context Protocol,讓外部 AI 代理能讀取這些 App 的內容並執行編輯。Mac 版 Final Cut Pro 現在內建 MotionVFX 與 Content Hub 庫存影片,Logic Pro 新增 Beta 版助理與可分離鼓聲的 Stem Splitter,Pixelmator Pro 則加入可用自然語言編輯影像的 Generate Fill。這些更新將於今年 11 月在 App Store 上線,現有訂閱者免費,新訂閱為每月 $12.99 或每年 $129。

10月26日星期一
  1. Replit Blog38

    Replit:2030年前,每家財富500強公司都將成為自駕式公司

    Replit預測,到2030年底,每家財富500強公司都將成為「自駕式公司」,由代理執行與協調工作,而人負責設定目標並承擔責任。Replit表示,其工程師在2026年上半年的程式碼產出幾乎增加兩倍,而審查時間、回退次數與產品事故則持平。Replit for Business正作為基礎打造,而在SMFL,一個過去需要六個人花六個月完成的開發流程,由一個人在一週內完成。

  2. Vapi Blog38

    Vapi 推出語音代理部署的流量拆分功能

    Vapi 已推出流量拆分功能,讓團隊可先將 0.1%、1% 或 5% 的來電與去電導向新的代理版本,再決定是否全面切換。過去發布新的助理版本時,100% 的流量會立即導向該版本。此功能包含「黏性」機制,讓重複來電者持續使用同一版本,Vapi 建議先從雙向拆分開始。

  3. Mastra Blog40

    Mastra 開放 Knowledge 給另外八家設計夥伴,這是一套為 AI 代理打造的自架式公司大腦

    Mastra 正開放其 Knowledge 服務給另外八家設計夥伴,採先到先得制;這是一套為 AI 代理提供的自架式全公司情境層。Knowledge 可連接 Slack 和 Monday 等系統、自行保持最新狀態,並支援各職能各自獨立的知識庫,權限細分到個人、團隊和組織層級。Mastra 表示,將全公司知識圖譜接入其編碼代理後,交付程式碼的品質有明顯提升。

10月24日星期六
  1. Google Research58

    Google Research 概述其結核病篩檢 AI 如何從基準測試走向獲認證的臨床部署

    Google Research 在 IDWeek 2026 上說明,其胸部 X 光結核病篩檢模型如何從 2019 年《Radiology》的基準測試,進展為一款通過 CE MDR Class IIb 認證的工具,並由合作夥伴 Nexus AI 在六個國家約 40 家醫療機構部署。超過 90 名臨床醫師已評估逾 25,000 張胸部 X 光片,將周轉時間從數週縮短至 45 秒以內,該工具也已在南非 Mponeng 金礦地下四公里處離線部署。Google 已透過 HAI-DEF 開源胸部 X 光嵌入與 MedSigLIP,並發布 MedGemma,稱其下載量已突破 1,000 萬次;同時印尼衛生部正以國內 X 光片微調這兩款模型,用於全國篩檢計畫。

10月23日星期五
  1. Amazon Science38

    TorchNeuron 背後的科學:Amazon 為 AWS Trainium 晶片打造的全新 PyTorch 後端

    Amazon 發布了 TorchNeuron,這是一個開源的 PyTorch 後端,能將 PyTorch 程式碼轉換為可在 AWS Trainium 系統上執行的操作,且幾乎或完全無需修改程式碼。它新增了一個可選用的自適應 eager 模式,會將操作分組並編譯,以達到接近編譯後的效能,另外還有多層 NEFF 快取;在一項 64 程序的 LLM 測試中,共享編譯服務將首次訓練步驟的時間縮短了約三分之一。Annapurna 團隊使用從數十萬個開源模型中精選出的 841 個代表性模型,對其進行了調校與基準測試。

  2. Modal Blog58

    Modal 與 Sakana AI 如何為 Sakana Namazu API 部署約 1T 參數的 MoE 模型

    Modal 的前置部署工程團隊與 Sakana AI 合作,在 Modal 上運行 Sakana Namazu——一個針對日本商業情境調校、約 1T 參數的 MoE 模型,以支援其公開 API 上線。團隊僅對路由專家套用選擇性 NVFP4 量化,注意力層、路由器與共享專家則維持 BF16,並以日語為主的對話進行校準,確保全部 23,040 個專家都接收到具代表性的流量。一個以超過 300 億個原始 token ID 訓練的自訂 DFlash 草稿模型,將推測性 token 接受率提升 25%,並使每 token 解碼延遲降低約 35%;另一個以約 100 萬筆真實請求訓練的草稿模型,則將平均接受長度從 3.51 提升至 5.01,並將 p99 延遲從 68 秒降至 52 秒。

10月22日星期四
  1. Sakana AI Blog58

    Sakana AI 推出 Sakana Aquarium,一個以本體論為基礎、供企業決策使用的 AI 代理平台

    Sakana AI 宣布推出 Sakana Aquarium,這是一個用於建置、執行與營運 AI 代理的平台,這些代理以本體論為基礎,支援組織的決策與執行。該平台結合三個部分:本體論(Ontology),用以組織知識、規則與資料及其含義和關聯,並在無需遷移的情況下連接既有來源;治理(Governance),用於設定存取權限與執行前核准,並記錄從決策理由到執行結果的一切;以及託管代理(Managed Agents),用於部署涵蓋資訊查詢、AI 判斷、功能執行與人工核准的工作流程。Sakana AI 表示,資料連接與本體論可在不同代理之間重複使用,且該平台源自其由 FDE 主導、與 MUFG、SMBC Group 及 Daiwa Securities Group 等金融機構合作的工作。

  2. Modal Blog71

    Modal 發布 Spindle,一個開源、相容於 Tinker 的訓練伺服器

    Modal 發布了 Spindle,這是一個開源、相容於 Tinker 的訓練伺服器,可在客戶的 Modal 工作區中運行,讓團隊能自訂技術堆疊,並按 GPU 時間而非 token 計費。Spindle 支援對開源模型進行全參數訓練與多 LoRA,Modal 表示,在一個 DAPO-math GRPO 任務上,讓 8 個客戶端共用一個訓練器,相較於 Tinker,每 100 萬輸出 token 的成本最多可降低 80%。Modal 表示 Spindle 仍處於 beta 階段,並將其定位於自家的 Dojo 訓練函式庫與原始叢集基礎元件之間。

    推薦理由:Modal 的開源 Spindle 伺服器為團隊提供了一個相容於 Tinker 的替代方案,以 GPU 時間取代按 token 計費,據稱多 LoRA 共用可將成本最多降低 80%。

  3. Google Developers Blog38

    Google Cloud 的 Project Chrysalis:建構於 Gemini 與 ADK 之上、受治理且可自我演進的 AI 代理架構

    Google Cloud 研究人員發表 Project Chrysalis,這是一套建構於 Gemini 平台與 Agent Development Kit(ADK)之上、受治理且可自我演進的 AI 代理參考架構。在模擬的黑色星期五快取踩踏(cache-stampede)故障情境中,它將首次緩解時間從 15–45 分鐘縮短至 1.8 秒,把 HTTP 5xx 錯誤從 72.7%–80.0% 降至 0.0%,並將 P99 延遲從 519.8 ms 降至 18.2 ms。每一個自主動作都受到 Model Armor、Cloud KMS、Binary Authorization、OPA Policy Controller 以及雙人保管的人員介入簽核機制所約束。