跳至正文
11月12日星期四
  1. OpenRouter Announcements58

    OpenRouter 說明其 7 種新語言背後的自動糾錯本地化流程

    OpenRouter 推出簡體中文、西班牙文、巴西葡萄牙文、德文、法文、日文與韓文的 Beta 版本地化,並詳細說明讓 16,918 條英文字串維持翻譯的自動糾錯流程。這個每日循環會將有變動的字串以每批最多 40 條送往 GPT-6.1 Sol,由程式碼攔截損壞的佔位符與違反詞彙表的情況,再以第二次呼叫同一模型作為驗證器,依嚴重程度回傳錯誤以便重試。OpenRouter 表示,將整個目錄完整重新翻譯成 7 種語言約需 460 美元,相較於 Smartling 公布的機器翻譯費率約需 7,200 美元。

  2. OpenRouter Announcements58

    OpenRouter 發布教學:如何阻止 AI Agent 陷入無限迴圈

    OpenRouter 發布指南,說明如何阻止卡在重複重試失敗工具的 AI agent,採用四項防護機制,並在六個現行模型上測試。啟用 doomLoop 偵測後,六個模型都在第三次相同的工具呼叫時被攔下;在 18 次執行中,工具呼叫次數從 314 降到 64,花費則從 $0.29 降至 $0.05。該指南新增 loopKey 來正規化參數、以 stopWhen 設定步數與成本上限,並在 API 金鑰上設定額度上限,超額時會回傳 402,limit_source 為 openrouter_key_limit。

  3. vLLM Blog64

    vLLM-Omni 在 Vera Rubin 上對 MiniMax H3-Image 進行基準測試:0.87 秒生成 4K 影像,每小時 6,115 張影像

    vLLM-Omni 將 MiniMax H3-Image 帶到 NVIDIA Vera Rubin,並測得在四張 GPU 上進行原生 4096×4096 文字轉圖像的中位延遲為 0.87 秒,另在獨立吞吐配置下達到每小時 6,115 張影像。H3-Image 是一個開放權重的文字轉圖像與編輯模型,結合 Qwen3-VL 編碼器、33.1B 稠密 DiT 與影像 VAE,以六個取樣步驟處理這兩項任務,並支援最多 16 張參考影像。團隊報告了 MXFP8 DiT GEMM、Ulysses SP4、AdaLN 快取,以及一項將解碼時間從 2.635 秒縮短至 0.213 秒的 VAE 解碼變更,並列出 AMD、Intel、華為昇騰與摩爾線程硬體的配置方案。

    推薦理由:vLLM-Omni 的基準測試顯示 MiniMax H3-Image 在 Vera Rubin 上以不到一秒的 4K 延遲運行,並附有各硬體配置與服務經濟性的成本模型。

  4. vLLM Blog72

    vLLM 在 Vera Rubin NVL72 上服務 DeepSeek-V4.1-Flash,吞吐量達 GB300 NVL72 的 58 倍

    vLLM 報告指出,在單一 NVIDIA Vera Rubin NVL72 機架上服務 DeepSeek-V4.1-Flash,每 GPU 達 1.7M tokens/s、每位使用者 387 tokens/s,為 GB300 NVL72 的 58 倍,峰值達 2.52M tokens/s,單一使用者可達 1,810 tokens/s。這些增益來自為 Rubin 分割記憶體域與 FP4 張量核心重建的 kernel、專用的 TP8 解碼路徑,以及透過 NVLink 共享的整機架 KV 與 Engram 池。透過整機架的前綴池化與 Dynamo 的工作負載感知路由,即使在高併發下前綴命中率仍維持在 96.5-97%。

    推薦理由:vLLM 第三篇 DeepSeek-V4.1-Flash 文章詳述 Rubin 專用 kernel 與整機架記憶體池化如何將吞吐量提升至 GB300 NVL72 的 58 倍,為大規模服務優化提供了具體參考。

  5. Hugging Face Blog36

    Hugging Face 發布 TRELLIS.2 3D 生成微調指南與腳本

    Hugging Face 發布了 3D 生成模型 TRELLIS.2 的微調腳本與容器,可在本機或 Hugging Face Jobs 上執行。該指南透過 PEFT 函式庫使用 LoRA 適配器,僅套用於稀疏結構流 DiT 與形狀流 DiT,材質階段則保持凍結。在 GSO 資料集的 188 個物件鞋類子集上,預訓練模型經常渲染出錯誤的鞋底,而 LoRA 微調正是針對此問題。

  6. AWS Machine Learning Blog36

    在 Amazon Bedrock 上執行 OpenAI Codex:存取路徑與部署指南

    本文說明如何將 OpenAI Codex 模型請求路由至 Amazon Bedrock,同時沿用既有的 AWS 身分、IAM、區域與可觀測性實務做法。文中建議先以 Native AWS Access 進行小規模的最小權限試點,並以 AgentCore Gateway 或 LLM Gateway 作為替代方案,接著逐步說明 IAM Identity Center 登入,以及使用 GPT-5.6 Sol 直接檢查 Bedrock Runtime 的流程。

  7. AWS Machine Learning Blog46

    在 Amazon SageMaker HyperPod 上偵測並復原無聲資料損毀

    在 Amazon SageMaker HyperPod 上執行的 PyTorch DDP 訓練迴圈新增了三項檢查來捕捉無聲資料損毀:非有限梯度檢查、環狀重播稽核(比對各節點的損失位元與梯度指紋),以及最佳化器步驟後的權重指紋比對。在 4 台 ml.p5.48xlarge 執行個體(32 張 NVIDIA H100 GPU)上以軟體注入故障測試,這些檢查能指出可疑的 rank、將其對應到節點,並讓 HyperPod 更換該節點並從檢查點繼續執行。

  8. AWS Machine Learning Blog41

    Amazon Bedrock AgentCore Web Search API 發布

    Amazon Bedrock AgentCore 現在提供獨立的 Web Search API,讓開發人員可直接從 AWS SDK 或 AWS CLI 以單一請求呼叫 InvokeWebSearch,無需建立任何資源。它會從 Amazon 營運的網路索引傳回排序後的結果,每筆結果包含文字摘錄,並在可用時附上標題、URL 與發布時間,且支援網域與日期篩選。請求以 SigV4 與 IAM 簽署,使用與 AgentCore Gateway 路由相同的權限。

  9. AWS Machine Learning Blog36

    2026 年 10 月 AWS 為 AI 開發者帶來哪些更新:Claude Haiku 5.5、GPT-6.1 Terra、AgentCore CLI 1.0

    AWS 的 2026 年 10 月彙整新增了 Claude Haiku 5.5,Anthropic 表示其在多數任務上的成本比 Claude Haiku 4.5 低約 75%;此外,Amazon Bedrock 上線 OpenAI GPT-6.1 Terra,輸入 token 最高可達 100 萬,價格至少比 GPT-6.1 Sol 與 GPT-5.6 Terra 低 50%。AgentCore CLI 達到 1.0 版,AgentCore Gateway 則新增模型容錯回退,並將 Step Functions 工作流程作為代理工具。

  10. AWS Machine Learning Blog12

    AWS re:Invent 2026 AI/ML 軌道:與會者指南

    AWS 將於 11 月 30 日至 12 月 4 日舉行年度 re:Invent 大會,AI/ML 軌道在超過 2,000 場總學習議程中提供逾 140 場獨特議程。該指南將議程對應至 AWS AI 堆疊,涵蓋 AI 晶片(AWS Trainium 與 NVIDIA GPU)、Amazon Bedrock 與 SageMaker AI 上的模型與推論,以及使用 Amazon Bedrock AgentCore 的代理程式開發。議程從新手內容編排至技術深入探討,且許多可隨選觀看。

  11. AWS Machine Learning Blog28

    以推送式架構自動化 AWS Agent Registry 更新

    AWS 概述了一套事件驅動的管線,可在無需手動更新的情況下,讓 MCP 伺服器的 AWS Agent Registry 記錄保持最新。AWS CloudTrail 擷取 UpdateAgentRuntime API 呼叫,Amazon EventBridge 將其路由至跨帳戶,而 Lambda 函式則透過 AgentCore Identity OAuth 權杖查詢 MCP 伺服器的工具,接著比對差異並更新相符的登錄記錄。此範例僅更新現有記錄,並同時支援單一帳戶與多帳戶設定。

  12. Google Research58

    Google Research 利用穿戴式裝置建立 CKM 風險概況與個人化指導

    Google Research 提出一套研究性框架,可將消費級穿戴式裝置資料轉化為可據以指導的健康年齡,並模擬個人化的 12 週「假設情境」健康軌跡。SensorWM 世界模型以約 10 萬名使用者、共 228 萬人週的去識別化 Fitbit 資料進行預訓練,能在不同的步數、睡眠與有氧作息下預測 20 項生理指標。在一項盲測研究中,生活型態教練在 71.4% 的評估中選擇以反事實為依據的計畫為整體最佳,醫師則評定 99.2% 的計畫落在安全運動強度範圍內;作者指出這些模型屬於研究原型,並非臨床診斷工具。

  13. Google Blog · AI78

    Google 推出 Gemini Decisions API 與 Gemini Decision 1 模型,用於快速封閉集決策

    Google 推出 Gemini Decisions API,由全新的 Gemini Decision 1 模型(gemini-decision-1)驅動,並可透過 Google AI Studio 中的 Gemini API 使用。單次多模態輸入最高可達 256K token,能在一次前向傳遞中對最多 1,000 道是非題、選擇題與評分規準評分題進行檢查,回傳機率與信心分數,端到端延遲為 150-250 毫秒,每 1M 輸入 token 收費 $0.10,且不收取輸出 token 費用。Google 表示,該模型在其基準測試套件中領先,校準誤差最低,且搭配 Interactions API 時比 Gemini 3.5 Flash-Lite 便宜近 5 倍;內部用途包括 Gemini Notebook 中的模型路由、Stitch 中的線框圖生成,以及 Search 中針對 MCP 工具的對抗性內容檢查。

    推薦理由:Google 的新端點能在一次傳遞中以 150-250 毫秒對最多 1,000 道多模態是非題、選擇題與評分規準題進行評分,為代理路由與政策檢查提供了比生成式呼叫更便宜的替代方案。

  14. Amazon Science36

    用數學驗證網路配置:AWS Tiros 的分段檢查

    AWS 正使用其自動推理工具 Tiros,對所有已建模路徑進行靜態驗證網路分段,而非依賴基於封包的取樣。Tiros 將 Cloud WAN 配置中的路由表、連接附件與政策文件轉換為邏輯命題,然後檢查政策宣告為禁止通行的分段之間不存在任何路徑,分析頻率最高可達每小時一次。

  15. Meta Engineering Blog40

    Meta 智慧投遞:為廣告排序分配運算資源的機器學習系統

    Meta 詳細介紹了「智慧投遞」(Intelligent Delivery),這是一套由機器學習驅動的系統,會在其廣告投放堆疊中分配運算資源,以達到整體系統的最佳化,並在 2017 年至 2026 年上半年期間,於模型與系統進展的基礎上額外貢獻約 10% 的排序效能提升。其資源核心模型(Resource Core Model)使用 60 億稀疏參數與 2,000 萬稠密參數來預測每個請求的邊際效用,Meta 表示,在離線基準測試中,該系統將高影響力廣告請求的識別能力提升了約 20%。該系統也依賴多層次分配機制與日益具備代理能力的 AI,以隨著模型與硬體變化進行調適。

  16. Mastra Blog40

    Mastra Agents 私有模型閘道,支援自架模型

    Mastra 新增私有模型閘道,讓 agent 能將請求路由到自架的開放權重模型,並以 private/ollama/gpt-oss:20b 這類前綴來引用。自架可讓敏感資料留在網路內部,並以基礎設施成本取代按 token 計費的成本;設定 AUTO_BLOCK_EXTERNAL_PROVIDERS=true 可在 Studio 中隱藏外部供應商。此功能需要 @mastra/core@1.82.0 或更新版本。

  17. Claude Blog40

    Anthropic 的 Claude Tag 新創指南:熱門 Slack 頻道與使用案例

    Anthropic 發布了一份給新創公司的 Claude Tag(測試版)指南,內容基於與八家高成長公司的對談,了解他們最先在哪些環節部署這款以 Slack 為基礎的代理。指南涵蓋五種常見配置——待命分流、討論串轉 PR、公司大腦、自助式資料,以及報告——外加一份入門檢查清單。文中引用的成果包括:在 Slack 提及後 21 分鐘就開啟了一個 PR,以及 NavigateAI 從 Slack 討論串合併了 134 個 pull request。

  18. Claude Blog56

    Anthropic 開放自架 Claude Managed Agents 私人測試版

    Anthropic 以私人測試版形式發布自架 Claude Managed Agents,讓開發者能在自己的雲端或地端環境中執行完整的代理服務,包括 harness、沙箱、憑證與工作階段歷史。模型請求可直接送往 Anthropic、Amazon Bedrock、Google 的 Agent Platform 或 Microsoft Foundry,或透過客戶自己的閘道,而工作階段歷史則留在客戶的資料庫中。該公司表示,此設計讓代理迴圈與 vault 機密留在沙箱之外,支援允許主機的允許清單,並透過 OpenTelemetry 匯出每個工作階段的完整記錄。

  19. Figma Blog42

    3D 變換與 Figma 代理如何讓一支發布影片活起來

    Figma 已推出 3D 變換功能的公開測試版,讓設計師能在空間中傾斜、旋轉和排列文字、圖像、向量與畫框,並可對父畫框套用透視效果,以形成共享的空間構圖。這些非破壞性效果保持可編輯,能與著色器結合、用 Figma Motion 製作動畫,或透過 Figma 代理來探索。Figma 的 Brand Studio 使用了這些工具(包括一個由代理建構的生成式外掛)來製作該功能的發布影片。

  20. Claude Blog31

    J.Crew 推出 Style Advisor AI 造型師,以 Claude Code 打造

    J.Crew 推出 Style Advisor,這是一款在 JCrew.com 上的 AI 造型師,推薦完整穿搭而非單一商品,目前已在美國提供女裝與男裝造型服務。J.Crew 團隊以 Claude Code 打造此工具,並使用多個 Claude 模型:Claude Fable 5.1 負責規劃造型師的推理邏輯,Claude Opus 5.5 用於原型開發,Claude Sonnet 5.5 在每次對話中擔任造型師,Claude Haiku 5.5 則處理快速任務。每一項推薦皆取自 J.Crew 自家造型師為型錄拍攝所打造的造型。

11月11日星期三
  1. ElevenLabs Blog25

    ElevenLabs 推出合作夥伴計畫,加速企業 AI 代理採用

    ElevenLabs 推出合作夥伴計畫,提供強化的商業激勵、全新認證、聯合上市機會與專屬技術支援。該計畫涵蓋 44 個國家超過 550 家活躍合作夥伴,合作夥伴生態系今年已創造 3.15 億美元的潛在商機,以及超過 5,200 萬美元來自合作夥伴採購與影響的營收。ElevenLabs 的目標是讓合作夥伴每創造 1 美元營收,就能獲得 3 美元的服務營收,並由前線部署工程師與全新的認證合作夥伴名錄提供支援。

  2. ElevenLabs Blog58

    ElevenLabs 紐約高峰會:Interaction Engine、ElevenAgents Memory 與 Routines、ElevenAI 應用程式、合作夥伴計畫與市集

    ElevenLabs 在其紐約高峰會上發表了新模型、代理及部署選項,用於其 AI 互動層,包括負責管理輪流發言並將對話各部分路由至較便宜或前沿 LLM 的 Interaction Engine。ElevenAgents 新增 Memory,可為回訪客戶建立結構化紀錄,以及 Routines,這是用於通話前、中、後多步驟工作的自動化層。ElevenLabs 也預覽了 ElevenAI 職場應用程式,今日開放免費早期存取,推出合作夥伴計畫,目前已有 44 個國家超過 550 家合作夥伴,並與 McKinsey 結盟,同時推出 ElevenLabs 市集;NVIDIA 的 Nemotron 3.5 Super VL 現已在 ElevenAgents 中提供,並新增 15 MW 的 Vera Rubin 運算容量。

  3. ElevenLabs Blog40

    ElevenLabs 推出企業級 AI 應用程式市集

    ElevenLabs 推出 ElevenLabs Marketplace,這是一個精選的產業專屬 AI 與語音應用程式集合,由技術合作夥伴基於其模型打造,首波合作夥伴包括 Salesforce、IBM、NiCE、Twilio 和 Zendesk。企業可以探索金融服務、保險、醫療保健、電信、零售及政府等領域的解決方案,並直接與其背後的合作夥伴聯繫。從明年開始,符合條件的合作夥伴解決方案將可透過現有的 ElevenLabs 承諾購買。

  4. Modal Blog58

    Modal 加入 gVisor 維護者行列,Google 將該專案捐贈給 CNCF

    Modal 是加入 gVisor 維護者行列的三家公司之一,另外兩家是 Ant Group 和 Tines;與此同時,Google 將該專案及其商標捐贈給 CNCF,並採用維護者主導的治理模式。Modal 表示,該公司每天啟動多達 4,000 萬個 gVisor 容器,並自 2023 年起持續向上游貢獻,包括 nvproxy GPU 支援、名為 rdmaproxy 的 RDMA 裝置代理,以及 tmpfs 和記憶體配置器最佳化。該公司表示,目前正為 gVisor 開發多 GPU 記憶體快照與 GPUDirect Storage 支援。

  5. ElevenLabs Blog58

    ElevenLabs 與 NVIDIA 擴大合作,將語音代理帶入企業與政府

    ElevenLabs 與 NVIDIA 擴大了在模型、基礎設施與主權部署方面的合作,將 NVIDIA Nemotron 3.5 Super VL 引入 ElevenAgents 平台。ElevenLabs 計劃在現有 Blackwell Ultra 系統的基礎上新增 15MW 的 NVIDIA Vera Rubin 容量,並利用 NVIDIA Confidential Computing 在本地為波蘭 Centralna e-Rejestracja 預約系統提供語音代理支援。根據 ElevenLabs 的說法,在 ElevenAgents 客戶支援基準測試中,Nemotron 3.5 Super VL 達到了領先的端到端任務完成準確率,成本比其他領先的開源模型低 70%。

  6. ElevenLabs Blog22

    企業客戶如何將 ElevenLabs AI 投入實際運作

    ElevenLabs 表示,企業客戶目前貢獻其營收超過 55%,其技術已進入十大科技公司中五家、十大保險公司中五家,以及十大電信公司中四家的日常營運。在紐約峰會上,Ramp、Customers Bank、Banco Inter、Clover Health 與 FOX Sports 等客戶描述了如何運用 ElevenAgents 與 ElevenCreative 於客服代理、新人上手、多語言服務,以及在 FOX Sports App 中打造評論員 Colin Cowherd 的 AI 分身。

  7. Vapi Blog58

    Vapi 推出 Agent Loop 早期存取,這是一款可自我改進的語音代理框架

    Vapi 推出 Agent Loop 早期存取,預計明年初正式推出,這是一款可自我改進的框架,能從單純的提示詞建構語音代理,依據業務目標為每通電話評分,針對未達標之處草擬修正方案,在模擬環境中測試,並先推送給一小部分即時流量,之後再全面推出。此循環運行於 Vapi 的基礎元件上,包括現已可在儀表板使用的 Simulations 與 Traffic Splitting,以及即將推出的 Goals、Call Health 和 Experiments。每個 Agent Loop 代理都是真正的 Vapi 助理,因此工程師仍保有完整的儀表板和 API 存取權限,且任何變更在推出前都須經人工核准。

  8. vLLM Blog58

    vLLM 為多模態服務新增編碼器解耦,支援 EPD

    vLLM 擴展了用於多模態服務的編碼器/預填充/解碼(EPD)解耦,新增僅中繼資料請求、專用編碼器執行路徑、透過 NIXL 與 Mooncake 進行遠端嵌入傳輸、跨編碼器輸出重用,以及透過 vLLM Router、SMG 和 llm-d 進行編排。包括 MiMo 和 XPU 支援在內的核心能力隨 vLLM v0.32.0 發布,而針對 DeepSeek V4.1 Flash 的僅中繼資料支援則透過 #62802 在 main 上提供。在 GB200 上進行的 DeepSeek V4.1 Flash 測試中,EPD 在並行度 64–128 時,每 GPU 吞吐量比八 GPU PD 基線高 6.6–9.5%,P90 TTFT 低 44–47%,但在並行度 16 時每 GPU 吞吐量較低。

  9. OpenRouter Announcements65

    OpenRouter 在同一項 GitHub 任務上測量 MCP、CLI 與技能的上下文成本

    OpenRouter 在 Claude Sonnet 5.5、GPT-6 Luna 與 Gemini 3.8 Flash 上,以 GitHub MCP 伺服器、gh CLI 與 gh 技能測量同一項 GitHub 任務。在 Sonnet 5.5 上,三者皆正確作答,但 CLI 用了 1,421 個輸入 token,技能用了 3,315 個,而 MCP 伺服器用了 59,417 個,其 46 個預設工具單是定義就讓每次請求增加 19,436 個 token。將伺服器範圍縮減至兩個工具後,該任務降至 23,228 個 token;將結果上限設為 4,000 字元後,降至 5,357 個;Tool Search 將 46 個工具的前期成本降至 600 個 token 以下,不過它在 Sonnet 5.5 上將整項任務的成本減半,在 Claude Haiku 5.5 上卻提高了成本。

    推薦理由:OpenRouter 的實測比較顯示,MCP 伺服器、CLI 與技能在同一項 GitHub 任務上各自消耗多少上下文,以及精簡工具結果或延後載入定義會在何處改變帳單。

  10. OpenRouter Announcements58

    OpenRouter 指南:修復 OpenAI 與 Claude 429 速率限制錯誤

    OpenRouter 發布了一份指南,說明如何處理來自 OpenAI、Anthropic 及其自家 API 的 429 Too Many Requests 錯誤,並在一批 60 個提示上測試了三種修復方式。OpenAI Python SDK 的預設重試在 12 秒內讓 60 個請求中有 23 個失敗,而等待 Retry-After 或 X-RateLimit-Reset 的重試方式則在 Python 中於 89 至 92 秒內完成全部 60 個請求,在 TypeScript 中則為 106 至 218 秒。模型備援機制在 13 秒內以 $0.000066 完成全部 60 個請求,而在開啟供應商容錯移轉的情況下,全部 150 個指定供應商的請求都成功,若關閉備援則最多有 32 個失敗。

  11. OpenRouter Announcements60

    OpenRouter 測試 fp8 與 fp4 量化對 LLM 品質與價格的影響

    OpenRouter 於 2026 年 10 月 20 日對 Qwen3.8 27B 的六個端點執行了 280 項精確答案任務,未偵測到 fp16、fp8 與 fp4 之間有準確率差異,六個端點的得分皆介於 98.3% 至 99.2% 之間。在 1,455 個端點中,59.5% 完全未回報精度,而 fp8 是最常見的標示格式,佔 23.6%。對多數模型而言,較低精度較便宜,但並非全部皆然;供應商選擇對價格的影響大於精度,同精度端點中最貴者為最便宜者的中位數 1.72 倍。

    推薦理由:OpenRouter 對同一模型的 fp8、fp4 與 fp16 端點進行了 240 項精確答案任務的測量,未發現可偵測的準確率差距,而價格差異與供應商的關聯大於與精度的關聯。

  12. LangChain Blog58

    LangChain 說明 AI 代理上下文工程的檢索技術

    LangChain 發布了一篇部落格文章,說明檢索設計如何形塑 AI 代理的上下文工程,並以建構於其 Deep Agents 框架上的競爭分析代理為例。文章涵蓋三種失敗模式:搜尋效率低落、一次載入過多上下文,以及結果不相關或過時,並為每種模式搭配相應技術,例如 glob 與 grep 檔案系統工具、以 read_file 偏移量分頁讀取大型檔案、將過大的工具結果卸載至檔案,以及在「檢索、卸載、委派」模式下將讀取工作委派給子代理。文章也警告,檢索到的文字是資料而非指令,可能帶有提示注入,因此輸出應對照引用的來源進行檢查。

  13. LangChain Blog60

    LangChain 說明 Deep Agents 如何在不把所有內容都留在上下文視窗的情況下管理上下文

    LangChain 詳細說明其開源 Deep Agents 框架如何運用中介層來對抗長時間代理執行中的上下文腐化。工具結果超過約 20,000 個 token、使用者訊息超過 50,000 個 token 時,會被卸載到檔案中,只顯示預覽;而當用量達到上下文視窗的 85% 時,摘要功能會壓縮較舊的訊息。技能、子代理和一個 markdown 長期記憶檔案讓主代理的視窗保持精簡,並讓記憶能跨模型和供應商延續。

    推薦理由:LangChain 說明其開源 Deep Agents 框架如何運用中介層來卸載、摘要和隔離上下文,為長時間任務中的代理提供可重複使用的模式。

  14. Meta Engineering Blog58

    Meta 詳解 Your Algorithm 如何將自然語言偏好轉化為 Facebook Feed 與 Reels 推薦

    Meta 發布了一篇工程概述,介紹 Your algorithm——一套 AI 工具,讓 Facebook 使用者以自然語言表達他們希望在 Feed 和 Reels 中看到的內容,並提供一個可編輯的單一頁面,列出「感興趣」與「不感興趣」的主題。每次變更都會由一個較小的 LLM 驗證,並以嵌入向量與搜尋關鍵字豐富化,再儲存到 Feed 與 Reels 都會讀取的共享儲存區;同時,一個微調過的 LLM 重排序器會移除與新增「不感興趣」主題相符的內容。Meta 表示,補充的尾部載入與客戶端快取失效機制可讓變更更快生效,而另一個獨立的 LLM 評審會在發布前對 Lately Summary 等輸出進行評分。

  15. Meta Engineering Blog58

    Meta 解釋 TLX:為生產環境 ML 打造、硬體原生的 GPU 編譯器擴充,延伸 Triton

    Meta 詳細說明 TLX(Triton Low-Level Extensions),這是 Triton 的擴充,加入明確的 warp-group 與 cluster 層級編排,同時保留 Triton 的張量程式設計模型。TLX 已在 Meta 全面投入生產環境運行,在數千顆 NVIDIA Blackwell GPU 上為 GEM 訓練達到 20-25% 端到端 MFU,為 RecSys 推論將運算密集型網路延遲最多降低三分之二,並有一個分散式分組 GEMM 核心部署於大規模 LLM 預訓練。Meta 表示 TLX 鎖定 NVIDIA Hopper 與 Blackwell,以及 AMD Mi300 與 Mi350x,並正著手支援更多架構、自動 warp-group 推論與 torch.compile 後端。

  16. NVIDIA Blog60

    NVIDIA 將 OpenShell 代理執行環境貢獻給 CNCF,並新增 DSX Kubernetes 工具

    NVIDIA 將其用於保護與治理自主代理的開源執行環境 OpenShell 貢獻給雲原生運算基金會,成為沙箱專案,同時也對 Google 主導的 Agent Substrate 做出貢獻。NVIDIA 宣布三項新的 DSX AI Factory 平台元件:NVIDIA Kubernetes Engine 與 NVIDIA Kubernetes Recipes(現已進入公開預覽),以及 NVIDIA Snapshot,可在數秒內還原檢查點副本,無需重新載入模型或暖機。Crusoe 在 Crusoe Cloud 上測試 GLM-5.3,將工作負載就緒時間從約八分鐘縮短至 31 秒,而 Saturn Cloud 則將 vLLM 啟動時間從 2 到 8.5 分鐘縮短至 6 分 34 秒。

    推薦理由:NVIDIA 將其代理安全執行環境 OpenShell 貢獻給 CNCF,並為 GPU AI 工廠新增 Kubernetes 工具,早期的 Snapshot 成果將推論啟動時間從數分鐘縮短至數秒。

  17. Mastra Blog38

    Mastra Forward:Mastra 推出 AI 工程服務,配備前線部署工程師與代理工廠

    Mastra 推出 Mastra Forward,這是一項 AI 工程服務,為客戶配備一位具名的前線部署工程師,並搭配 Mastra Factory——一套安裝在客戶儲存庫中的代理集群。年度合作費用低於聘請一位資深 AI 人才,並包含企業授權,支援託管、自架或 BYOC 部署,外加 Trace Intelligence 資源池。Mastra 表示其工廠每週產出 750+ 個 PR。