跳到正文
11月12日周四
  1. OpenRouter Announcements58

    OpenRouter 详解其 7 种新语言背后的自我修正本地化流水线

    OpenRouter 推出了简体中文、西班牙语、巴西葡萄牙语、德语、法语、日语和韩语的测试版本地化,并详细介绍了维持 16,918 条英文字符串翻译的自我修正流水线。该每日循环将变更的字符串以每批最多 40 条发送给 GPT-6.1 Sol,由代码拒绝损坏的占位符和术语表违规,然后对同一模型发起第二次调用作为验证器,按严重程度返回错误以供重试。OpenRouter 表示,将整个目录完整重译为 7 种语言约需 460 美元,而按 Smartling 公布的机器翻译费率则约为 7,200 美元。

  2. OpenRouter Announcements58

    OpenRouter 发布教程:如何阻止 AI Agent 陷入无限循环

    OpenRouter 发布了一份指南,介绍如何阻止 AI Agent 在工具调用失败后反复重试、陷入死循环,其中给出四种防护措施,并在六个当前模型上进行了测试。启用 doomLoop 检测后,六个模型均在第三次相同的工具调用时被拦截;在 18 次运行中,工具调用次数从 314 降至 64,花费从 $0.29 降至 $0.05。该指南还加入了用于规范化参数的 loopKey、对步数和成本的 stopWhen 上限,以及 API key 上的额度限制——触发时返回 402,limit_source 为 openrouter_key_limit。

  3. vLLM Blog64

    vLLM-Omni 在 Vera Rubin 上对 MiniMax H3-Image 进行基准测试:0.87 秒生成 4K 图像,每小时 6,115 张

    vLLM-Omni 将 MiniMax H3-Image 引入 NVIDIA Vera Rubin,在四块 GPU 上测得原生 4096×4096 文本到图像的中位延迟为 0.87 秒,并在另一吞吐配置下达到每小时 6,115 张图像。H3-Image 是一个开放权重的文本到图像与编辑模型,将 Qwen3-VL 编码器与 33.1B 稠密 DiT 及图像 VAE 相结合,在六步采样内处理两项任务,最多支持 16 张参考图像。团队报告了 MXFP8 DiT GEMM、Ulysses SP4、AdaLN 缓存以及一项将解码时间从 2.635 秒缩短至 0.213 秒的 VAE 解码改动,并列出了面向 AMD、Intel、华为昇腾和摩尔线程硬件的配置方案。

    推荐理由:vLLM-Omni 的基准测试显示 MiniMax H3-Image 在 Vera Rubin 上以亚秒级 4K 延迟运行,并提供了各硬件配置及服务经济性成本模型。

  4. vLLM Blog72

    vLLM 在 Vera Rubin NVL72 上服务 DeepSeek-V4.1-Flash,吞吐量达 GB300 NVL72 的 58 倍

    vLLM 报告称,在单台 NVIDIA Vera Rubin NVL72 机架上服务 DeepSeek-V4.1-Flash,每 GPU 达到 170 万 tokens/s,每用户 387 tokens/s,是 GB300 NVL72 的 58 倍,峰值达 252 万 tokens/s,单用户达 1,810 tokens/s。性能提升来自为 Rubin 的分裂内存域和 FP4 张量核心重建的 kernel、专用的 TP8 解码路径,以及通过 NVLink 共享的机架级 KV 和 Engram 池。借助跨机架池化前缀和 Dynamo 工作负载感知路由,即使在高并发下前缀命中率也保持在 96.5-97%。

    推荐理由:vLLM 关于 DeepSeek-V4.1-Flash 的第三篇文章详细说明了 Rubin 专用 kernel 和机架级内存池化如何将吞吐量提升至 GB300 NVL72 的 58 倍,为大规模服务优化提供了具体参考。

  5. Hugging Face Blog36

    Hugging Face 发布 TRELLIS.2 3D 生成微调指南与脚本

    Hugging Face 发布了 TRELLIS.2 的微调脚本和容器,该模型是一个 3D 生成模型,可在本地或 Hugging Face Jobs 上运行。该指南通过 PEFT 库使用 LoRA 适配器,仅作用于稀疏结构流 DiT 和形状流 DiT,材质阶段保持冻结。在 GSO 数据集的 188 个物体鞋类子集上,预训练模型经常渲染出错误的鞋底,这正是 LoRA 微调所针对的问题。

  6. AWS Machine Learning Blog36

    在 Amazon Bedrock 上运行 OpenAI Codex:访问路径与上线指南

    本文介绍如何将 OpenAI Codex 模型请求路由到 Amazon Bedrock,同时复用现有的 AWS 身份、IAM、区域和可观测性实践。文章建议先通过 Native AWS Access 开展小规模最小权限试点,AgentCore Gateway 或 LLM Gateway 可作为替代方案,并演示了 IAM Identity Center 登录以及使用 GPT-5.6 Sol 直接检查 Bedrock Runtime 的流程。

  7. AWS Machine Learning Blog46

    在 Amazon SageMaker HyperPod 上检测并恢复静默数据损坏

    在 Amazon SageMaker HyperPod 上运行的 PyTorch DDP 训练循环新增了三项检查,用于捕获静默数据损坏:非有限梯度检查、跨节点比较 loss 位与梯度指纹的环形重放审计,以及优化器步骤后的权重指纹比较。在 4 台 ml.p5.48xlarge 实例(32 块 NVIDIA H100 GPU)上通过软件注入故障进行测试,这些检查能指出可疑的 rank、将其映射到节点,并让 HyperPod 替换该节点并从检查点恢复。

  8. AWS Machine Learning Blog41

    Amazon Bedrock AgentCore Web Search API 发布

    Amazon Bedrock AgentCore 现已提供独立的 Web Search API,开发者可直接从 AWS SDK 或 AWS CLI 调用 InvokeWebSearch,只需一次请求,无需创建任何资源。该 API 从 Amazon 运营的网页索引返回排序后的结果,每条结果包含文本摘录,并在可用时提供标题、URL 和发布时间,支持域名和日期筛选。请求使用 SigV4 和 IAM 签名,权限与 AgentCore Gateway 路由相同。

  9. AWS Machine Learning Blog36

    2026年10月AWS为AI构建者带来的更新:Claude Haiku 5.5、GPT-6.1 Terra、AgentCore CLI 1.0

    AWS的2026年10月汇总新增了Claude Haiku 5.5,Anthropic称其在大多数任务上的成本比Claude Haiku 4.5低约75%;此外还有在Amazon Bedrock上线的OpenAI GPT-6.1 Terra,支持最多100万输入token,价格至少比GPT-6.1 Sol和GPT-5.6 Terra低50%。AgentCore CLI达到1.0版本,AgentCore Gateway新增了模型回退和将Step Functions工作流作为agent工具的功能。

  10. AWS Machine Learning Blog12

    AWS re:Invent 2026 AI/ML 专场:参会者指南

    AWS 将于 11 月 30 日至 12 月 4 日举办年度 re:Invent 大会,AI/ML 专场在超过 2,000 场学习会议中提供 140 多场独立会议。该指南将会议对应到 AWS AI 技术栈,涵盖 AI 芯片(AWS Trainium 和 NVIDIA GPU)、Amazon Bedrock 和 SageMaker AI 上的模型与推理,以及使用 Amazon Bedrock AgentCore 的智能体开发。会议从新手内容到技术深度解析进行组织,许多会议可点播观看。

  11. AWS Machine Learning Blog28

    用基于推送的架构自动化 AWS Agent Registry 更新

    AWS 介绍了一条事件驱动流水线,可在无需手动更新的情况下保持 MCP 服务器的 AWS Agent Registry 记录为最新。AWS CloudTrail 捕获 UpdateAgentRuntime API 调用,Amazon EventBridge 将其跨账户路由,Lambda 函数通过 AgentCore Identity OAuth 令牌查询 MCP 服务器的工具,然后对比并更新匹配的注册表记录。该示例仅更新现有记录,并同时支持单账户和多账户设置。

  12. Google Research58

    Google Research 利用可穿戴设备构建 CKM 风险画像与个性化指导

    Google Research 推出一个研究性框架,可将消费级可穿戴设备数据转化为可指导的健康年龄,并模拟个性化的 12 周“假设”健康轨迹。SensorWM 世界模型基于约 10 万名用户、共 228 万人周的匿名 Fitbit 数据进行预训练,可在不同步数、睡眠和有氧运动习惯下预测 20 项生理指标。在一项盲测研究中,生活方式教练在 71.4% 的评估中选择以反事实为依据的方案为整体最佳,医生评定 99.2% 的方案处于安全运动强度范围内;作者指出这些模型是研究原型,而非临床诊断工具。

  13. Google Blog · AI78

    Google 发布 Gemini Decisions API 和 Gemini Decision 1 模型,用于快速闭集决策

    Google 推出了 Gemini Decisions API,由新的 Gemini Decision 1 模型(gemini-decision-1)驱动,可通过 Google AI Studio 中的 Gemini API 使用。单次多模态输入最多 256K token,可在一次前向传递中对照最多 1,000 个是/否、多项选择和评分标准打分问题进行检查,返回概率和置信度分数,端到端延迟为 150-250 毫秒,每 100 万输入 token 收费 0.10 美元,不收取输出 token 费用。Google 表示,该模型在其基准测试套件中领先,校准误差最低,并且比使用 Interactions API 的 Gemini 3.5 Flash-Lite 便宜近 5 倍;内部用途包括 Gemini Notebook 中的模型路由、Stitch 中的线框图生成,以及 Search 中 MCP 工具的对抗性内容检查。

    推荐理由:Google 的新端点可在一次传递中以 150-250 毫秒对最多 1,000 个多模态是/否、选择和评分标准问题进行评分,为智能体路由和政策检查提供了比生成式调用更便宜的替代方案。

  14. Amazon Science36

    用数学验证网络配置:AWS Tiros 用于分段检查

    AWS 正在使用其自动推理工具 Tiros,对所有建模路径进行静态网络分段验证,而不是依赖基于数据包的采样。Tiros 将 Cloud WAN 配置(来自路由表、附件和策略文档)转换为逻辑命题,然后检查策略声明为禁止的网段之间是否存在任何路径,分析频率最高可达每小时一次。

  15. Meta Engineering Blog40

    Meta 智能投放:为广告排序分配算力的机器学习系统

    Meta 详细介绍了 Intelligent Delivery,这是一个由机器学习驱动的系统,它在广告服务栈中分配算力,以趋向系统级最优,在 2017 年至 2026 年上半年间模型与系统进步的基础上,贡献了约 10% 的增量排序性能。其 Resource Core Model 使用 6B 稀疏参数和 20M 稠密参数来预测每个请求的边际效用,Meta 称其在离线基准测试中将高影响力广告请求的识别率提升了约 20%。该系统还依赖多层分配机制和日益智能体化的 AI,以适应模型和硬件的变化。

  16. Mastra Blog40

    Mastra Agents 面向自托管模型的私有模型网关

    Mastra 新增了私有模型网关,让 agent 可以将请求路由到自托管的开放权重模型,并通过类似 private/ollama/gpt-oss:20b 的前缀引用。自托管可将敏感数据保留在网络内部,并以基础设施成本替代按 token 计费的成本;设置 AUTO_BLOCK_EXTERNAL_PROVIDERS=true 可在 Studio 中隐藏外部提供商。该功能需要 @mastra/core@1.82.0 或更高版本。

  17. Claude Blog40

    Anthropic 面向初创企业的 Claude Tag 指南:热门 Slack 频道与用例

    Anthropic 发布了面向初创企业的 Claude Tag(测试版)指南,内容基于与八家高增长公司的对话,讨论它们最先在哪些场景部署这款基于 Slack 的智能体。该指南涵盖五种常见配置——值班分诊、从讨论串到 PR、公司大脑、自助数据分析和报告——以及一份入门清单。文中引用的成果包括:在 Slack 中被提及后 21 分钟就创建了一个 PR,以及 NavigateAI 从 Slack 讨论串中合并了 134 个拉取请求。

  18. Claude Blog56

    Anthropic 开放自托管 Claude Managed Agents 的私测

    Anthropic 以私测形式发布了自托管 Claude Managed Agents,让开发者可以在自己的云或本地环境中运行完整的 agent 服务,包括 harness、沙箱、凭证和会话历史。模型请求可以直接发往 Anthropic,也可以发往 Amazon Bedrock、Google 的 Agent Platform 或 Microsoft Foundry,或通过客户自己的网关发送,会话历史则保留在客户的数据库中。该公司表示,这一设计将 agent 循环和 vault 密钥置于沙箱之外,支持允许主机白名单,并通过 OpenTelemetry 导出每次会话的完整记录。

  19. Figma Blog42

    3D 变换与 Figma 智能体如何让一支发布视频活起来

    Figma 已开放 3D 变换功能的公测,让设计师可以在空间中倾斜、旋转和排列文本、图像、矢量与画框,并在父级画框上应用透视效果,以构建共享的空间构图。这些非破坏性效果保持可编辑,可与着色器组合、用 Figma Motion 制作动画,或通过 Figma 智能体进行探索。Figma 的品牌工作室使用了这些工具(包括一个由智能体构建的生成式插件)来制作该功能的发布视频。

  20. Claude Blog31

    J.Crew 推出由 Claude Code 构建的 Style Advisor AI 造型师

    J.Crew 在 JCrew.com 上线了 Style Advisor,这是一款 AI 造型师,推荐的是整套穿搭而非单件商品,目前面向美国市场的女装和男装风格开放。J.Crew 团队使用 Claude Code 并调用多个 Claude 模型构建了它:Claude Fable 5.1 负责规划造型师的推理逻辑,Claude Opus 5.5 用于原型开发,Claude Sonnet 5.5 在每次对话中担任造型师,Claude Haiku 5.5 处理快速任务。每一条推荐都取自 J.Crew 自家造型师为商品目录拍摄所创作的造型。

11月11日周三
  1. ElevenLabs Blog25

    ElevenLabs 推出合作伙伴计划,加速企业 AI Agent 采用

    ElevenLabs 推出合作伙伴计划,提供增强的商业激励、新认证、联合上市机会和专属技术支持。该计划覆盖 44 个国家的 550 多家活跃合作伙伴,今年合作伙伴生态系统已产生 3.15 亿美元销售管道,以及超过 5200 万美元的合作伙伴来源和合作伙伴影响收入。ElevenLabs 的目标是让合作伙伴每为其创造 1 美元收入,就能获得 3 美元服务收入,并由前置部署工程师和新的认证合作伙伴目录提供支持。

  2. ElevenLabs Blog58

    ElevenLabs 纽约峰会:交互引擎、ElevenAgents 记忆与例程、ElevenAI 应用、合作伙伴计划与市场

    在纽约峰会上,ElevenLabs 为其 AI 交互层发布了新模型、智能体和部署选项,其中包括负责管理轮流发言并将对话各部分路由至更便宜或前沿 LLM 的交互引擎。ElevenAgents 新增记忆功能,可构建回头客的结构化记录,以及例程功能,这是用于通话前、通话中和通话后多步骤工作的自动化层。ElevenLabs 还预览了 ElevenAI 职场应用,今日开放免费早期访问;推出了合作伙伴计划,目前覆盖 44 个国家的 550 多家合作伙伴,并与麦肯锡结成联盟;同时推出了 ElevenLabs 市场;NVIDIA 的 Nemotron 3.5 Super VL 现已在 ElevenAgents 中可用,并新增 15 MW 的 Vera Rubin 算力容量。

  3. ElevenLabs Blog40

    ElevenLabs 推出面向企业级 AI 应用的市场平台

    ElevenLabs 推出了 ElevenLabs Marketplace,这是一个由技术合作伙伴基于其模型构建的、面向特定行业的 AI 与语音应用精选集合,首批合作伙伴包括 Salesforce、IBM、NiCE、Twilio 和 Zendesk。企业可以探索金融服务、保险、医疗健康、电信、零售和政府领域的解决方案,并直接与这些方案背后的合作伙伴建立联系。从明年开始,符合条件的合作伙伴解决方案将可通过现有的 ElevenLabs 承诺购买。

  4. Modal Blog58

    Modal 加入 gVisor 维护者行列,Google 将该项目捐赠给 CNCF

    Modal 与蚂蚁集团和 Tines 一道,成为加入 gVisor 维护者行列的三家公司之一;与此同时,Google 将该项目及其商标捐赠给 CNCF,采用维护者主导的治理模式。Modal 表示其每天启动多达 4000 万个 gVisor 容器,并自 2023 年起向上游贡献代码,包括 nvproxy GPU 支持、名为 rdmaproxy 的 RDMA 设备代理,以及 tmpfs 和内存分配器优化。该公司表示正在为 gVisor 开发多 GPU 内存快照和 GPUDirect Storage 支持。

  5. ElevenLabs Blog58

    ElevenLabs与NVIDIA扩大合作,将语音智能体引入企业和政府

    ElevenLabs与NVIDIA已在模型、基础设施和主权部署方面扩大合作,将NVIDIA Nemotron 3.5 Super VL引入ElevenAgents平台。ElevenLabs计划在现有Blackwell Ultra系统之上新增15MW的NVIDIA Vera Rubin算力,并利用NVIDIA机密计算为波兰Centralna e-Rejestracja预约系统在本地部署语音智能体。据ElevenLabs称,在ElevenAgents客户支持基准测试中,Nemotron 3.5 Super VL实现了领先的端到端任务完成准确率,成本比其他领先开源模型低70%。

  6. ElevenLabs Blog22

    企业客户如何将ElevenLabs AI投入实际使用

    ElevenLabs表示,企业客户目前贡献其营收的55%以上,其技术已进入十大科技公司中五家、十大保险公司中五家以及十大电信运营商中四家的日常运营。在纽约峰会上,Ramp、Customers Bank、Banco Inter、Clover Health和FOX Sports等客户介绍了如何使用ElevenAgents和ElevenCreative开展支持代理、入职引导、多语言服务,以及在FOX Sports App中打造评论员Colin Cowherd的AI形象。

  7. Vapi Blog58

    Vapi 推出 Agent Loop 早期访问版,一个可自我改进的语音智能体框架

    Vapi 推出 Agent Loop 早期访问版,计划于明年初正式发布(GA)。它是一个可自我改进的框架:只需一段简单提示即可构建语音智能体,针对业务目标对每通电话打分,为未达标之处起草修复方案,在模拟环境中测试,并先推送到一小部分实时流量,然后再全面上线。该循环运行在 Vapi 的基础能力之上,包括现已可在仪表盘中使用的 Simulations 和 Traffic Splitting,以及即将推出的 Goals、Call Health 和 Experiments。每个 Agent Loop 智能体都是真实的 Vapi 助手,因此工程师可保留完整的仪表盘和 API 访问权限,且任何变更上线前都需要人工批准。

  8. vLLM Blog58

    vLLM 为多模态服务新增基于 EPD 的编码器解耦

    vLLM 扩展了面向多模态服务的编码器/预填充/解码(EPD)解耦,新增仅元数据请求、专用编码器执行路径、通过 NIXL 和 Mooncake 的远程嵌入传输、跨编码器输出复用,以及通过 vLLM Router、SMG 和 llm-d 进行编排。包括 MiMo 和 XPU 支持在内的核心能力随 vLLM v0.32.0 发布,而对 DeepSeek V4.1 Flash 的仅元数据支持已通过 #62802 在 main 上提供。在 GB200 上对 DeepSeek V4.1 Flash 的测试中,在并发 64–128 时,EPD 相比八 GPU PD 基线实现了每 GPU 吞吐量高 6.6–9.5%、P90 TTFT 低 44–47%,但在并发 16 时每 GPU 吞吐量更低。

  9. OpenRouter Announcements65

    OpenRouter 在一个 GitHub 任务上测量了 MCP、CLI 和 skill 的上下文成本

    OpenRouter 在 Claude Sonnet 5.5、GPT-6 Luna 和 Gemini 3.8 Flash 上,用 GitHub MCP server、gh CLI 和一个 gh skill 测量了同一个 GitHub 任务。在 Sonnet 5.5 上三者都回答正确,但 CLI 用了 1,421 个输入 token,skill 用了 3,315 个,而 MCP server 用了 59,417 个——它带有 46 个默认工具,仅这些工具的定义每次请求就增加 19,436 个 token。把 server 限定为两个工具后,该任务降到 23,228 个 token;将结果上限设为 4,000 字符后降到 5,357 个;Tool Search 把 46 个工具的前置成本降到 600 个 token 以下,不过在 Sonnet 5.5 上它把整个任务的成本减半,在 Claude Haiku 5.5 上却提高了。

    推荐理由:OpenRouter 的实测对比展示了 MCP server、CLI 和 skill 在同一个 GitHub 任务上各自消耗多少上下文,以及裁剪工具结果或延迟加载定义会在哪里改变账单。

  10. OpenRouter Announcements58

    OpenRouter 指南:修复 OpenAI 和 Claude 429 速率限制错误

    OpenRouter 发布了一份指南,介绍如何处理来自 OpenAI、Anthropic 及其自身 API 的 429 Too Many Requests 错误,并在 60 条提示词的批次上测试了三种修复方案。OpenAI Python SDK 的默认重试在 12 秒内使 60 个请求中有 23 个失败,而等待 Retry-After 或 X-RateLimit-Reset 的重试在 Python 中于 89 至 92 秒内完成了全部 60 个请求,在 TypeScript 中为 106 至 218 秒。模型回退方案在 13 秒内以 $0.000066 的成本完成了全部 60 个请求;开启提供商故障转移后,全部 150 个固定提供商的请求均成功,而在关闭回退时最多有 32 个失败。

  11. OpenRouter Announcements60

    OpenRouter 测试 fp8 和 fp4 量化对 LLM 质量与价格的影响

    OpenRouter 于 2026 年 10 月 20 日针对 Qwen3.8 27B 的六个端点运行了 280 个精确答案任务,未发现 fp16、fp8 和 fp4 之间存在准确率差异,六个端点的得分均在 98.3% 至 99.2% 之间。在 1,455 个端点中,59.5% 完全未报告精度,fp8 是最常见的标注格式,占 23.6%。对大多数模型而言,较低精度更便宜,但并非所有模型都如此;提供商选择对价格的影响大于精度,同精度下最贵端点的价格中位数是最便宜端点的 1.72 倍。

    推荐理由:OpenRouter 在一个模型的 fp8、fp4 和 fp16 端点上测量了 240 个精确答案任务,未发现可检测的准确率差距,而价格差异更多与提供商相关,而非精度。

  12. LangChain Blog58

    LangChain 阐释 AI 智能体上下文工程中的检索技术

    LangChain 发布了一篇博客文章,说明检索设计如何塑造 AI 智能体的上下文工程,并以基于其 Deep Agents 框架构建的竞品分析智能体为例。文章涵盖三种失败模式:搜索效率低下、一次性加载过多上下文,以及结果不相关或过时,并为每种模式配以相应技术,例如 glob 和 grep 文件系统工具、使用 read_file 偏移量分页读取大文件、将过大的工具结果卸载到文件,以及在“检索、卸载、委派”模式下将读取工作委派给子智能体。文章还警告称,检索到的文本是数据而非指令,可能携带提示注入,因此应将输出与引用的来源进行核对。

  13. LangChain Blog60

    LangChain 解释 Deep Agents 如何在不把所有内容都保留在上下文窗口中的情况下管理上下文

    LangChain 详细说明了其开源 Deep Agents 框架如何使用中间件来对抗长时间智能体运行中的上下文腐化。超过约 20,000 token 的工具结果和超过 50,000 token 的用户消息会被卸载到文件中,仅显示预览;而当使用量达到上下文窗口的 85% 时,摘要功能会压缩较早的消息。技能、子智能体和一个 markdown 长期记忆文件使主智能体的窗口保持较小,并让记忆能够跨模型和提供商延续。

    推荐理由:LangChain 解释了其开源 Deep Agents 框架如何使用中间件来卸载、摘要和隔离上下文,为执行长任务的智能体提供了一种可复用的模式。

  14. Meta Engineering Blog58

    Meta详细说明Your Algorithm如何将自然语言偏好转化为Facebook Feed和Reels推荐

    Meta发布了一篇工程概述,介绍Your algorithm——一套AI工具,让Facebook用户用自然语言说明自己希望在Feed和Reels中看到什么,并提供一个可编辑页面列出“感兴趣”和“不感兴趣”的主题。每次更改都由一个较小的LLM验证,用嵌入和搜索关键词丰富,并保存到一个共享存储中,Feed和Reels都会读取该存储,同时一个微调过的LLM重排器会移除与新添加的“不感兴趣”主题匹配的内容。Meta表示,补充性的尾部加载和客户端缓存失效使更改更快生效,并且一个单独的LLM评判器会在上线前对Lately Summary等输出进行评分。

  15. Meta Engineering Blog58

    Meta 详解 TLX:面向生产级 ML 的 Triton 硬件原生 GPU 编译器扩展

    Meta 详细介绍了 TLX(Triton 低级扩展),这是 Triton 的一个扩展,在保留 Triton 张量编程模型的同时,增加了显式的 warp-group 和 cluster 级编排。TLX 已在 Meta 全公司投入生产使用:在数千块 NVIDIA Blackwell GPU 上用于 GEM 训练时,端到端 MFU 达到 20-25%;用于 RecSys 推理时,计算密集型网络延迟最多降低三分之二;一个分布式分组 GEMM 内核已部署于大规模 LLM 预训练。Meta 表示,TLX 面向 NVIDIA Hopper 和 Blackwell 以及 AMD Mi300 和 Mi350x,并正在开发更多架构支持、自动 warp-group 推断以及一个 torch.compile 后端。

  16. NVIDIA Blog60

    NVIDIA 将 OpenShell Agent 运行时贡献给 CNCF,并新增 DSX Kubernetes 工具

    NVIDIA 正将其用于保护和治理自主 Agent 的开源运行时 OpenShell 作为 Sandbox 项目贡献给云原生计算基金会,同时也为 Google 主导的 Agent Substrate 做出贡献。NVIDIA 宣布了三个新的 DSX AI Factory 平台组件:NVIDIA Kubernetes Engine 和 NVIDIA Kubernetes Recipes(现已进入公开预览),以及 NVIDIA Snapshot,后者可在数秒内恢复检查点副本,无需重新加载模型或预热。Crusoe 在 Crusoe Cloud 上测试了 GLM-5.3,将工作负载就绪时间从大约八分钟缩短至 31 秒,而 Saturn Cloud 将 vLLM 启动时间从 2 到 8.5 分钟缩短至 6 分 34 秒。

    推荐理由:NVIDIA 将其 Agent 安全运行时 OpenShell 贡献给 CNCF,并为 GPU AI 工厂新增 Kubernetes 工具,早期 Snapshot 结果将推理启动时间从数分钟缩短至数秒。

  17. Mastra Blog38

    Mastra Forward:Mastra 推出 AI 工程服务,配备前置部署工程师与智能体工厂

    Mastra 推出 Mastra Forward,这是一项 AI 工程服务,为每位客户配备一名指定的前置部署工程师,并搭配 Mastra Factory——一个安装在客户代码仓库中的智能体集群。该服务按年计费,费用低于雇用一名资深 AI 工程师,并包含企业许可证,支持托管、自托管或 BYOC 部署,另附 Trace Intelligence 资源池。Mastra 表示其工厂每周产出 750+ 个 PR。