跳到正文
  1. AWS Machine Learning Blog66

    AWS 更新 AgentCore 运行时:会话启动速度提升 15 倍,算力提升 4 倍

    AWS 宣布更新 Amazon Bedrock AgentCore 运行时——其面向智能体的托管计算层,会话启动速度现已提升至多 15 倍,算力扩展至 4 倍(最高 8 vCPU 和 32 GB,容器镜像最大 10 GB),运行效率提升至多 68%,同时每个会话仍运行在各自硬件隔离的 Firecracker MicroVM 中。无论镜像大小或并发量如何,会话启动均在 2 秒以内,空闲智能体可缩容至零,智能体可挂载文件系统(如支持 FUSE 的 Amazon S3 桶)并保存工作成果,使数据始终留在信任边界内。该运行时现已在北美、南美、欧洲和亚太地区的 AWS 区域可用。

    推荐理由:AgentCore 运行时的新版本将会话启动、算力上限和内存计费一并调整,为需要长时间运行的智能体在隔离与成本之间提供了新的取舍。

  1. TechCrunch · AI78

    黄仁勋辞去英伟达CEO职务,引发外界对英伟达开源支持力度的疑虑

    英伟达CEO黄仁勋于周四辞职,此前他承认与一名疑似中国间谍有婚外情,这使得英伟达是否会继续支持开放权重AI成为未知数。黄仁勋曾推动Nemotron开放权重模型系列,支持Reflection AI和Thinking Machines Lab等初创公司,并组织了一封由25家公司签署的公开信,敦促华盛顿不要过度限制开放模型。英伟达已任命CFO Colette Kress为临时CEO,且尚未敲定以130亿美元收购Hugging Face的交易。

    推荐理由:Huang's resignation leaves open-weight AI advocacy without its most visible corporate backer, while Nvidia's pending Hugging Face deal and its own business incentives suggest the strategy may outlast him.

  2. vLLM Blog64

    vLLM-Omni 在 Vera Rubin 上对 MiniMax H3-Image 进行基准测试:0.87 秒生成 4K 图像,每小时 6,115 张

    vLLM-Omni 将 MiniMax H3-Image 引入 NVIDIA Vera Rubin,在四块 GPU 上测得原生 4096×4096 文本到图像的中位延迟为 0.87 秒,并在另一吞吐配置下达到每小时 6,115 张图像。H3-Image 是一个开放权重的文本到图像与编辑模型,将 Qwen3-VL 编码器与 33.1B 稠密 DiT 及图像 VAE 相结合,在六步采样内处理两项任务,最多支持 16 张参考图像。团队报告了 MXFP8 DiT GEMM、Ulysses SP4、AdaLN 缓存以及一项将解码时间从 2.635 秒缩短至 0.213 秒的 VAE 解码改动,并列出了面向 AMD、Intel、华为昇腾和摩尔线程硬件的配置方案。

    推荐理由:vLLM-Omni 的基准测试显示 MiniMax H3-Image 在 Vera Rubin 上以亚秒级 4K 延迟运行,并提供了各硬件配置及服务经济性成本模型。

  3. vLLM Blog60

    vLLM 为 Thinking Machines 的 Inkling 2 Small 提供 day-0 支持

    vLLM 在 day 0 支持 Thinking Machines 的 Inkling 2 Small,这是一个多模态文本与视觉 MoE,总参数 594B、激活参数 17B,上下文最高可达 1M token。该集成加入了带 PDL 的内核融合、用于 prefill 的序列并行(在 TP4 下将 8K token 的 prefill 步骤缩短 22%,TP8 下缩短 26%),以及一个 Gluon 相对注意力解码内核,将 100K 上下文下 batch-1 的解码步骤从 15.1 ms 降至 4.8 ms。vLLM 报告在 GB200 上 TP4 时每用户最高 630 TPS,接受长度为 3.5,并且还通过 SkyRL 支持 LoRA 和 RL。

    推荐理由:vLLM 在发布当天即支持 Inkling 2 Small,并给出内核融合、序列并行和 Gluon 解码内核的具体优化数据,可供部署大 MoE 模型的团队参考。

  1. NVIDIA Blog60

    NVIDIA 将 OpenShell Agent 运行时贡献给 CNCF,并新增 DSX Kubernetes 工具

    NVIDIA 正将其用于保护和治理自主 Agent 的开源运行时 OpenShell 作为 Sandbox 项目贡献给云原生计算基金会,同时也为 Google 主导的 Agent Substrate 做出贡献。NVIDIA 宣布了三个新的 DSX AI Factory 平台组件:NVIDIA Kubernetes Engine 和 NVIDIA Kubernetes Recipes(现已进入公开预览),以及 NVIDIA Snapshot,后者可在数秒内恢复检查点副本,无需重新加载模型或预热。Crusoe 在 Crusoe Cloud 上测试了 GLM-5.3,将工作负载就绪时间从大约八分钟缩短至 31 秒,而 Saturn Cloud 将 vLLM 启动时间从 2 到 8.5 分钟缩短至 6 分 34 秒。

    推荐理由:NVIDIA 将其 Agent 安全运行时 OpenShell 贡献给 CNCF,并为 GPU AI 工厂新增 Kubernetes 工具,早期 Snapshot 结果将推理启动时间从数分钟缩短至数秒。

  1. Goodfire Research62

    Goodfire 研究 Qwen3.6-35B-A3B 神经元,视其为可解释的基础

    Goodfire Research 发表研究,认为 Qwen3.6-35B-A3B 中的单个 MLP 神经元比通常假设的更可解释,依据是稀疏化、归因工具和研究智能体。每次前向传播中消融最弱的 92.2% MoE 神经元激活,语言模型损失仅上升 2.9%;69% 的神经元极点有一个单一模式贡献了至少 90% 的因果效应。自然语言神经元描述让评判模型在随机文本上以 95% 准确率预测激活,并通过模拟恢复 73% 的消融损伤。

    推荐理由:Goodfire 对 Qwen3.6-35B-A3B 神经元的研究认为,仅强激活就承载了模型的大部分计算,为特征字典可解释性提供了具体替代方案。

  1. OpenClaw Blog69

    OpenClaw 发布 Multiplayer,支持共享 Agent 与上下文

    OpenClaw 发布了 Multiplayer,这是一项免费开源功能,允许多人连接到同一个 OpenClaw Agent 和工作区,提示词会在各台笔记本电脑上实时显示,请求通过共享队列进行协调。在旧金山 GitHub Universe 的演示中,两位参会者在各自的机器上输入提示词,共同编辑同一个 3D 场景,无需重复说明上下文。OpenClaw 基金会表示,已有 50 多人在同一共享环境中协作,并将继续扩展该功能。

    推荐理由:OpenClaw 把多人共享同一 Agent 与上下文做成免费开源功能,为团队协作中反复重建上下文的问题提供了一种可迁移的做法。

  1. vLLM Blog73

    Buoyant 发布 Kinference,一个面向 vLLM 和 Kubernetes 的开源推理控制平面

    Buoyant 宣布推出 Kinference,这是一个采用 Apache v2 许可证的开源控制平面,可将兼容 OpenAI 和 Anthropic 的推理流量路由到 Kubernetes 上的 vLLM worker,并新增 token 速率限制、按租户的使用量与成本追踪、KV-cache 感知的负载均衡以及 YAML 推理策略。在该项目的公开基准测试中,与标准 Kubernetes service 负载均衡相比,Kinference 在某一工作负载上将首 token 延迟中位数降低了 95%,端到端延迟中位数降低了 45%;在容量测试中,共享前缀场景的有效吞吐量达到 7.4 倍,多轮对话场景约为 3.5 倍。策略可以将较简单的提示词路由到更便宜的模型,将突发溢出流量发送到 Bedrock 和 Databricks 等提供商,或将带有 PII 标记的请求保留在集群内;按租户的指标涵盖 token 速率、TTFT、ITL 以及缓存与未缓存的提示词 token。

    推荐理由:Buoyant 的 Kinference 在 vLLM 之上增加了 KV-cache 感知的负载均衡和 YAML 推理策略,基准测试声称其相比标准 Kubernetes service 路由在 TTFT 和有效吞吐量上有大幅提升。

  1. Epoch AI · Gradient Updates82

    Epoch AI 发现 GLM 5.3 能在用户更新前将已公开的 Firefox 修复转化为可用漏洞利用

    Epoch AI 报告称,Z.ai 于 8 月发布的开源权重模型 GLM 5.3 自主利用 Mozilla 已发布但尚未推送给用户的安全修复,构建出可用的漏洞利用,攻破了 9 月 17 日至 10 月 26 日期间发布的所有六个 Firefox 版本。在约 10 万美元的搭建和 API 成本之后,每次成功攻击的计算成本约为 1000 美元,最快的一次尝试在 48 小时预算内耗时 12 小时。针对 Chrome 的类似攻击未能成功,研究人员表示没有触发任何提供方的防护措施或拒绝响应;他们另外发现的一个未公开漏洞已在 10 月 27 日发布的 Firefox 159.0 中得到修补。

    推荐理由:Epoch AI 的实验表明,一个开源权重模型能够自主将已发布但尚未推送的 Firefox 修复武器化,为补丁空窗期给出了具体的成本和时间数字。

  1. Anthropic Newsroom71

    Anthropic将Agent Skills标准捐赠给Agentic AI基金会

    Anthropic正在将Agent Skills——一项为AI智能体提供专业知识和 workflows 的开放标准——捐赠给Linux基金会旗下的Agentic AI基金会(AAIF)。自2025年12月发布以来,包括ChatGPT、Cursor、GitHub Copilot和VS Code在内的70多个智能体平台已集成该标准,已发布100万个技能,安装量近2.8亿次。此次捐赠涵盖Agent Skills名称和徽标、GitHub组织以及agentskills.io域名,来自Anthropic、Google、OpenAI和其他公司的工程师将以个人身份在首席维护者David Soria Parra和Mahesh Murag的带领下对其进行维护。

    推荐理由:Anthropic将其Agent Skills标准交给Linux基金会的AAIF——与MCP相同的中立归属,使社区对该规范的路线图拥有正式话语权。

  1. Meta AI Research Blog88

    Meta 发布 Muse Spark Open:一个 816B 开放权重多模态模型,可在两台 Mac Studio 上运行

    Meta 发布了 Muse Spark Open 的权重,这是一个开放权重的原生多模态模型,总参数 816B(激活参数 42B),上下文窗口为 1M token,定位面向编程和智能体任务。它是同类模型中首个借助 MLX 框架、在两台 Apple M5 Ultra Mac Studio 上于桌面端运行的模型,并可通过 Baseten、Fireworks AI、Groq、Modal、Nebius、OpenRouter 和 Together AI 等 API 合作伙伴获取,权重已在 Hugging Face、Amazon SageMaker AI、Google Cloud Model Garden 和 Microsoft Foundry Models 上提供。Meta 表示,该模型在 SGLang 中附带可自动调优的 Helion GPU 内核,在 NVIDIA 和 AMD GPU 上实现 1.03-3.95 倍的内核级加速,在 AMD MI350 上实现 3% 的端到端加速。

    推荐理由:Meta 发布了一个 816B 参数多模态模型的开放权重,该模型可在两台 Mac Studio 上运行,为开发者提供了一个用于长程编程和智能体任务的本地选项。

  1. Goodfire Research71

    Goodfire 在 Kimi K3 和 GLM 5.3 上训练并部署基于探针的网络滥用监控器

    3 并将其部署到生产推理栈上,由廉价探针过滤对话轮次,只有可疑交互才会进入 LLM 裁判。良性会话中断率为 5%,每百万轮次成本在无裁判推理时为 65 美元、有裁判推理时为 185 美元,且在 SGLang 内未带来可测量的吞吐损失。

    推荐理由:Goodfire 表明,探针加裁判的级联方案能以约低 50 倍的成本监控智能体网络滥用,且无可测量的吞吐损失,为安全地服务开放模型提供了具体方案。

  1. OpenClaw Blog74

    Microsoft Autopilot 基于 OpenClaw 构建,贡献双向流动

    微软推出了 Autopilot,这是一个基于 OpenClaw 构建的持久个人智能体,作为其全新 Copilot 体验的一部分,私人预览将于本月底扩展至首批客户。Autopilot 是微软今年早些时候宣布的 Microsoft Scout 的新名称,Omar Shahine 的团队表示正与 OpenClaw 及 OpenClaw 基金会合作,打造企业级运行时。OpenClaw 重点介绍了微软工程师的上游贡献,包括策略合规检查、原生 Windows 配套应用,以及针对后台任务、重启和重复回复的可靠性修复。

    推荐理由:微软的 Autopilot 基于 OpenClaw 构建,此处列出的上游贡献展示了共享智能体运行时如何跨平台改进。

  1. OpenClaw Blog60

    OpenClaw 新增可选决策模型和共享 Plugin SDK 接口

    OpenClaw 引入了对单独配置的决策模型的支持,其核心和插件可通过 Plugin SDK 中的 api.runtime.decisions.evaluate 调用该模型,返回选择、分数或概率,而非聊天回复。该功能为可选启用,不会取代聊天模型,相关提供商包仍在等待支持版本发布。TypeSafe 适配器支持托管的 Jev 以及本地 System One 服务器(如 Jared Palmer 的 Kev),评估工具正以 decision_evaluate 之名移入 OpenClaw 核心。

    推荐理由:OpenClaw 新增了一个可选启用的决策模型层,可从应用代码返回类型化答案,并提供共享的 Plugin SDK 接口,使插件无需针对每个提供商单独集成即可使用。

  1. MiniMax Blog71

    MiniMax 发布 Music 3.0,一款可生成最长五分钟完整歌曲的开放权重音乐生成模型

    MiniMax 推出了 Music 3.0,这是一款开放权重音乐生成模型,能够根据创意概念和可选歌词,在单次生成中作曲、编曲并制作出最长五分钟的完整歌曲。该流程将一个基于 Qwen3.5-8B 初始化的 8B Global LLM 与一个 0.6B Local LLM 配对,融合二者连续的隐藏状态来为 2.4B 流匹配模块和 123M Flow-VAE 提供条件,并使用八层 RVQ 以及随时间描述情感、配器和演唱方式的结构化字幕(Structured Captions)。MiniMax 表示,这能更准确地理解创作意图,编曲更丰满,人声更清晰、更自然。

    推荐理由:MiniMax 的架构拆解展示了 8B 全局 LLM 如何与 0.6B 局部模型及流匹配技术栈配合,以解决长歌曲的连贯性问题。

  1. Modal Blog75

    Moonshot 的 Kimi K3 现已在 Modal 上线,支持 day-zero vLLM

    Modal 在发布当天就在其平台上线了 Moonshot 的 Kimi K3,通过按 token 计费的 Shared API 和专用 Auto Endpoints 提供这款拥有 1M token 上下文窗口的 2.8 万亿参数多模态模型。Modal 表示,针对 K3 架构调优的自定义 DFlash speculator 在 agentic 工作负载上将交互性从每秒 100 token 提升到 460 token,并将每 GPU 吞吐量从 800k TPM 提升到 150 万 TPM。该模型采用混合专家设计,每个 token 激活 896 个专家中的 16 个,Moonshot 在发布前向 vLLM 贡献了新的前缀缓存实现。

    推荐理由:Modal 详细介绍了它如何在发布当天将 Moonshot 的 2.8T 参数 Kimi K3 引入其平台,包括一个自定义 DFlash speculator,将交互性从每秒 100 token 提升到 460 token。

  1. Modal Blog60

    Modal 推出 Auto Endpoints,用于自助式、兼容 OpenAI API 的 LLM 推理

    Modal 推出了 Auto Endpoints,这是一项自助式服务,可将生产级 LLM 推理部署为兼容 OpenAI API 的端点,并由用户可见且可控的 Modal App 提供支持。每个受支持的模型都附带一个初始部署,该部署根据 Modal 自身的基准测试进行调优,使用 SGLang 等引擎以及来自 Z Lab 的 DFlash 推测解码草稿器,用户可以查看 GPU 选择、引擎标志以及 TTFT、ITL 和推测解码接受长度等推理指标。Modal 还将 Modal Servers 从测试版发布,用于提供开销为 5ms 的区域化路由,并表示它通过一个仍由人类工程师监控的内部智能体系统来生成端点部署。

    推荐理由:Modal 的 Auto Endpoints 公开了托管推理提供商通常隐藏的服务栈、引擎指标和基准测试配方,为团队提供了一条自助式路径来拥有开放模型推理。

  1. Modal Blog60

    Modal 为 Qwen 3.5 和 3.6 发布 DFlash 推测器,声称额外提速 5-20%

    Modal 在 Hugging Face 上为 Qwen 系列发布了一组 DFlash 草稿模型,包括 Qwen 3.6 35B-A3B-DFlash 和从 4B 到 122B-A10B 的 Qwen 3.5 变体,以及一个用 SGLang 构建的 Qwen 3.5 397B-A17B 的 DFlash 推测器。该公司表示,新的草稿器在现有 DFlash 基线之上额外提速 5-20%,并且可以在 B200 节点上以并发 1 运行 Qwen 3.5 122B-A10B 达到超过 1000 tok/s,而不使用推测时为 250 tok/s。文章认为,在内核优化只能带来几个百分点提升的地方,推测解码可带来 2 倍至 3 倍的增益,并提出了一个根据接受长度估算加速比的 roofline 模型。

    推荐理由:Modal 解释了为何押注推测解码,并为 Qwen 系列发布了 DFlash 草稿模型,附有实测加速比和用于估算增益的 roofline 模型。

  1. MiniMax Blog87

    MiniMax M3 发布,具备 100 万上下文、前沿编程能力与原生多模态

    MiniMax 发布了 M3,这是一款开放权重模型,据称是首个将前沿编程与智能体性能、100 万 token 上下文窗口以及原生图像和视频输入结合在一起的模型。M3 采用 MiniMax 新的 MSA 稀疏注意力架构,公司报告称该架构将 100 万上下文下的每 token 计算量降至上一代的 1/20,并将预填充速度提升 9 倍以上、解码速度提升 15 倍以上。它在 SWE-Bench Pro 上得分 59.0%,在 Terminal-Bench 2.1 上得分 66.0%,在 MCP Atlas 上得分 74.2%,可通过 MiniMax Code、Token Plan 和 API 使用,权重和技术报告承诺在 10 天内发布。

    推荐理由:MiniMax M3 将 100 万 token 上下文、前沿编程与智能体得分以及原生图像和视频输入结合在一个开放权重模型中,MSA 降低了长上下文下的每 token 计算量。

  1. Modal Blog78

    Modal 上线 GLM-5 免费端点并发布自部署与前端接入指南

    Modal 推出 GLM-5 的免费 OpenAI API 兼容端点,可用至 4 月底,限单个并发请求,同时发布在单节点 8 张 B200 上用 SGLang 部署的可复现代码。

    推荐理由:Modal 为 Z.ai 的 GLM-5 提供免费 OpenAI 兼容端点,并给出在 OpenCode、OpenClaw、Claude Code 和 Vercel AI SDK 中接入的具体配置。

已经到底了