llama.cpp 发布 v1.0.0,以语义化版本规则稳定下游 API
llama.cpp 发布 v1.0.0,同时 ggml 也发布 v1.0.0,两个项目今后将以主版本号变更来标示公共 C API 与 ABI 的不兼容改动。项目方表示,随着本地 AI 与隐私需求增长、下游应用增多,稳定的库接口变得关键,未来对破坏性变更的边界会更严格。
llama.cpp 发布 v1.0.0,同时 ggml 也发布 v1.0.0,两个项目今后将以主版本号变更来标示公共 C API 与 ABI 的不兼容改动。项目方表示,随着本地 AI 与隐私需求增长、下游应用增多,稳定的库接口变得关键,未来对破坏性变更的边界会更严格。
OpenClaw 继上海活动之后,将于 2026 年 12 月 4 日至 6 日在深圳举办为期三天的 Claw Hack 黑客松和 ClawCon 大会。Claw Hack 涵盖软件与硬件赛道,涉及 M5Stack、Seeed Studio 的 reBot Arm B601 和 Pamir 硬件,报名截止日期为 11 月 25 日。ClawCon 将于 12 月 6 日举行,演讲主题包括开源 AI、开放权重模型以及在本地和云端运行智能体。
TimeNet 挑战赛是一项在线黑客松,要求 2–4 人组队,以 TimeNet 格式接入时间序列数据集,并训练或微调 Temporal AI Model(如 OpenTSLM),用于预测、分类、异常检测或推理等任务。第一轮于 11 月 11 日启动,11 月 22 日太平洋标准时间晚上 11:59 截止,后续还有更多轮次。Nebius 每轮为每支队伍提供 100 美元或 500 美元代金券,获胜队伍将获得来自 AWS 和 Google Cloud 的奖金 credits,起价为 25,000 美元。
ArtCraft 创始人兼 CEO Brandon Thomas 在旧金山举行的 AI Engineer Code Summit 上发表了一份关于基于 AI 的开源的宣言,称公司已发布 17 个流行软件工具的开源版本,包括用 Rust 构建的 Photoshop 替代品 PhotoCraft 和一款名为 PdfCraft 的 PDF 工具。
开源促进会(Open Source Initiative)发起了开源 AI 沙龙,这是一系列社区活动,旨在探讨开源 AI 定义(OSAID 1.0)在实践中如何适用,首场聚会已在罗利和巴塞罗那举行。与会者一致认为四项自由必须得到保留,而训练数据透明度仍是最大的瓶颈,同时 Hugging Face 的模型数量已从 2024 年的约一百万个增长到如今的超过三百万个。
Bright Machines 现在无需开放任何入站访问,即可为客户提供来自气隙隔离工厂的实时、受治理的工厂数据仪表盘。它在边缘侧用 Debezium 捕获 PostgreSQL 变更,将其写为 Apache Iceberg,通过一条可审计的出站路径推送出去,并在 Databricks 中通过 Unity Catalog 联合就地读取。首个客户可见的仪表盘在上线启动约两个月后投入使用,已提交的行可在一到两分钟内查询,仪表盘每十分钟刷新一次。
Amazon 宣布 SGLang-Neuron 正式公开可用。这是一个 out-of-tree 插件,通过 AWS Deep Learning Container 在 AWS Trainium 上运行 SGLang,由 RadixArk 与 Annapurna Labs 发布。用户保留相同的 SGLang 服务器接口和生成 API,而该插件提供 Trainium 专用模型、注意力、MoE,以及一个基于原生 PyTorch 和 NKI 内核、经 torch.compile 编译的图运行器。它还支持 PD 分离,通过 EFA 上的 NIXL 将 prefill KV 缓存传输到 decode 服务器;演练使用 pytorch-inference-sglang-neuronx 容器在 Trainium3 EC2 实例上服务 openai/gpt-oss-120b。
CopilotKit 于 11 月 9 日发布 OpenBot 1.0,这是一个 MIT 许可、可自托管的智能体工作空间,团队可自带模型、智能体和基础设施。每一次浏览器点击、文件写入、MCP 工具调用和组件都要经过治理网关,网关在执行前评估 CEL 策略并写入审计记录,拒绝规则优先执行,规则出错时按失败关闭处理。该版本新增 Mac 和 Windows 桌面应用、可将录制的任务转化为可复用技能的 Learning 功能、通过 Composio 和 Arcade 实现的多账户支持,以及 Bot 到 Bot 的编排;个人使用免费,OpenBot for Business 每位活跃用户每月最高 29 美元。
英伟达CEO黄仁勋于周四辞职,此前他承认与一名疑似中国间谍有婚外情,这使得英伟达是否会继续支持开放权重AI成为未知数。黄仁勋曾推动Nemotron开放权重模型系列,支持Reflection AI和Thinking Machines Lab等初创公司,并组织了一封由25家公司签署的公开信,敦促华盛顿不要过度限制开放模型。英伟达已任命CFO Colette Kress为临时CEO,且尚未敲定以130亿美元收购Hugging Face的交易。
同一件事,精选收录的是《NVIDIA Announces CEO Transition as Jensen Huang Resigns, Colette Kress Named Interim CEO》
AWS 宣布更新 Amazon Bedrock AgentCore 运行时——其面向智能体的托管计算层,会话启动速度现已提升至多 15 倍,算力扩展至 4 倍(最高 8 vCPU 和 32 GB,容器镜像最大 10 GB),运行效率提升至多 68%,同时每个会话仍运行在各自硬件隔离的 Firecracker MicroVM 中。无论镜像大小或并发量如何,会话启动均在 2 秒以内,空闲智能体可缩容至零,智能体可挂载文件系统(如支持 FUSE 的 Amazon S3 桶)并保存工作成果,使数据始终留在信任边界内。该运行时现已在北美、南美、欧洲和亚太地区的 AWS 区域可用。
推荐理由:AgentCore 运行时的新版本将会话启动、算力上限和内存计费一并调整,为需要长时间运行的智能体在隔离与成本之间提供了新的取舍。
Hugging Face CEO Clément Delangue表示,在英伟达CEO黄仁勋退出后,他将“比以往更加努力”为开源AI而战,并称这是“非常悲伤的一天”。英伟达于9月宣布了一项129亿美元的收购Hugging Face的计划,美国司法部因竞争担忧一直在调查该交易,交易仍计划于2027年上半年完成。黄仁勋一直是开放权重模型的积极倡导者,包括7月由25家公司签署的一封政策信函,敦促美国政府不要过度限制这些模型。
AWS 发布了来自其生成式 AI 创新中心(现隶属于 AWS Frontier AI Engineering & Services)的 23 项生产就绪的开源生成式 AI 资产目录。这些构建模块涵盖 RAG 流水线、文档处理器、智能体脚手架和评估框架,AWS 表示它们可以将开发时间从数月缩短至数周。DoorDash 报告称测试能力提升了 50 倍,Ricoh 报告称基于这些资产构建后吞吐量提升了 7 倍。
vLLM 在 day 0 支持 Thinking Machines 的 Inkling 2 Small,这是一个多模态文本与视觉 MoE,总参数 594B、激活参数 17B,上下文最高可达 1M token。该集成加入了带 PDL 的内核融合、用于 prefill 的序列并行(在 TP4 下将 8K token 的 prefill 步骤缩短 22%,TP8 下缩短 26%),以及一个 Gluon 相对注意力解码内核,将 100K 上下文下 batch-1 的解码步骤从 15.1 ms 降至 4.8 ms。vLLM 报告在 GB200 上 TP4 时每用户最高 630 TPS,接受长度为 3.5,并且还通过 SkyRL 支持 LoRA 和 RL。
推荐理由:vLLM 在发布当天即支持 Inkling 2 Small,并给出内核融合、序列并行和 Gluon 解码内核的具体优化数据,可供部署大 MoE 模型的团队参考。
vLLM-Omni 将 MiniMax H3-Image 引入 NVIDIA Vera Rubin,在四块 GPU 上测得原生 4096×4096 文本到图像的中位延迟为 0.87 秒,并在另一吞吐配置下达到每小时 6,115 张图像。H3-Image 是一个开放权重的文本到图像与编辑模型,将 Qwen3-VL 编码器与 33.1B 稠密 DiT 及图像 VAE 相结合,在六步采样内处理两项任务,最多支持 16 张参考图像。团队报告了 MXFP8 DiT GEMM、Ulysses SP4、AdaLN 缓存以及一项将解码时间从 2.635 秒缩短至 0.213 秒的 VAE 解码改动,并列出了面向 AMD、Intel、华为昇腾和摩尔线程硬件的配置方案。
推荐理由:vLLM-Omni 的基准测试显示 MiniMax H3-Image 在 Vera Rubin 上以亚秒级 4K 延迟运行,并提供了各硬件配置及服务经济性成本模型。
Epoch AI 研究人员报告称,在离线沙箱实验中,开放权重模型 GLM 5.3 自主攻破了六个近期版本的 Firefox——一款拥有超过 2 亿活跃用户的浏览器——通过从未到达用户的补丁中逆向工程出攻击方式,每个漏洞利用成本约 1,000 美元。该模型构建的网页能够在无需人工输入的情况下读取访客计算机上的文件并将其发送给攻击者;团队无法用 Chrome 复现这一结果。同一份简报还指出,11 月 9 日发布的 Anthropic Claude Fable 5.2 创下 Epoch Capabilities Index 新纪录 174,高于 GPT-6 Astra 的 169。
Mastra 新增了私有模型网关,让 agent 可以将请求路由到自托管的开放权重模型,并通过类似 private/ollama/gpt-oss:20b 的前缀引用。自托管可将敏感数据保留在网络内部,并以基础设施成本替代按 token 计费的成本;设置 AUTO_BLOCK_EXTERNAL_PROVIDERS=true 可在 Studio 中隐藏外部提供商。该功能需要 @mastra/core@1.82.0 或更高版本。
Modal 与蚂蚁集团和 Tines 一道,成为加入 gVisor 维护者行列的三家公司之一;与此同时,Google 将该项目及其商标捐赠给 CNCF,采用维护者主导的治理模式。Modal 表示其每天启动多达 4000 万个 gVisor 容器,并自 2023 年起向上游贡献代码,包括 nvproxy GPU 支持、名为 rdmaproxy 的 RDMA 设备代理,以及 tmpfs 和内存分配器优化。该公司表示正在为 gVisor 开发多 GPU 内存快照和 GPUDirect Storage 支持。
vLLM 扩展了面向多模态服务的编码器/预填充/解码(EPD)解耦,新增仅元数据请求、专用编码器执行路径、通过 NIXL 和 Mooncake 的远程嵌入传输、跨编码器输出复用,以及通过 vLLM Router、SMG 和 llm-d 进行编排。包括 MiMo 和 XPU 支持在内的核心能力随 vLLM v0.32.0 发布,而对 DeepSeek V4.1 Flash 的仅元数据支持已通过 #62802 在 main 上提供。在 GB200 上对 DeepSeek V4.1 Flash 的测试中,在并发 64–128 时,EPD 相比八 GPU PD 基线实现了每 GPU 吞吐量高 6.6–9.5%、P90 TTFT 低 44–47%,但在并发 16 时每 GPU 吞吐量更低。
Meta 详细介绍了 TLX(Triton 低级扩展),这是 Triton 的一个扩展,在保留 Triton 张量编程模型的同时,增加了显式的 warp-group 和 cluster 级编排。TLX 已在 Meta 全公司投入生产使用:在数千块 NVIDIA Blackwell GPU 上用于 GEM 训练时,端到端 MFU 达到 20-25%;用于 RecSys 推理时,计算密集型网络延迟最多降低三分之二;一个分布式分组 GEMM 内核已部署于大规模 LLM 预训练。Meta 表示,TLX 面向 NVIDIA Hopper 和 Blackwell 以及 AMD Mi300 和 Mi350x,并正在开发更多架构支持、自动 warp-group 推断以及一个 torch.compile 后端。
NVIDIA 正将其用于保护和治理自主 Agent 的开源运行时 OpenShell 作为 Sandbox 项目贡献给云原生计算基金会,同时也为 Google 主导的 Agent Substrate 做出贡献。NVIDIA 宣布了三个新的 DSX AI Factory 平台组件:NVIDIA Kubernetes Engine 和 NVIDIA Kubernetes Recipes(现已进入公开预览),以及 NVIDIA Snapshot,后者可在数秒内恢复检查点副本,无需重新加载模型或预热。Crusoe 在 Crusoe Cloud 上测试了 GLM-5.3,将工作负载就绪时间从大约八分钟缩短至 31 秒,而 Saturn Cloud 将 vLLM 启动时间从 2 到 8.5 分钟缩短至 6 分 34 秒。
推荐理由:NVIDIA 将其 Agent 安全运行时 OpenShell 贡献给 CNCF,并为 GPU AI 工厂新增 Kubernetes 工具,早期 Snapshot 结果将推理启动时间从数分钟缩短至数秒。
The Pragmatic Engineer采访了Antithesis的杰出工程师、Pony语言核心贡献者Sean Allen,讨论软件正确性与供应链安全。Allen认为,ML语言家族的强类型系统在编译期捕获的错误比ALGOL家族语言更多,而手动测试是确保正确性最差的方式。他还表示,供应链攻击没有单一的简单修复方案,因为像'E'这样防御稳健的语言并不流行,而流行语言则假设生态系统可信。
Stripe 基于 LangChain 的开源 Deep Agents 框架构建了公司级知识 AI 平台 Kai,一名工程师在一周内交付了初始版本。该技术栈在 Deep Agents 之上叠加了 Stripe 专属的框架层和配置层,使用由 S3 支持的文件系统中件、用于代码执行的沙箱中件、用于长会话的摘要中件,以及跨 500+ 内部 MCP 工具和 1,000+ 技能的基于技能的动态工具加载。Kai 在大约四周内从 296 名用户增长到超过 5,000 名用户,目前 Stripe 有 83% 的员工每周使用它,会话数超过 60k。
Meta 在 lldb-server 中构建了一套厂商中立的加速器插件架构,使 LLDB 能在单个会话中调试跨 CPU 和 GPU 的应用程序。该设计将 CPU 和 GPU 表示为独立的 LLDB 目标,各自拥有自己的架构、线程、寄存器和地址空间,同时由插件将厂商设备调试 API 转换为 LLDB 概念。仅当应用使用受支持的 GPU 运行时,GPU 支持才会激活,因此纯 CPU 调试仍走现有的原生路径,不会增加额外开销。
Goodfire Research 发表研究,认为 Qwen3.6-35B-A3B 中的单个 MLP 神经元比通常假设的更可解释,依据是稀疏化、归因工具和研究智能体。每次前向传播中消融最弱的 92.2% MoE 神经元激活,语言模型损失仅上升 2.9%;69% 的神经元极点有一个单一模式贡献了至少 90% 的因果效应。自然语言神经元描述让评判模型在随机文本上以 95% 准确率预测激活,并通过模拟恢复 73% 的消融损伤。
推荐理由:Goodfire 对 Qwen3.6-35B-A3B 神经元的研究认为,仅强激活就承载了模型的大部分计算,为特征字典可解释性提供了具体替代方案。
Preferred Networks 发布了 PLaMo 3.0 Fin,这是一款金融专用小语言模型,基于与 NICT 联合研究中使用的 PLaMo 3 NICT 预训练模型构建,并在日本金融数据上进一步训练,以 PLaMo Community License 在 Hugging Face 上发布开放权重。该模型新增了逐步推理(Reasoning)能力,推理轨迹以日语输出,并支持用于网络搜索、计算和内部数据库访问的工具调用,可在封闭云或本地环境中于单块 GPU 上运行。PFN 表示,针对推理和工具使用的指令遵循训练是在其自研 MN-Core 2 AI 芯片上完成的,代码移植在一周内完成,训练速度与 GPU 环境相当。
Artificial Analysis 推出 Endpoint Accuracy Index v1.1,收紧了 AA-LCR-25 的置信区间,并新增对 GLM-5.3 Flash 和 Muse Spark Open 的覆盖。在基准测试的 103 个无服务器端点中,有 24 个的得分在统计上低于自托管参考,原因包括输出 token 上限、推理能力降低、工具调用格式错误和请求超时。将 AA-LCR-25 提升至每题 25 次重复后,其平均 95% 置信区间从 ±4.7 点收窄至 ±2.6 点,而在两个版本下均评分的 45 个端点上,综合指数区间从 ±5.5 点收窄至 ±4.3 点。
苹果本周开始在中国区 Apple Intelligence 内对 Qwen 进行开发者测试,计划于 12 月随 iOS 27.3 推出,以用户主动选择的方式将 Qwen 引入 Siri、写作工具和视觉智能。腾讯 11 月 4 日发布的 Hy4 增加了视觉推理与计算机使用能力,百度、月之暗面、蚂蚁和美团也发布或推出了新模型。
vLLM 已将其 CUDA 构建迁移至 LibTorch Stable ABI,自 v0.33.0 起发布 LibTorch ABI Stable CUDA wheel,因此新的 PyTorch wheel 无需重新构建 vLLM 即可导入。团队将树内源码以及七个依赖 LibTorch 的依赖项(包括 FlashMLA、DeepGEMM 和 FlashAttention-2/3)迁移至稳定 API,并在 CI 中使用 torch-abi-audit 确认不再残留不稳定符号。文章指出了权衡,例如稳定 API 子集有限以及少量主机侧开销,并表示 CPU 和 ROCm 构建是下一步。
OpenClaw 重构了模型发现机制,像 GPT-6.1 Sol 这样的新模型无需发布新版本即可出现,模型列表来自 catalog.openclaw.ai 的自更新目录(每四小时重建一次,约 1,000 个模型)、每个账户自己的提供商模型列表,以及与 PATH 中较新版本 Codex 的握手。该目录可在运行中的 Gateway 上实时切换,且提供商超时或目录切换后模型列表不再缩减。
Newcomer 与 Felicis 发布了 Emergent,这是一份包含 29 家种子期或更早期初创公司的名单,由 Cerebral Valley AI Summits 的现任和前任创始人演讲者提名,认为它们具有世代级潜力。每家公司均处于种子轮阶段,并附有提名者的简短评语。其中最大的集群是构建用于运行和控制智能体的工具,硬件、开源和 AI 原生服务也较为突出。
SemiAnalysis 在 InferenceX/AgentX 上发布了 Google TPUv7 Ironwood 在四个模型上的首批长上下文、多轮智能体推理结果,发现其在每美元性能上具有竞争力,在若干情况下达到最先进水平。在 FP8 精度下的 GLM-5.2 上,TPUv7 在 60 至 300 tok/s/user 区间内提供的每美元 token 数为 B200、B300 和 MI355X 的 1.2 倍至 2.7 倍,而 FP4 GPU 在 GLM-5.3 上仍然领先,因为 TPUv7 缺乏原生 FP4 支持,直到 2027 年第一季度推出的 TPUv8 才会具备。文章还认为,与 AMD 和 Google 相比,NVIDIA 的官僚作风拖慢了驱动和生态系统的贡献。
OpenClaw 发布了 Multiplayer,这是一项免费开源功能,允许多人连接到同一个 OpenClaw Agent 和工作区,提示词会在各台笔记本电脑上实时显示,请求通过共享队列进行协调。在旧金山 GitHub Universe 的演示中,两位参会者在各自的机器上输入提示词,共同编辑同一个 3D 场景,无需重复说明上下文。OpenClaw 基金会表示,已有 50 多人在同一共享环境中协作,并将继续扩展该功能。
推荐理由:OpenClaw 把多人共享同一 Agent 与上下文做成免费开源功能,为团队协作中反复重建上下文的问题提供了一种可迁移的做法。
Mastra 推出定制 Harness 计划,由前驻工程师嵌入客户团队,共同构建量身定制的 agent harness。该计划包含可观测性、评估、自定义 MCP、人在回路工作流、认证与 RBAC,以及 Mastra 企业平台的早期访问权限。Mastra 援引 Workday 的案例:Workday 在 31 天内从 Amazon Bedrock Agents 迁移,削减了 3,000 行代码,并将向量存储成本降低了 98%。
Ai2 启动了一项气候建模计划,由 Google.org 提供三年资助,Google Research 提供技术支持,旨在开发开源模型 NeuralGCM+,以实现更快、更可靠的气候预测。该项目扩展了 Google Research 的 NeuralGCM——该模型将大尺度动力学的物理方程与云形成、降雨等小尺度过程的 AI 相结合——以同时模拟大气和海洋。Ai2 的目标是降低过去 50 年区域气温和降雨的误差,并向外部研究人员发布带有文档化工作流程的模型和框架。
Buoyant 宣布推出 Kinference,这是一个采用 Apache v2 许可证的开源控制平面,可将兼容 OpenAI 和 Anthropic 的推理流量路由到 Kubernetes 上的 vLLM worker,并新增 token 速率限制、按租户的使用量与成本追踪、KV-cache 感知的负载均衡以及 YAML 推理策略。在该项目的公开基准测试中,与标准 Kubernetes service 负载均衡相比,Kinference 在某一工作负载上将首 token 延迟中位数降低了 95%,端到端延迟中位数降低了 45%;在容量测试中,共享前缀场景的有效吞吐量达到 7.4 倍,多轮对话场景约为 3.5 倍。策略可以将较简单的提示词路由到更便宜的模型,将突发溢出流量发送到 Bedrock 和 Databricks 等提供商,或将带有 PII 标记的请求保留在集群内;按租户的指标涵盖 token 速率、TTFT、ITL 以及缓存与未缓存的提示词 token。
推荐理由:Buoyant 的 Kinference 在 vLLM 之上增加了 KV-cache 感知的负载均衡和 YAML 推理策略,基准测试声称其相比标准 Kubernetes service 路由在 TTFT 和有效吞吐量上有大幅提升。
Zyphra 推出了 Zyphra Hierarchical Attention(ZHA),一种稀疏注意力方法,它构建一棵由压缩 KV-cache 摘要组成的树,并让查询自上而下地通过该树进行路由,在合适的 top-p 阈值下实现次二次复杂度。现有的预训练模型可以通过一个简短的 KL 蒸馏阶段进行适配,仅需使用几十亿个 token;在 Qwen3.6-35B-A3B 上,ZHA 增加了 81,920 个可训练参数,约占基础模型的 0.00024%。在 256K token 的 RULER-13 上,宽树模型得分为 96.2%,而稠密注意力为 96.0%;深六层树在 LongBench v2 上得分为 63.4%,而稠密注意力为 58.0%,同时只关注约 1.1% 的 KV cache;一个 GPU roofline 模型预测,在 10M token 时相比稠密注意力可实现 32-35 倍加速。
Ai2 的 Olmo 3 获得了 Nextcloud 最高伦理 AI 评级——绿色评级,该评级要求开源训练与推理软件、可自托管的已训练模型以及公开可用的训练数据。Nextcloud 将 Olmo 3 与其 llm2 本地 LLM 后端捆绑,并选择 7B 版本,以便没有 16 或 32 GB 显存的用户仍能获得良好的开箱即用本地体验。
Sakana AI于2026年10月26日在东京举办了“从世界模型到真实世界AI”研讨会,首席科学顾问Jürgen Schmidhuber发表了主题演讲,Sakana AI宣布将开发自己的预训练语言模型系列Sakana Sawara(暂定名)。首个小型模型Sawara Small(暂定名)若开发顺利,计划于2027年春季发布。超过400名参会者参加了此次活动,活动还包括Schmidhuber与CEO David Ha之间的对话。
Epoch AI 报告称,Z.ai 于 8 月发布的开源权重模型 GLM 5.3 自主利用 Mozilla 已发布但尚未推送给用户的安全修复,构建出可用的漏洞利用,攻破了 9 月 17 日至 10 月 26 日期间发布的所有六个 Firefox 版本。在约 10 万美元的搭建和 API 成本之后,每次成功攻击的计算成本约为 1000 美元,最快的一次尝试在 48 小时预算内耗时 12 小时。针对 Chrome 的类似攻击未能成功,研究人员表示没有触发任何提供方的防护措施或拒绝响应;他们另外发现的一个未公开漏洞已在 10 月 27 日发布的 Firefox 159.0 中得到修补。
推荐理由:Epoch AI 的实验表明,一个开源权重模型能够自主将已发布但尚未推送的 Firefox 修复武器化,为补丁空窗期给出了具体的成本和时间数字。
Meta正与五所美国大学——加州理工学院、俄亥俄州立大学医学院、路易斯安那州立大学、印第安纳大学和UTHealth Houston——合作,并提供200万美元资助,支持利用其模型在医学、物理学、化学、生物学、计算机科学和数学领域开展研究。项目包括:基于Meta开放权重SAM模型构建的计算机视觉系统,用于检测婴儿气管造口管移位;多模态AI帮助对话代理适应痴呆症患者;以及从常规CT扫描和医疗记录预测心力衰竭风险的开放权重模型。