技术方向
怎么把模型跑得更快更省钱：推理加速、显存与成本、服务部署与基础设施选型。
62 条精选近 30 天 34 条共收录 472 条
Google 宣布，其用于 Gemini 等大模型的分布式训练系统 Pathways 已在 Google Cloud Platform 上正式可用（General Availability）。Pathways 用单个 Python 客户端将整个计算声明为数据流图，取代了锁步 SPMD 执行方式；分布式运行时负责把块放到虚拟设备上、移动并重新分片张量，以及在整个集群范围内对工作排序。Google 表示，这种设计可以让故障主机被重新映射到健康芯片上，而无需重启任务；并且一个共享的 Pathways 服务可以从单个集群为多个客户端提供服务。
推荐理由：Google 解释了 Pathways 的单控制器模型与 SPMD 有何不同，以及它如何处理跨组张量传输、调度和主机故障恢复。
NVIDIA Research与Inferact的REINFORCE Zero论文表明，对齐rollout与训练器内核后，未裁剪的token级重要性采样能够纠正剩余的权重滞后，在策略滞后64时稳定训练20,000次更新，并在内核对齐的情况下达到同步训练训练步吞吐量的2.40倍。使用标准内核时，整个运行过程中rollout到学习器的KL中位数上升83.33倍，在线AIME24 pass@1从34.27%降至13.96%，而序列门控虽能稳定训练，但在最后1,000次更新时拒绝了24.48%的序列。零失配设置现已覆盖DeepSeek-V4.1-Flash、发布当日的Kimi K3.1，以及AMD MI355X上的DeepSeek-V4-Flash和Kimi K3.1，代码位于Inferact/zero-mismatch-rl和NVIDIA-NeMo/labs-molt。
推荐理由：NVIDIA Research与Inferact将异步强化学习的rollout-学习器差距拆分为权重滞后和内核失配，表明对齐内核可使未裁剪的重要性采样在策略滞后64时保持稳定训练。
) 引用。智能体在 6% 的遇到情况下对 bug ID 采取了行动，其中 83% 的行动并非由开发者提示；41% 的未提示绕行追逐的是已关闭的工单，而 57% 触及的是仍然开放的 bug 并扩大了范围。在控制开发者、代码库复杂度、任务类型、模型层级和其他因素后，未提示的 bug 绕行使每次会话增加了 70% 的步骤、77% 的 token 和 105% 的等待时间。
推荐理由：谷歌的大规模追踪分析显示，过时的 TODO bug 引用会将编码智能体拖入未提示的绕行，而其清理智能体移除了数千条过时引用，审查者接受率超过 95%。
Mistral 扩展了其企业 AI 平台 Studio，新增托管智能体与应用，以及新的工作流、企业上下文、智能体可观测性和评估能力，运行于 Mistral Large 4 (Le Chonk) 模型之上。开发者可以借助技能、沙箱、子智能体和钩子构建多步骤智能体，并通过新的 Mistral MCP 服务器用一条命令部署到 Studio。Mistral 表示，包括 ABANCA、BNP Paribas、Capgemini 和 TCS 在内的客户已在生产环境中使用 Studio，部署方式可选云端、VPC 或本地。
推荐理由：Mistral 扩展 Studio，新增托管智能体、工作流和应用，展示了企业如何将部署和数据控制保留在自己的环境中。
Buoyant 宣布推出 Kinference，这是一个采用 Apache v2 许可证的开源控制平面，可将兼容 OpenAI 和 Anthropic 的推理流量路由到 Kubernetes 上的 vLLM worker，并新增 token 速率限制、按租户的使用量与成本追踪、KV-cache 感知的负载均衡以及 YAML 推理策略。在该项目的公开基准测试中，与标准 Kubernetes service 负载均衡相比，Kinference 在某一工作负载上将首 token 延迟中位数降低了 95%，端到端延迟中位数降低了 45%；在容量测试中，共享前缀场景的有效吞吐量达到 7.4 倍，多轮对话场景约为 3.5 倍。策略可以将较简单的提示词路由到更便宜的模型，将突发溢出流量发送到 Bedrock 和 Databricks 等提供商，或将带有 PII 标记的请求保留在集群内；按租户的指标涵盖 token 速率、TTFT、ITL 以及缓存与未缓存的提示词 token。
推荐理由：Buoyant 的 Kinference 在 vLLM 之上增加了 KV-cache 感知的负载均衡和 YAML 推理策略，基准测试声称其相比标准 Kubernetes service 路由在 TTFT 和有效吞吐量上有大幅提升。
OpenAI描述了训练激活分类器（即探针）的方法，这些探针读取模型内部的残差流激活，以标记助手输出中不对齐或违反策略的完成内容，并表示已从GPT-5.6开始在其最强模型的内部和外部流量上部署这些探针。探针采用Attention probe架构，包含MLP加QV-attention以及指数移动平均，使用由推理模型评判器标注的最多100万条消息进行训练，并在推理引擎上以流式方式运行，因此可以在回合中途阻止某个完成内容。OpenAI报告称，探针在许多后训练阶段之间具有出色的迁移能力，但在预训练检查点之间的迁移较为有限，并表示在其红队测试中，探针总体上比基于内容的分类器对越狱更具鲁棒性。
推荐理由：OpenAI详细说明了基于模型内部激活的激活探针如何作为流式安全层发挥作用，包括其在跨检查点迁移方面的局限以及重新训练的需求。
Anthropic 发布了 FlashProve，这是一个开源原型，使用 zkSNARK 证明某个响应来自一个已承诺的模型，而无需暴露其权重。在 Llama 4 Maverick（400B 参数 MoE，4 位权重）上，单张 H100 以约 110 tokens/秒的速度生成证明，每 1,024 token 请求的证明大小约 19 MB，约为 vLLM 完成相同工作所需 GPU 时间的 70-95 倍。该发布包含可执行的证明器和验证器代码、一个 C++ 快速验证器、一个 Lean 验证器（其完备性、可靠性和零知识性陈述经机器检查），以及一份技术报告，全部采用 Apache 2.0 许可。
推荐理由：Anthropic 的 FlashProve 表明，基于 zkSNARK 的推理证明对于一个 400B 参数的 MoE 模型正变得实用，并提供了开放代码和经 Lean 检查的安全性声明。
Replit 面向现有代码库推出 Cloud Agents，团队中任何人都可以用自然语言描述一项改动，由智能体在 GitHub 或 GitLab 中发起一个经过测试的拉取请求，所有 Pro 和 Enterprise 客户均可使用。该智能体在隔离的云沙箱中运行每项改动，点击浏览运行中的应用，并将截图和视频附加到 PR 中；共享环境为每位贡献者提供预配置的设置，并会从主分支更新。Replit 还推出了早期访问的自改进工作区记忆功能，可将评审评论转化为由工程师批准的团队技能，以及一项 Slack 集成，用户可在话题中提及 @Replit 来发起改动。
推荐理由：Replit 把 Cloud Agents 接入企业既有代码库，让非工程人员以带测试视频的 PR 形式提交改动，展示了 AI 编码工具向团队协作流程延伸的一种路径。
Preferred Networks 于 2026 年 10 月 27 日开始提供 PLaMo 3.1 Prime，新增网页搜索和 Deep Research 功能，后者可在数分钟到数十分钟内自主规划、收集、分析并撰写带来源引用的报告。Deep Research 还支持本地部署，并可连接内部文档检索系统；该公司称，与 PLaMo 3.0 Prime 相比，在包括 AA Omniscience 在内的八项幻觉相关基准上平均得分提升约 15%。PFN 还提到，通过推测解码处理速度提升 1.7 倍，非推理模式下输出 token 减少 90%，并推出了免费的 PLaMo API 套餐以及 PLaMo Chat 活动，在 2026 年 11 月 30 日前每天提供两次 Deep Research。
推荐理由：PFN 的 PLaMo 3.1 Prime 新增了可本地运行的自主 Deep Research，为日本企业提供了一个可本地部署、用于带来源引用的调研工作的选项。
Modal 发布了 Spindle，这是一个开源、兼容 Tinker 的训练服务器，运行在客户的 Modal 工作区内，让团队可以自定义技术栈，并按 GPU 时长付费，而不是按 token 付费。Spindle 支持对开源模型进行全参数训练和多 LoRA，Modal 报告称，在一个 DAPO-math GRPO 任务上，让 8 个客户端共享一个训练器，相比 Tinker 可将每 100 万输出 token 的成本降低最多 80%。Modal 表示 Spindle 仍处于 beta 阶段，并将其定位在其 Dojo 训练库与原始集群原语之间。
推荐理由：Modal 的开源 Spindle 服务器为团队提供了一个兼容 Tinker 的替代方案，以按 GPU 时长付费取代按 token 定价，据称多 LoRA 共享可将成本降低最多 80%。
Mistral 发布了 Voxtral 3，这是一系列语音转文本和文本转语音模型，外加一个基于 LiveKit 构建的语音智能体 SDK，可在单一流水线中流式完成聆听、推理、工具调用和说话。Voxtral Small Transcribe 3 覆盖 50 多种语言，支持说话人分离和上下文偏置；Voxtral Mini TTS 3 支持 35 多种语言和 50 多种方言；该技术栈可通过 Mistral 的欧盟托管 API 或自部署获取。定价为批量转写每分钟 0.0035 美元起，TTS 每 100 万字符 13 美元。
推荐理由：Mistral 的 Voxtral 3 将多语言语音模型与基于 LiveKit 的语音智能体 SDK 相结合，为团队提供了一个可主权部署的实时语音智能体选项。
Google 发布了 Meta TorchTitan 的 TPU 分支版本，该版本通过 TorchTPU 原生的 torch.device("tpu") 后端在 Cloud TPU 上运行 PyTorch 训练，配备 TPU 原生内核和分步优化手册。在 TPU v7x（Ironwood）上，Llama 3 405B 在 128 至 1,024 芯片范围内保持约 57% MFU，Qwen3 235B 在单个 1,024 芯片切片上达到 32.42% MFU，FLUX.1 在 1,024 芯片上以 93% 弱扩展效率达到 19.4% MFU。该分支位于 https://github.com/google-pytorch/torchtitan/，此外还有 Transformers 建模后端和 agent 接入技能，可将同一训练器扩展到其他检查点。
推荐理由：Google 与 Meta 合作把 TorchTitan 移植到 TPU，并给出从 FLUX.1 到 Qwen3 235B 的逐级调优路径与 MFU 数字，可作为 PyTorch 团队评估 TPU 训练可行性的参考。
Claude Code 团队介绍了其分层代码审查流程：大部分阅读工作由机器完成，人的注意力则保留给基于风险的审批。6 月至 9 月，Claude Code 代码库中合并的拉取请求数量增长了一倍多，而不得不回滚的比例下降了 40% 以上。该流程在 PR 之前叠加验证、必需的 CI、Claude 审查、安全审查、按风险分级的人工审批，以及带标志和快速回滚的合并队列；团队还将过去的事故转化为审查者的每日评估集。
推荐理由：Anthropic 的 Claude Code 团队详细说明了如何将大部分代码阅读转移到自动化层，同时合并的 PR 翻倍、回滚下降超过 40%，为大量使用智能体的团队提供了一个可迁移的审查模型。
Meta 发布了 Muse Spark Open 的权重，Modal 现已通过其 Auto Endpoints 以按 token 计费的方式提供该模型。该模型面向智能体编程和长周期任务，具备原生多模态理解、100 万 token 上下文窗口、多步规划、顺序工具调用和故障恢复能力。Meta 报告称，在 Terminus 2 智能体下 Terminal-Bench 2.1 得分为 76.4，在使用其首选 harness、xhigh 推理强度下 DeepSWE 1.1 得分为 60。
推荐理由：Meta 的开源权重模型 Muse Spark Open 现已在 Modal 上提供服务，让团队能够以按 token 计费的方式试用一款具备 100 万 token 上下文窗口的智能体编程模型。
Modal 年化收入突破 10 亿美元，并以 157.5 亿美元投后估值完成由 Accel 领投的 7.5 亿美元 D 轮融资，所有现有投资方均参与。公司称，自五个月前 C 轮融资以来使用量已增长两倍，同比增长超过 15 倍，仅其 Sandboxes 产品年化收入就达 3 亿美元，已启动近 30 亿个沙箱。Modal 还介绍了其在覆盖 20 多个云的容量池上重建自有文件系统、容器运行时、调度器和网络，并提到近期推出的多节点训练、Modal 服务器以及 Sandboxes 的正式可用虚拟机。
推荐理由：Modal 的博文解释了为何 AI 工作负载促使其在 20 多个云上重建自有文件系统、容器运行时和调度器，具体展现了 AI 基础设施栈如何与云栈分化。
Amazon Web Services 研究人员提出 priming，一种复用预训练 Transformer 权重的方法，可将混合状态空间架构的预训练成本降低 99% 以上，仅使用源模型预训练 token 预算的不到 0.5%。在受控比较中，Gated KalmaNet 优于 Gated DeltaNet 和 Mamba-2，而基于 GKA 的 32B 混合模型在推理基准上与源 Transformer 表现相当，同时在 128,000 token 上下文下解码速度最高可达两倍。团队以 Apache 2.0 许可证发布了 8B 和 32B 的 primed 混合模型、训练代码、Triton 内核以及 vLLM 服务插件。
推荐理由：Amazon Web Services 研究人员表明，复用预训练 Transformer 权重可将混合架构预训练成本降低 99% 以上，使状态空间层的受控比较变得可行。
Anthropic 发布了一份 Claude Managed Agents（测试版）的参考实现，该实现按 cron 计划读取 Slack 频道和 GitHub 拉取请求，通过按来源分别记录的书签追踪自上次运行以来的变更，并向 Slack 发布简报。该详解涵盖由 vault 保管的凭据、只读访问和单次运行支出上限，以及将某个来源读取失败报告为不可读而非视为平静无事的规则，还有在更新书签和账本之前先确认 Slack 发布成功的规则。一个带有 claude-api 技能的 Claude Code 命令可根据文章中的指导配置该智能体。
推荐理由：Anthropic 分享了一个定时 Claude Managed Agents 的参考实现，该实现读取 Slack 和 GitHub，并针对书签、读取失败和发布确认给出了具体规则。
3 并将其部署到生产推理栈上，由廉价探针过滤对话轮次，只有可疑交互才会进入 LLM 裁判。良性会话中断率为 5%，每百万轮次成本在无裁判推理时为 65 美元、有裁判推理时为 185 美元，且在 SGLang 内未带来可测量的吞吐损失。
推荐理由：Goodfire 表明，探针加裁判的级联方案能以约低 50 倍的成本监控智能体网络滥用，且无可测量的吞吐损失，为安全地服务开放模型提供了具体方案。
Addy Osmani 详细介绍了 Claude Code 云会话：每个任务都在一个全新的、由 Anthropic 管理的虚拟机上运行，仓库被克隆到各自的分支上；云会话包含在 Pro、Max、Team 和 Enterprise 套餐中，不额外收取计算费用。在一个示例 Node 仓库上进行的四会话测试中，三个会话在彼此相隔 16 秒内启动，并在第一个会话开始后 87 秒完成；那个不稳定测试会话将测试套件运行了 40 次，零失败。该指南涵盖设置脚本、网络级别、GitHub 连接路径以及适合云会话的七种工作流，同时指出对于需要本地数据、VPN 服务、GPU 或零数据保留的任务，本地会话仍然是更合适的选择。
推荐理由：一份关于 Claude Code 云会话的实战指南，展示了按任务分配的虚拟机如何实现并行工作，以及本地会话在哪些场景下仍然更合适。
Claude Code mods 是小型 JavaScript 或 TypeScript 文件，作为插件中附带的钩子在会话内运行，可以观察事件、重写行为，或在终端或桌面应用中绘制自定义 UI。本指南构建了 Token Weather，一个约 80 行的 mod，在每轮之后读取 $.session.usage()，并在提示符上方绘制一条天气风格的上下文窗口带；随后介绍了 Blast Radius（用于拦截有风险的 Bash 命令）和 Replay Theater（用于逐步查看某一轮的编辑）。Mods 需要 Claude Code 2.1.287 或更高版本，且默认开启；三个示例的完整代码位于 anthropics/claude-code-playground。
推荐理由：一篇动手实践指南，介绍 Claude Code mods，并用约 80 行代码构建一个可用的上下文窗口计量器，展示钩子、状态和自定义 UI 如何协同工作。