技术方向
怎么把模型跑得更快更省钱：推理加速、显存与成本、服务部署与基础设施选型。
62 条精选近 30 天 34 条共收录 472 条
Modal 已正式发布 VM Sandboxes，通过相同的 API、modal.Images、亚秒级冷启动以及 CPU/内存突发能力，为智能体提供完整的 Linux 虚拟机，与其现有的基于 gVisor 的 Sandboxes 保持一致。当用户需要 Docker、FUSE 文件系统或小众 Linux 内核特性时，可通过 runtime="vm" 启用，而 gVisor 仍为默认运行时。Modal 表示，早期客户已启动超过 2000 万台虚拟机，其中 Linear 的每个 Coding Session 都运行在 VM Sandbox 上，Legora 和 Snorkel 则将其用于法律智能体评估和智能体模拟。
推荐理由：Modal 的 VM Sandboxes 为智能体提供带有 Docker 和内核访问权限的完整 Linux 机器，同时保留现有的 Sandbox API 和亚秒级冷启动。
Factory 已将 Automations 全面开放，让团队可以描述一个重复性工作流，并让 Droid 按计划或事件触发来运行它。每个自动化都结合了触发器（计划、Slack、GitHub 或 webhook）、指令、用户选择的模型和推理级别，以及一台可以是本地、已连接或由 Factory 托管的 Droid Computer 的机器。Factory 表示，过去 30 天内有 52% 的企业用户运行了自动化代码审查，48% 使用了安全审查，35% 使用了 AutoWiki，自动化会话量较此前 30 天增长了 51%。
推荐理由：Factory 将其 Automations 全面开放，展示了企业实际把哪些重复性工程工作流交给 Droid，以及模型和机器选择如何按任务生效。
OpenClaw 宣布推出 OpenClaw Enterprise（OCE），这是一个开源、厂商中立的平台，用于在敏感环境中管理持久化代理，目前仍在开发中，计划于今年晚些时候发布 1.0 版本。OCE 增加了一个企业控制平面，具备多租户、硬性安全边界、沙箱、基于 LLM 的审查和细粒度权限，并允许将 harness、模型和沙箱替换为第三方或内部实现。组织今天可以通过 docker-compose 进行本地开发，或通过 kubernetes 进行内部部署来自行托管，目前正在 Red Hat 和 OpenAI 等公司进行试点。
推荐理由：OpenClaw Enterprise 是一个面向敏感环境中持久化代理的开源控制平面，具备多租户、硬性安全边界和可审计性，现已可用于内部试点工作负载。
Anthropic 在 Claude Code 内的 claude-api skill 中新增了两个命令：/claude-api build-eval 会在你的代码库中构建评估集，/claude-api hillclimb 则基于该评估对应用进行迭代，并使用留出集来防止过拟合。
推荐理由：Anthropic 为其 claude-api skill 新增了 build-eval 和 hillclimb 命令，展示了 Claude Code 如何设计评估并据此迭代，同时防止过拟合。
Anthropic 发布了 Claude Sonnet 5.5，这是继 Opus 5.5 之后 Claude 5.5 系列的第二款模型。公司称其在相同每 token 价格下比 Sonnet 5 更智能、更高效，速度快 30%。由于每项任务通常需要更少的 token，Anthropic 表示大多数工作的成本最多可降低 30%。该模型原生支持 100 万 token 上下文窗口、最大 128k 输出，并默认开启思考功能。发布指南列出了 Sonnet 5 用户需要注意的破坏性变更，包括用 between_tools 设置替代已禁用的思考功能、将强制 tool_choice 替换为 auto 加 strict tools，以及将 computer use 迁移至 computer_toolset_20260801 工具集。
推荐理由：Anthropic 的 Sonnet 5.5 保持 Sonnet 5 的定价，同时降低每任务 token 用量，迁移说明则展示了已在 Sonnet 5 上构建的团队需要做哪些变更。
OpenClaw 引入了对单独配置的决策模型的支持，其核心和插件可通过 Plugin SDK 中的 api.runtime.decisions.evaluate 调用该模型，返回选择、分数或概率，而非聊天回复。该功能为可选启用，不会取代聊天模型，相关提供商包仍在等待支持版本发布。TypeSafe 适配器支持托管的 Jev 以及本地 System One 服务器（如 Jared Palmer 的 Kev），评估工具正以 decision_evaluate 之名移入 OpenClaw 核心。
推荐理由：OpenClaw 新增了一个可选启用的决策模型层，可从应用代码返回类型化答案，并提供共享的 Plugin SDK 接口，使插件无需针对每个提供商单独集成即可使用。
Qwen3.8-2.4T-A95B 已作为开源权重模型发布，并同步在 Modal 上线。Modal 表示其与 Qwen 在发布前合作，通过 SGLang 和针对 Qwen3.8 形状调优的定制 DFlash 推测器，为 Modal Auto Endpoints 提供 day zero 支持。
推荐理由：Modal 在 Qwen3.8-2.4T-A95B 开源权重发布当天即上线共享端点，并说明其定制 DFlash 推测器如何针对该模型的形状提升推理速度。
Modal 在发布当天就在其平台上线了 Moonshot 的 Kimi K3，通过按 token 计费的 Shared API 和专用 Auto Endpoints 提供这款拥有 1M token 上下文窗口的 2.8 万亿参数多模态模型。Modal 表示，针对 K3 架构调优的自定义 DFlash speculator 在 agentic 工作负载上将交互性从每秒 100 token 提升到 460 token，并将每 GPU 吞吐量从 800k TPM 提升到 150 万 TPM。该模型采用混合专家设计，每个 token 激活 896 个专家中的 16 个，Moonshot 在发布前向 vLLM 贡献了新的前缀缓存实现。
推荐理由：Modal 详细介绍了它如何在发布当天将 Moonshot 的 2.8T 参数 Kimi K3 引入其平台，包括一个自定义 DFlash speculator，将交互性从每秒 100 token 提升到 460 token。
Modal 已从零重建其核心沙箱平台，在新系统上它同时运行了 100 万个沙箱，并在不到一分钟内全部创建完成。此次重新设计将中央协调和任何数据存储从沙箱创建路径中移除：横向扩展的调度服务器通过内存算法挑选一个 worker 并直接调用它，而 worker 则异步将状态发布到 Redis stream。Modal 表示沙箱启动延迟的中位数低于半秒，新系统已以 Beta 版提供，只需改一行代码即可选择启用。
推荐理由：Modal 重建了其沙箱控制平面以去除中央协调，展示了当全局一致性离开关键路径后，容器调度能够扩展到何种程度。
Thinking Machines 发布了 Inkling，这是一个通用多模态模型，可接收文本、图像和音频输入并输出文本，Modal 从第一天起就以按 token 计费的托管端点形式提供该模型。Inkling 是一个混合专家 Transformer，总参数 975B，激活参数 41B，上下文窗口 1M token，原生支持音频和视觉，每五个滑动窗口注意力层对应一个全注意力层。在 8 块 B200 上的智能体工作负载中，Modal 定制的 DFlash 推测器在每 GPU 吞吐 2.5M TPM 时达到每用户每秒 250 token，在同等吞吐下交互速度比模型内置的推测路径快 67%。
推荐理由：Modal 为 Thinking Machines 的 975B 参数 Inkling 提供的首日端点表明，定制的 DFlash 推测器将交互速度比模型内置的推测路径提升了 67%。
Anthropic 于 6 月 30 日推出 Claude Science，这是一个 AI 工作台，生命科学研究人员可在与 Claude 的对话中直接运行计算工作负载。Modal 作为计算后端集成：需要 GPU 或大量并发 CPU 的工作负载，会从研究人员连接的工作区自动路由到 Modal 沙箱，而默认执行仍保留在本地机器上的沙箱中。Modal 列举了跨数百个容器的扇出虚拟筛选、为 ESMFold2 等模型提供逐步 GPU 访问、共享 Modal Volumes 存储和可复现的 Modal Images，并承诺为 Anthropic 的 AI for Science Claude Science Cohort 提供最高 10 万美元的计算资源，每个项目 500–2,000 美元，申请开放至 2026 年 7 月 15 日。
推荐理由：Modal 的帖子解释了 Claude Science 如何将 GPU 和并行工作负载路由到 Modal 沙箱，并附有具体的生命科学示例以及面向学术实验室的计算资助。
Modal 推出了 Auto Endpoints，这是一项自助式服务，可将生产级 LLM 推理部署为兼容 OpenAI API 的端点，并由用户可见且可控的 Modal App 提供支持。每个受支持的模型都附带一个初始部署，该部署根据 Modal 自身的基准测试进行调优，使用 SGLang 等引擎以及来自 Z Lab 的 DFlash 推测解码草稿器，用户可以查看 GPU 选择、引擎标志以及 TTFT、ITL 和推测解码接受长度等推理指标。Modal 还将 Modal Servers 从测试版发布，用于提供开销为 5ms 的区域化路由，并表示它通过一个仍由人类工程师监控的内部智能体系统来生成端点部署。
推荐理由：Modal 的 Auto Endpoints 公开了托管推理提供商通常隐藏的服务栈、引擎指标和基准测试配方，为团队提供了一条自助式路径来拥有开放模型推理。
Modal 在 Hugging Face 上为 Qwen 系列发布了一组 DFlash 草稿模型，包括 Qwen 3.6 35B-A3B-DFlash 和从 4B 到 122B-A10B 的 Qwen 3.5 变体，以及一个用 SGLang 构建的 Qwen 3.5 397B-A17B 的 DFlash 推测器。该公司表示，新的草稿器在现有 DFlash 基线之上额外提速 5-20%，并且可以在 B200 节点上以并发 1 运行 Qwen 3.5 122B-A10B 达到超过 1000 tok/s，而不使用推测时为 250 tok/s。文章认为，在内核优化只能带来几个百分点提升的地方，推测解码可带来 2 倍至 3 倍的增益，并提出了一个根据接受长度估算加速比的 roofline 模型。
推荐理由：Modal 解释了为何押注推测解码，并为 Qwen 系列发布了 DFlash 草稿模型，附有实测加速比和用于估算增益的 roofline 模型。
Factory 正在 Droid 中推出自动化安全审查，该功能会在每个非草稿 PR 上，在标准代码审查之外运行基于 STRIDE 的安全审查，并以行内评论的形式在 diff 上发布发现的问题，包括严重程度、CWE 参考、解释和建议修复。该公司表示，Droid 的安全审查已在生产代码库中运行，并发现了经过负责任披露的问题，包括 external-secrets 中的 CVE-2026-42876 以及 workos/workos-node#1578。Droid 会为变更面构建轻量级威胁模型，扫描 OWASP Top 10 和 OWASP LLM Top 10 等问题中的漏洞，然后针对 diff 验证每个候选发现以过滤误报，最后为每个 PR 发布一条去重后的摘要。
推荐理由：Factory 的 Droid 现在会在每个非草稿 PR 上运行基于 STRIDE 的安全审查，且该文章展示了它在生产代码库中发现的真实 CVE。
MiniMax 将 MiniMax Agent 升级并更名为 Mavis，同时推出 Agent Teams，允许多个角色专属 Agent 在桌面端并行运行，处理长时间、复杂任务。该系统采用 Leader、Worker 和 Verifier 角色，配合状态机 Team Engine，让任务在生成、验证和完成之间循环，并将 TokenPlan 与 Agent Plan 合并为一个订阅，覆盖 CLI、API 和 Agent，横跨 M2.7、音乐、视频和语音。MiniMax 表示该 Agent 即将开源，预计与 MiniMax M3 模型一同发布，桌面应用目前已可用。
推荐理由：MiniMax 解释了其 Leader-Worker-Verifier Agent Team 背后的设计权衡，包括交接、共享和聚合成本，为构建多 Agent 运行时提供了具体参考。
OpenAI 发布了一份 API 部署清单，指导开发者将工作负载迁移到 Responses API 和 GPT-6 模型系列，包括 gpt-6-astra、gpt-6.1-sol、gpt-6 Sol 和 gpt-6 Luna。该指南涵盖从 low 到 max 的 reasoning.effort 级别、text.verbosity、带延迟工具加载的 tool_search、Programmatic Tool Calling、Multi-agent、compaction、prompt caching 和 WebSocket 模式，OpenAI 表示对于包含 20 次或更多工具调用的工作流，WebSocket 模式已显示出端到端执行速度提升最高约 40%。清单还详述了可靠性与安全步骤，例如处理 429 和 503 错误、为长任务设置 background=True、safety_identifier 以及 misalignment 监控。
推荐理由：OpenAI 的官方部署清单将模型选择、推理力度、工具搜索、compaction 和 WebSocket 模式整合为一份针对 GPT-6 工作负载的迁移指南。
Modal 推出 GLM-5 的免费 OpenAI API 兼容端点，可用至 4 月底，限单个并发请求，同时发布在单节点 8 张 B200 上用 SGLang 部署的可复现代码。
推荐理由：Modal 为 Z.ai 的 GLM-5 提供免费 OpenAI 兼容端点，并给出在 OpenCode、OpenClaw、Claude Code 和 Vercel AI SDK 中接入的具体配置。
Modal工程师阅读了已发布的Flash Attention 4源代码，逆向解析了这个针对Blackwell优化的注意力内核的工作原理，因为目前尚无官方技术报告。文章追踪了一个tile在内核的warp特化异步流水线中的流转过程，并详述了两个数学技巧：一个可替代基于SFU的指数运算的三次多项式软件指数，以及一个更聪明的在线softmax重缩放规则——Tri Dao称其将修正次数减少了10倍。据报道，FA4比Nvidia闭源的cudnn注意力内核快约20%，而在撰写本文时反向版本尚不可用。
推荐理由：Modal工程师阅读了已发布的Flash Attention 4源代码，解释了其warp特化流水线和两个数学技巧，提供了一个关于CUDA内核设计走向的可迁移视角。
Modal 宣布推出 alpha 版 GPU 内存快照，将其现有的检查点/恢复系统扩展至捕获 GPU 显存、CUDA 内核、流和上下文，使 GPU 工作负载从冻结状态恢复，而非在启动后重建 CUDA 状态。
推荐理由：Modal 将 GPU 状态加入其内存快照，使 torch.compile 和 vLLM 工作负载的冷启动时间最多缩短 10 倍，并让缩容至零更具实用性。
Modal 为其无服务器 GPU 容器运行时引入了内存快照恢复功能，称其冷启动速度比标准容器启动快约 2.5 倍。一个通常需要约 13 秒的 Stable Diffusion 推理 Function 现在可在 3.5 秒内恢复，而一个简单的 import torch 程序在 p50 下从约 5 秒降至约 1.05 秒，在 p0 下降至 0.69 秒。快照基于 gVisor 的 checkpoint/restore 构建，按需创建，当恢复失败时会自动回退到标准容器启动；GPU 状态尚未保存，因此必须在恢复后重建。
推荐理由：Modal 解释了基于 gVisor 的内存快照如何缩短无服务器冷启动，并给出了 Stable Diffusion Function 和 torch import 示例的具体恢复耗时。