Qwen3.8-2.4T-A95B 已作为开源权重模型发布，并同步在 Modal 上线。Modal 表示其与 Qwen 在发布前合作，通过 SGLang 和针对 Qwen3.8 形状调优的定制 DFlash 推测器，为 Modal Auto Endpoints 提供 day zero 支持。
推荐理由：Modal 在 Qwen3.8-2.4T-A95B 开源权重发布当天即上线共享端点，并说明其定制 DFlash 推测器如何针对该模型的形状提升推理速度。
Vapi认为，语音智能体要在五个实时维度上接受评判：延迟、轮流对话、打断处理、韵律，以及一条有韧性的流水线。它引用研究指出，人类对话的轮次间隔接近200毫秒，并指出超过约500–700毫秒的延迟会让人感到不自然，而朴素的串行流水线可能耗时约1.9秒，优化后的流水线则为600–900毫秒。Vapi将其与模型无关的流水线定位为可通过模拟通话进行调优和测试。
Modal 已将全部 Functions 迁移至新的地理分布式 I/O 平面，使端到端 Function Call 延迟在 p50 上降低约 80ms。此前，每个 Function 的输入和输出都经由 us-east 的 I/O 服务器路由，每次调用会增加最多几百毫秒的延迟；新平面已在至少 4 个区域可用，并可通过 routing_region 标志选择。服务器层已用 Go 重写，非关键工作已移出热路径。
IBM Research 扩展了 K-Search——来自 UC Berkeley Sky Lab 的进化式内核搜索框架——为其增加了 MLX 后端和一个结构化的 CUDA 到 MLX 翻译层，可将现有 CUDA 内核适配为 Apple Silicon 内核。在一个 MLX 注意力内核上，该方法达到了 Apple 原生 MLX Attention 内核速度的 0.97 倍，而在没有翻译上下文时为 0.26 倍；在 M1 Max 上，一个进化出的 Mamba SSM 内核相比社区 mlx-lm 实现实现了最高 20 倍的 prefill 加速。作者将这一提升主要归因于提供给 LLM 的上下文和约束的质量，而非其编写 Metal 代码的能力，并表示该方法并非 MLX 专属。
Modal 在发布当天就在其平台上线了 Moonshot 的 Kimi K3，通过按 token 计费的 Shared API 和专用 Auto Endpoints 提供这款拥有 1M token 上下文窗口的 2.8 万亿参数多模态模型。Modal 表示，针对 K3 架构调优的自定义 DFlash speculator 在 agentic 工作负载上将交互性从每秒 100 token 提升到 460 token，并将每 GPU 吞吐量从 800k TPM 提升到 150 万 TPM。该模型采用混合专家设计，每个 token 激活 896 个专家中的 16 个，Moonshot 在发布前向 vLLM 贡献了新的前缀缓存实现。
推荐理由：Modal 详细介绍了它如何在发布当天将 Moonshot 的 2.8T 参数 Kimi K3 引入其平台，包括一个自定义 DFlash speculator，将交互性从每秒 100 token 提升到 460 token。
AI语音代理通过两种方式缩短客户等待时间：一是通过自助服务分流、智能路由、坐席辅助和需求预测，将工作从队列中移除；二是即时接听，无需等待。SQM Group发现，客户平均在2分36秒时放弃通话，而ContactBabel指出，2024年英国的平均放弃率为8.4%。Vapi表示，首个语音代理可在几分钟内从其仪表板搭建完成，然后根据ASA、放弃率和首次呼叫解决率进行评估。
Vapi 推出了 Model Intelligence，这是一组帮助开发者语音智能体选择模型组合的功能。它包含四个模型预设（Balanced、High Intelligence、Ultra Fast、Cost Saver），每个预设打包了转写器、LLM 和语音，并提供基于超过 10 亿次 Vapi 调用得出的各模型成本、延迟和质量指标。
Modal 是 Devin Outposts 的发布合作伙伴。Devin Outposts 是 Cognition 的一项功能，它将 Devin 的代码执行迁移到客户控制的环境中，而 Devin 的推理仍留在 Cognition 的云端。开源的 modal-devin 库和 CLI 会在 Modal Sandbox 中运行每个 Outpost 会话，从而获得 GPU 支持的机器、自定义镜像、工作区快照和缩容到零的能力，并将于 2026 年 7 月 21 日以 alpha 版本上线。设置使用 uvx modal-devin init，它会生成一个编排器函数和一个工作会话函数，团队可以继续自定义它们。
Modal 已从零重建其核心沙箱平台，在新系统上它同时运行了 100 万个沙箱，并在不到一分钟内全部创建完成。此次重新设计将中央协调和任何数据存储从沙箱创建路径中移除：横向扩展的调度服务器通过内存算法挑选一个 worker 并直接调用它，而 worker 则异步将状态发布到 Redis stream。Modal 表示沙箱启动延迟的中位数低于半秒，新系统已以 Beta 版提供，只需改一行代码即可选择启用。
推荐理由：Modal 重建了其沙箱控制平面以去除中央协调，展示了当全局一致性离开关键路径后，容器调度能够扩展到何种程度。
Thinking Machines 发布了 Inkling，这是一个通用多模态模型，可接收文本、图像和音频输入并输出文本，Modal 从第一天起就以按 token 计费的托管端点形式提供该模型。Inkling 是一个混合专家 Transformer，总参数 975B，激活参数 41B，上下文窗口 1M token，原生支持音频和视觉，每五个滑动窗口注意力层对应一个全注意力层。在 8 块 B200 上的智能体工作负载中，Modal 定制的 DFlash 推测器在每 GPU 吞吐 2.5M TPM 时达到每用户每秒 250 token，在同等吞吐下交互速度比模型内置的推测路径快 67%。
推荐理由：Modal 为 Thinking Machines 的 975B 参数 Inkling 提供的首日端点表明，定制的 DFlash 推测器将交互速度比模型内置的推测路径提升了 67%。
Modal 认为应将其理解为一台计算机，而非“算力版 Uber”、新云或推理提供商，因为它售卖的是处理器秒和字节秒，而不是 token。文章将传统机器的 ALU、内存层次、I/O、网卡和操作系统映射到 Modal 的容器、对象存储、输入/输出平面、路由平面和隧道上。它还将 Modal Functions、Sandboxes 和 Servers 分别对应到无状态工具、Linux 进程和 HTTP 监听器。
加州大学伯克利分校的 Aditya G. Parameswaran 及其合作者认为，随着推理成本从 2023 年初的约每百万 token 30 美元降至如今的不到 1 美元，数据系统必须围绕三大挑战重新设计：为智能体、由智能体、属于智能体的系统。他们指出，在一个每个任务使用多个智能体的 text-to-SQL 基准测试中，只有 10-20% 的子计划是互不相同的，因此 80-90% 的子查询在做重复工作，并提出了复用、近似和主动式数据系统的方案。
Modal 发布了一个交互式工具，用于估算无服务器与预留 GPU 的成本，默认采用 B200 GPU 在 Modal 上以无服务器方式运行、以及通过三年期超大规模云厂商预留的当前费率。该模型显示，当应用的峰值与平均比超过预留折扣率时，无服务器 GPU 的总体成本更低，并且 Modal 提到观察到的折扣为 2-5 倍，而峰值与平均比为 5-10 倍。
Modal Research 与上海纽约大学的 HeavyBall Research 推出多 token 残差预测（MRP），这是一个附加在冻结扩散语言模型主干上的 3 层模块，预测步间 logit 残差而非完整的下一步分布。在 SDAR-4B GSM8K 上，MRP 在 K=3 时保持 70.9% 的准确率，而朴素 MTP 蒸馏仅为 5.9%；在 SGLang 中，推测模式下可实现最高 1.56 倍的无损吞吐提升，或在激进低阈值动态解码下最多恢复 +16 个准确率点。论文、代码、SGLang 实现以及 Hugging Face 上的 SDAR-MRP 模型均已发布。
Anthropic 于 6 月 30 日推出 Claude Science，这是一个 AI 工作台，生命科学研究人员可在与 Claude 的对话中直接运行计算工作负载。Modal 作为计算后端集成：需要 GPU 或大量并发 CPU 的工作负载，会从研究人员连接的工作区自动路由到 Modal 沙箱，而默认执行仍保留在本地机器上的沙箱中。Modal 列举了跨数百个容器的扇出虚拟筛选、为 ESMFold2 等模型提供逐步 GPU 访问、共享 Modal Volumes 存储和可复现的 Modal Images，并承诺为 Anthropic 的 AI for Science Claude Science Cohort 提供最高 10 万美元的计算资源，每个项目 500–2,000 美元，申请开放至 2026 年 7 月 15 日。
推荐理由：Modal 的帖子解释了 Claude Science 如何将 GPU 和并行工作负载路由到 Modal 沙箱，并附有具体的生命科学示例以及面向学术实验室的计算资助。
Modal 推出了 Servers，这是一个区域化的 HTTP 服务器副本自动扩缩容池，面向 HTTP、WebSocket 和 gRPC 流量，针对交互式智能体的 LLM 推理等延迟敏感型工作负载。Modal 表示，通过将控制平面查找和排队移出请求路径，p50 延迟从 39ms 降至 6ms，因此当没有可用副本时客户端会收到 503，必须在应用层处理降载。路由层运行在 AWS EKS 上，边缘使用 Envoy，Modal 自研的 Rust 代理 fprs 基于 Cloudflare 的 pingora 构建，负责域名关联和负载均衡，配置从 Spanner 读取并缓存在内存中。
Vapi 发布了与 Spring Venture Group 合办网络研讨会中提问最多的七个问题的解答，会上 Homer Kay 介绍了 SVG 如何使用 Vapi 语音代理在将呼叫者转接给持证代理之前对 Medicare 线索进行资格筛选。解答涵盖外呼合规、API 优先集成、独立替换 STT、LLM 和 TTS 组件、人工转接，以及符合 HIPAA 要求且采用零数据保留的配置。
Modal 正在推出 Modal Auto Endpoints，只需一键即可将 Modal 的基础设施扩展能力与业界领先的推理性能相结合，同时保留对代码的控制权。Modal 表示，主要的延迟收益来自使用自定义 DFlash 推测器模型的推测解码；在 Decagon Voice 的案例研究中，这将端到端延迟降低了约 100ms，约占服务端解码延迟的 40%，使其比最快的专有替代方案快 60ms 以上。Modal 还与 Z Lab 和 SGLang 一起发布了开源 DFlash 推测器模型，其中包括一个用于 Qwen 3.5 397B-A17B 的模型，其性能比 MTP 提升超过 50%。
Modal 推出了 Auto Endpoints，这是一项自助式服务，可将生产级 LLM 推理部署为兼容 OpenAI API 的端点，并由用户可见且可控的 Modal App 提供支持。每个受支持的模型都附带一个初始部署，该部署根据 Modal 自身的基准测试进行调优，使用 SGLang 等引擎以及来自 Z Lab 的 DFlash 推测解码草稿器，用户可以查看 GPU 选择、引擎标志以及 TTFT、ITL 和推测解码接受长度等推理指标。Modal 还将 Modal Servers 从测试版发布，用于提供开销为 5ms 的区域化路由，并表示它通过一个仍由人类工程师监控的内部智能体系统来生成端点部署。
推荐理由：Modal 的 Auto Endpoints 公开了托管推理提供商通常隐藏的服务栈、引擎指标和基准测试配方，为团队提供了一条自助式路径来拥有开放模型推理。
Modal 认为，容器调度和启动时间——大多数沙箱基准测试将其作为交互时间来衡量——只是用户实际等待过程中最小的一部分；容器启动后的应用层设置往往需要数秒。Modal 正在将就绪探针（Readiness Probes）正式开放，用于指示沙箱何时完成初始化，并推荐基于 modal.Queue 和目录快照（Directory Snapshots）构建热沙箱池，以将设置移出用户的关键路径。
Modal 在 Hugging Face 上为 Qwen 系列发布了一组 DFlash 草稿模型，包括 Qwen 3.6 35B-A3B-DFlash 和从 4B 到 122B-A10B 的 Qwen 3.5 变体，以及一个用 SGLang 构建的 Qwen 3.5 397B-A17B 的 DFlash 推测器。该公司表示，新的草稿器在现有 DFlash 基线之上额外提速 5-20%，并且可以在 B200 节点上以并发 1 运行 Qwen 3.5 122B-A10B 达到超过 1000 tok/s，而不使用推测时为 250 tok/s。文章认为，在内核优化只能带来几个百分点提升的地方，推测解码可带来 2 倍至 3 倍的增益，并提出了一个根据接受长度估算加速比的 roofline 模型。
推荐理由：Modal 解释了为何押注推测解码，并为 Qwen 系列发布了 DFlash 草稿模型，附有实测加速比和用于估算增益的 roofline 模型。
Vapi 通过从单个 ROUGH_DRAFT.md 文件生成主页上的 15 个语音代理（3 个用例、5 种语言），而非在仪表盘中逐个手动编辑。这套四阶段框架（规划、起草、引导、加固）搭建了一个 TypeScript 项目，使用温度为 0.5 的 OpenAI gpt-4.1、ElevenLabs 和 Deepgram/Soniox 语音栈，以及一个幂等的 upsert 循环，将 assistant ID 存入 .env.local。该仓库已公开：克隆它，添加 VAPI_PRIVATE_KEY，然后运行 bun run bootstrap。
Modal 发布了一批平台更新，包括 alpha 版 VM 沙箱，可运行真实 Linux 内核以支持 Docker 容器、eBPF、systemd 和 cgroups。函数现在可以路由至美国西部、欧洲西部或亚太南部，而非默认的美国东部区域，RBAC 已向所有 Team 和 Enterprise 计划开放。沙箱就绪探针现已正式可用，Python SDK 1.5.0 和 JS/Go SDK 0.8.0 将默认快照 TTL 设为 30 天。
Modal 为 FlashAttention-4 内核贡献了优化，以加速以解码为主的 LLM 推理工作负载，这类负载的瓶颈在于内存带宽。改动包括将“split KV”并行技术移植到 FA4，并用 cp.async 替换 TMA cp.async.bulk 加载以应对不规则内存访问。一个 FP8 输入 PR（2026 年 4 月 17 日合并）相比 bf16 基线带来最高 1.16 倍的吞吐量，并支持更小的 KV 缓存。
Factory 正在 Droid 中推出自动化安全审查，该功能会在每个非草稿 PR 上，在标准代码审查之外运行基于 STRIDE 的安全审查，并以行内评论的形式在 diff 上发布发现的问题，包括严重程度、CWE 参考、解释和建议修复。该公司表示，Droid 的安全审查已在生产代码库中运行，并发现了经过负责任披露的问题，包括 external-secrets 中的 CVE-2026-42876 以及 workos/workos-node#1578。Droid 会为变更面构建轻量级威胁模型，扫描 OWASP Top 10 和 OWASP LLM Top 10 等问题中的漏洞，然后针对 diff 验证每个候选发现以过滤误报，最后为每个 PR 发布一条去重后的摘要。
推荐理由：Factory 的 Droid 现在会在每个非草稿 PR 上运行基于 STRIDE 的安全审查，且该文章展示了它在生产代码库中发现的真实 CVE。
Modal 表示，LLM 强化学习后训练的瓶颈如今在于基础设施，而非算法，并发布了一个源自大规模运行强化学习实践的开源库。它详述了三个痛点——胶水代码、集群排队和 GPU 利用率不足——并报告称 RDMA 权重同步将 Qwen3 8B 的更新耗时从 2.62 秒缩短至 41 毫秒。
MiniMax 将 MiniMax Agent 升级并更名为 Mavis，同时推出 Agent Teams，允许多个角色专属 Agent 在桌面端并行运行，处理长时间、复杂任务。该系统采用 Leader、Worker 和 Verifier 角色，配合状态机 Team Engine，让任务在生成、验证和完成之间循环，并将 TokenPlan 与 Agent Plan 合并为一个订阅，覆盖 CLI、API 和 Agent，横跨 M2.7、音乐、视频和语音。MiniMax 表示该 Agent 即将开源，预计与 MiniMax M3 模型一同发布，桌面应用目前已可用。
推荐理由：MiniMax 解释了其 Leader-Worker-Verifier Agent Team 背后的设计权衡，包括交接、共享和聚合成本，为构建多 Agent 运行时提供了具体参考。
Modal 正在向 Team 和 Enterprise 计划的所有用户提供基于角色的访问控制（RBAC），其构建以环境作为可强制执行的安全边界。受限环境默认使工作区成员为只读，只有被明确授权的用户或代理才能部署和管理资源，并且 RBAC 与审计日志相结合，可完整记录谁在何时做了什么。
Vapi 认为，语音 AI 如今能让语音成为 ACCESS 慢病管理中在经济上可行的渠道，并引用 Hiya 的数据称，42% 的消费者偏好通过语音进行医疗沟通，高于上一年的 33%。该文章详述了三个生产工作流，其中包括 Spring Venture Group 的 Medicare 线索资格审核智能体，由四名工程师在一周内构建完成，将转接至成交率提升了 3%，并带来了超过 580 万美元的综合节省与新增收入。
Applied Compute 通过强化学习训练企业定制 AI 智能体，依托 Modal 的沙箱、Functions 和亚秒级冷启动，使数千个并行 rollout 保持 GPU 满载运行。其智能体包括为 DoorDash 打造的商家入驻模型，以及为 Cognition 打造的 bug 捕捉智能体。
Modal 宣布 Modal Sandboxes 与 Anthropic 的 Claude Managed Agents 实现一流集成，所有工具调用都在自托管的 Modal Sandbox 中运行，而 Anthropic 的托管 agent 循环负责处理会话状态。Modal 提到自定义镜像的快速冷启动、快照与卷持久化、无空闲成本的突发定价、短期连接令牌，以及每位客户最高 100,000 个并发沙箱。该公司还在同一 Modal 加 Managed Agents 基础上发布了两份参考示例：一个 CLI agent 和一个 Slack 机器人。
Modal 发布了一篇工程文章，讲述其如何将 AI 推理副本的启动时间从约 2,000 秒缩短至约 50 秒，所用四个组件为：空闲健康 GPU 缓冲池、名为 ImageFS 的惰性内容寻址文件系统、基于 gVisor runsc 的宿主机侧检查点/恢复，以及基于 Nvidia 驱动支持的 CUDA 检查点/恢复。在超过一万次冷启动中，对于约 1 GiB 的 bf16 Qwen 3 0.6B 模型，vLLM 平均启动延迟从 95,679 毫秒降至 13,797 毫秒，SGLang 从 83,713 毫秒降至 17,486 毫秒。文章也指出了局限，包括快照仅支持单 GPU，以及宿主机环境敏感性要求每次部署需准备多个快照。
伯克利人工智能研究院的一篇综述考察了自适应并行推理，即推理模型自身决定何时分解子任务、生成多少并发线程以及如何协调它们。文章将其与固定并行方法（如自一致性、Best-of-N、思维树、MCTS、ParaThinker、GroupThink 和 Hogwild! Inference）进行对比，这些方法从外部强加并行结构。顺序推理在 token 和延迟上线性扩展，并存在上下文腐化风险，这促使人们采用独立并发探索的并行线程。
Modal 在多模态工作负载上对 SGLang 的调度器进行了性能分析，并用一个简单的 Python 字典缓存替代了重复的 CUDA IPC 句柄记录工作，在 H100 上运行 Qwen2.5-VL-3B-Instruct 时，吞吐量提升了 16.2%，平均 TTFT 降低了 13.2%，TPOT 降低了 17.2%。该修复已合并到 SGLang v0.5.10 中。
Vapi Blog 采访 Cartesia 的 Iz Shalom，讨论在集成式与开放模块化语音 AI 栈之间如何选择。集成栈适合窄用例和快速概念验证，开放栈适合多用例、多语言支持以及替换组件。文章敦促团队在自身环境中测量 P99 延迟，并在投产前建立严格的评估。
AE Studio 详细介绍了其如何在 Modal 上通过强化学习训练 LLM 证明数学定理，在保持训练循环固定的情况下对比了进化策略与 GRPO。该方案在 GPU 上运行 vLLM 推理，在隔离的 CPU 沙箱中运行 Lean 编译器验证，并配备轻量级编排器，使用按函数镜像、.map() 扇出以及 Volumes 存储基础权重。
Factory 发布了一项自动化 QA 技能，它能像真实用户一样操作应用，填写表单、在终端中输入并调用端点，然后以单条评论的形式在每个拉取请求上发布结构化报告，包含截图、终端快照和 API 追踪。该技能通过 Droid 在每次推送时运行，可配置为可选的 CI 检查，由 PR 标签、评论命令或手动触发，也可在任何 Droid 会话中通过 /qa 在本地使用。设置使用 /install-qa，该功能现已在所有 Factory 计划中可用。
Google Cloud 将 Replit 评为 2026 年度 AI 工具合作伙伴，认可该平台目前已被超过 5000 万人使用，覆盖 85% 的《财富》500 强企业。该奖项紧随 Replit 推出 Agent 4 之后，公司称其速度比 Agent 3 快 10 倍，并可并行运行多个智能体。Replit 已在 Google Cloud Marketplace 上架，并与 Cloud Run、Kubernetes Engine 和 BigQuery 集成。
GRASP 是一种面向学习型世界模型的新型基于梯度的规划器，通过将轨迹提升到虚拟状态以进行时间并行优化、为状态迭代添加随机性以促进探索，并重塑梯度使动作获得清晰信号，同时避免通过高维视觉模型产生脆弱的状态输入梯度，从而使长视野规划变得实用。该工作解决了使长视野规划变得脆弱的不良条件计算图、非贪婪局部极小值以及高维潜在失效模式等问题。该工作与 Mike Rabbat、Aditi Krishnapriyan、Yann LeCun 和 Amir Bar 共同完成。
OpenAI 发布了一份 API 部署清单，指导开发者将工作负载迁移到 Responses API 和 GPT-6 模型系列，包括 gpt-6-astra、gpt-6.1-sol、gpt-6 Sol 和 gpt-6 Luna。该指南涵盖从 low 到 max 的 reasoning.effort 级别、text.verbosity、带延迟工具加载的 tool_search、Programmatic Tool Calling、Multi-agent、compaction、prompt caching 和 WebSocket 模式，OpenAI 表示对于包含 20 次或更多工具调用的工作流，WebSocket 模式已显示出端到端执行速度提升最高约 40%。清单还详述了可靠性与安全步骤，例如处理 429 和 503 错误、为长任务设置 background=True、safety_identifier 以及 misalignment 监控。
推荐理由：OpenAI 的官方部署清单将模型选择、推理力度、工具搜索、compaction 和 WebSocket 模式整合为一份针对 GPT-6 工作负载的迁移指南。