LiveKit 为智能体会话、录制、WebRTC 和 SIP 连接引入按秒计费
LiveKit 已将智能体会话分钟数、录制、WebRTC 连接和 SIP 连接改为按秒计费,最小计费单位为十秒,适用于所有套餐和账户,包括企业合同。该变更已生效,并将于 9 月账单中体现 8 月的用量,不会对客户造成技术层面的变化。LiveKit 表示,按分钟计费与仅持续数秒的短时外呼不匹配,限制了该用例。
LiveKit 已将智能体会话分钟数、录制、WebRTC 连接和 SIP 连接改为按秒计费,最小计费单位为十秒,适用于所有套餐和账户,包括企业合同。该变更已生效,并将于 9 月账单中体现 8 月的用量,不会对客户造成技术层面的变化。LiveKit 表示,按分钟计费与仅持续数秒的短时外呼不匹配,限制了该用例。
LiveKit 已在 Agent Observability 中加入 PII 脱敏功能,可在录制内容和转录文本存储之前自动移除姓名、地址、生日及其他敏感信息,对所有 Agent Observability 客户不额外收费。由 LLM 结合上下文阅读每段对话以检测 PII,将相关词语替换为标记,并从音频中删除整个轮次。该功能覆盖 10 个组别下的 41 种 PII 类型,需要 Python 或 Node.js 的 LiveKit Agents SDK 1.7.0。
Vapi 推出 Simulations,这是一项原生 AI 驱动的测试功能,在语音代理通话的另一端放置具有鲜明个性和源自客户场景的 AI 测试员。每次运行都会返回通过/失败结果、完整转录和录音,团队可以模拟 API 响应、运行低成本的纯文本聊天模式或完整语音模式,并通过 API 触发运行,同时设置质量门禁,在通过率下降时阻止部署。
Factory 已在面向企业组织的 Factory Analytics 中正式推出 Agent Effectiveness,将 Factory 会话与周期时间、工作意图和已交付产物关联起来。该功能新增了 Throughput、Output 和 Attribution 视图,把 Droid 的使用情况与交付成果连接起来,并由 Local Signals 分类层提供支持,该分类层可从 Jira、Linear、GitHub 和 GitLab 读取数据。该功能为可选启用,默认关闭,且需要 Advanced Analytics 企业控制项。
Qwen3.8-2.4T-A95B 已作为开源权重模型发布,并同步在 Modal 上线。Modal 表示其与 Qwen 在发布前合作,通过 SGLang 和针对 Qwen3.8 形状调优的定制 DFlash 推测器,为 Modal Auto Endpoints 提供 day zero 支持。
推荐理由:Modal 在 Qwen3.8-2.4T-A95B 开源权重发布当天即上线共享端点,并说明其定制 DFlash 推测器如何针对该模型的形状提升推理速度。
Modal 已将全部 Functions 迁移至新的地理分布式 I/O 平面,使端到端 Function Call 延迟在 p50 上降低约 80ms。此前,每个 Function 的输入和输出都经由 us-east 的 I/O 服务器路由,每次调用会增加最多几百毫秒的延迟;新平面已在至少 4 个区域可用,并可通过 routing_region 标志选择。服务器层已用 Go 重写,非关键工作已移出热路径。
Speechify 的 Simba 3.2 以 99 分首次登顶 Vapi 的 Humanness Index,距离人类基线 100 分仅差一分;Fish Audio 的 S2.1-Pro 以 94 分入榜,首音频延迟为 141 毫秒。此前领先的 xAI Grok TTS 仅以 95 分占据榜首三周,而领先分数已从 95 升至 99。Vapi 认为,与模型无关的语音平台让团队可以随着排名变化更换 TTS 模型。
Modal 在发布当天就在其平台上线了 Moonshot 的 Kimi K3,通过按 token 计费的 Shared API 和专用 Auto Endpoints 提供这款拥有 1M token 上下文窗口的 2.8 万亿参数多模态模型。Modal 表示,针对 K3 架构调优的自定义 DFlash speculator 在 agentic 工作负载上将交互性从每秒 100 token 提升到 460 token,并将每 GPU 吞吐量从 800k TPM 提升到 150 万 TPM。该模型采用混合专家设计,每个 token 激活 896 个专家中的 16 个,Moonshot 在发布前向 vLLM 贡献了新的前缀缓存实现。
推荐理由:Modal 详细介绍了它如何在发布当天将 Moonshot 的 2.8T 参数 Kimi K3 引入其平台,包括一个自定义 DFlash speculator,将交互性从每秒 100 token 提升到 460 token。
Vapi 推出了 Model Intelligence,这是一组帮助开发者语音智能体选择模型组合的功能。它包含四个模型预设(Balanced、High Intelligence、Ultra Fast、Cost Saver),每个预设打包了转写器、LLM 和语音,并提供基于超过 10 亿次 Vapi 调用得出的各模型成本、延迟和质量指标。
Modal 是 Devin Outposts 的发布合作伙伴。Devin Outposts 是 Cognition 的一项功能,它将 Devin 的代码执行迁移到客户控制的环境中,而 Devin 的推理仍留在 Cognition 的云端。开源的 modal-devin 库和 CLI 会在 Modal Sandbox 中运行每个 Outpost 会话,从而获得 GPU 支持的机器、自定义镜像、工作区快照和缩容到零的能力,并将于 2026 年 7 月 21 日以 alpha 版本上线。设置使用 uvx modal-devin init,它会生成一个编排器函数和一个工作会话函数,团队可以继续自定义它们。
Modal 已从零重建其核心沙箱平台,在新系统上它同时运行了 100 万个沙箱,并在不到一分钟内全部创建完成。此次重新设计将中央协调和任何数据存储从沙箱创建路径中移除:横向扩展的调度服务器通过内存算法挑选一个 worker 并直接调用它,而 worker 则异步将状态发布到 Redis stream。Modal 表示沙箱启动延迟的中位数低于半秒,新系统已以 Beta 版提供,只需改一行代码即可选择启用。
推荐理由:Modal 重建了其沙箱控制平面以去除中央协调,展示了当全局一致性离开关键路径后,容器调度能够扩展到何种程度。
Thinking Machines 发布了 Inkling,这是一个通用多模态模型,可接收文本、图像和音频输入并输出文本,Modal 从第一天起就以按 token 计费的托管端点形式提供该模型。Inkling 是一个混合专家 Transformer,总参数 975B,激活参数 41B,上下文窗口 1M token,原生支持音频和视觉,每五个滑动窗口注意力层对应一个全注意力层。在 8 块 B200 上的智能体工作负载中,Modal 定制的 DFlash 推测器在每 GPU 吞吐 2.5M TPM 时达到每用户每秒 250 token,在同等吞吐下交互速度比模型内置的推测路径快 67%。
推荐理由:Modal 为 Thinking Machines 的 975B 参数 Inkling 提供的首日端点表明,定制的 DFlash 推测器将交互速度比模型内置的推测路径提升了 67%。
Anthropic 于 6 月 30 日推出 Claude Science,这是一个 AI 工作台,生命科学研究人员可在与 Claude 的对话中直接运行计算工作负载。Modal 作为计算后端集成:需要 GPU 或大量并发 CPU 的工作负载,会从研究人员连接的工作区自动路由到 Modal 沙箱,而默认执行仍保留在本地机器上的沙箱中。Modal 列举了跨数百个容器的扇出虚拟筛选、为 ESMFold2 等模型提供逐步 GPU 访问、共享 Modal Volumes 存储和可复现的 Modal Images,并承诺为 Anthropic 的 AI for Science Claude Science Cohort 提供最高 10 万美元的计算资源,每个项目 500–2,000 美元,申请开放至 2026 年 7 月 15 日。
推荐理由:Modal 的帖子解释了 Claude Science 如何将 GPU 和并行工作负载路由到 Modal 沙箱,并附有具体的生命科学示例以及面向学术实验室的计算资助。
Modal 推出了 Servers,这是一个区域化的 HTTP 服务器副本自动扩缩容池,面向 HTTP、WebSocket 和 gRPC 流量,针对交互式智能体的 LLM 推理等延迟敏感型工作负载。Modal 表示,通过将控制平面查找和排队移出请求路径,p50 延迟从 39ms 降至 6ms,因此当没有可用副本时客户端会收到 503,必须在应用层处理降载。路由层运行在 AWS EKS 上,边缘使用 Envoy,Modal 自研的 Rust 代理 fprs 基于 Cloudflare 的 pingora 构建,负责域名关联和负载均衡,配置从 Spanner 读取并缓存在内存中。
Modal 正在推出 Modal Auto Endpoints,只需一键即可将 Modal 的基础设施扩展能力与业界领先的推理性能相结合,同时保留对代码的控制权。Modal 表示,主要的延迟收益来自使用自定义 DFlash 推测器模型的推测解码;在 Decagon Voice 的案例研究中,这将端到端延迟降低了约 100ms,约占服务端解码延迟的 40%,使其比最快的专有替代方案快 60ms 以上。Modal 还与 Z Lab 和 SGLang 一起发布了开源 DFlash 推测器模型,其中包括一个用于 Qwen 3.5 397B-A17B 的模型,其性能比 MTP 提升超过 50%。
Modal 推出了 Auto Endpoints,这是一项自助式服务,可将生产级 LLM 推理部署为兼容 OpenAI API 的端点,并由用户可见且可控的 Modal App 提供支持。每个受支持的模型都附带一个初始部署,该部署根据 Modal 自身的基准测试进行调优,使用 SGLang 等引擎以及来自 Z Lab 的 DFlash 推测解码草稿器,用户可以查看 GPU 选择、引擎标志以及 TTFT、ITL 和推测解码接受长度等推理指标。Modal 还将 Modal Servers 从测试版发布,用于提供开销为 5ms 的区域化路由,并表示它通过一个仍由人类工程师监控的内部智能体系统来生成端点部署。
推荐理由:Modal 的 Auto Endpoints 公开了托管推理提供商通常隐藏的服务栈、引擎指标和基准测试配方,为团队提供了一条自助式路径来拥有开放模型推理。
Modal 认为,容器调度和启动时间——大多数沙箱基准测试将其作为交互时间来衡量——只是用户实际等待过程中最小的一部分;容器启动后的应用层设置往往需要数秒。Modal 正在将就绪探针(Readiness Probes)正式开放,用于指示沙箱何时完成初始化,并推荐基于 modal.Queue 和目录快照(Directory Snapshots)构建热沙箱池,以将设置移出用户的关键路径。
Modal 在 Hugging Face 上为 Qwen 系列发布了一组 DFlash 草稿模型,包括 Qwen 3.6 35B-A3B-DFlash 和从 4B 到 122B-A10B 的 Qwen 3.5 变体,以及一个用 SGLang 构建的 Qwen 3.5 397B-A17B 的 DFlash 推测器。该公司表示,新的草稿器在现有 DFlash 基线之上额外提速 5-20%,并且可以在 B200 节点上以并发 1 运行 Qwen 3.5 122B-A10B 达到超过 1000 tok/s,而不使用推测时为 250 tok/s。文章认为,在内核优化只能带来几个百分点提升的地方,推测解码可带来 2 倍至 3 倍的增益,并提出了一个根据接受长度估算加速比的 roofline 模型。
推荐理由:Modal 解释了为何押注推测解码,并为 Qwen 系列发布了 DFlash 草稿模型,附有实测加速比和用于估算增益的 roofline 模型。
Modal 发布了一批平台更新,包括 alpha 版 VM 沙箱,可运行真实 Linux 内核以支持 Docker 容器、eBPF、systemd 和 cgroups。函数现在可以路由至美国西部、欧洲西部或亚太南部,而非默认的美国东部区域,RBAC 已向所有 Team 和 Enterprise 计划开放。沙箱就绪探针现已正式可用,Python SDK 1.5.0 和 JS/Go SDK 0.8.0 将默认快照 TTL 设为 30 天。
Factory 正在 Droid 中推出自动化安全审查,该功能会在每个非草稿 PR 上,在标准代码审查之外运行基于 STRIDE 的安全审查,并以行内评论的形式在 diff 上发布发现的问题,包括严重程度、CWE 参考、解释和建议修复。该公司表示,Droid 的安全审查已在生产代码库中运行,并发现了经过负责任披露的问题,包括 external-secrets 中的 CVE-2026-42876 以及 workos/workos-node#1578。Droid 会为变更面构建轻量级威胁模型,扫描 OWASP Top 10 和 OWASP LLM Top 10 等问题中的漏洞,然后针对 diff 验证每个候选发现以过滤误报,最后为每个 PR 发布一条去重后的摘要。
推荐理由:Factory 的 Droid 现在会在每个非草稿 PR 上运行基于 STRIDE 的安全审查,且该文章展示了它在生产代码库中发现的真实 CVE。
MiniMax 将 MiniMax Agent 升级并更名为 Mavis,同时推出 Agent Teams,允许多个角色专属 Agent 在桌面端并行运行,处理长时间、复杂任务。该系统采用 Leader、Worker 和 Verifier 角色,配合状态机 Team Engine,让任务在生成、验证和完成之间循环,并将 TokenPlan 与 Agent Plan 合并为一个订阅,覆盖 CLI、API 和 Agent,横跨 M2.7、音乐、视频和语音。MiniMax 表示该 Agent 即将开源,预计与 MiniMax M3 模型一同发布,桌面应用目前已可用。
推荐理由:MiniMax 解释了其 Leader-Worker-Verifier Agent Team 背后的设计权衡,包括交接、共享和聚合成本,为构建多 Agent 运行时提供了具体参考。
Modal 正在向 Team 和 Enterprise 计划的所有用户提供基于角色的访问控制(RBAC),其构建以环境作为可强制执行的安全边界。受限环境默认使工作区成员为只读,只有被明确授权的用户或代理才能部署和管理资源,并且 RBAC 与审计日志相结合,可完整记录谁在何时做了什么。
Modal 宣布 Modal Sandboxes 与 Anthropic 的 Claude Managed Agents 实现一流集成,所有工具调用都在自托管的 Modal Sandbox 中运行,而 Anthropic 的托管 agent 循环负责处理会话状态。Modal 提到自定义镜像的快速冷启动、快照与卷持久化、无空闲成本的突发定价、短期连接令牌,以及每位客户最高 100,000 个并发沙箱。该公司还在同一 Modal 加 Managed Agents 基础上发布了两份参考示例:一个 CLI agent 和一个 Slack 机器人。
OpenAI 发布了一款 Developers 插件,让 ChatGPT 和 Codex 能够访问 OpenAI API Platform 和 API 设置指导,并针对 Claude Code 和 Cursor 做了适配,捆绑了可移植的开发者技能和公开的 OpenAI Docs MCP 服务器。该插件涵盖 API 密钥设置、使用 Agents SDK 构建应用、将 API 迁移到 Responses API,以及排查常见 API 故障。
Factory 发布了一项自动化 QA 技能,它能像真实用户一样操作应用,填写表单、在终端中输入并调用端点,然后以单条评论的形式在每个拉取请求上发布结构化报告,包含截图、终端快照和 API 追踪。该技能通过 Droid 在每次推送时运行,可配置为可选的 CI 检查,由 PR 标签、评论命令或手动触发,也可在任何 Droid 会话中通过 /qa 在本地使用。设置使用 /install-qa,该功能现已在所有 Factory 计划中可用。
OpenAI 发布了 Codex 应用新更新的概述,旨在跨工具、应用、自动化及其他开发者工作流开展工作。该材料仅为简短摘要,因此未描述具体功能、版本和可用性细节。
推荐理由:OpenAI 概述了 Codex 应用的更新,将编码智能体扩展至工具、应用和自动化,显示其范围正从代码生成向外拓宽。
Vapi 发布了 Vapi Monitoring,这是一款监控产品,允许团队为语音代理创建可定制的监控器,并在达到阈值时收到告警。它为企业版订阅提供效果与合规监控,以及技术与基础设施监控,并展示问题所影响的通话数量及建议的修复方案。
Modal 演示了在弹性 GPU 上运行自动研究智能体:借助 Modal Skills,Claude Code 在 OpenAI 的 Parameter Golf 挑战中运行了 113 次实验,共消耗 238 GPU 小时,核心训练运行速度比单台工作站快 5 倍,而使用的资源仅为专用集群的一小部分。智能体通过 API 调用配置 GPU,可从一块 H100 自动扩展到数十块,并自动缩减至零。
Modal 现已提供 NVIDIA 的 RTX Pro 6000 Blackwell,配备 96GB 显存和强劲的 fp4/fp8 吞吐能力,只需一行代码即可用于推理和微调工作负载。此次更新还新增了仪表盘命令面板(CMD+K)、改版后的 Sandbox 文件系统 API(测试版,支持最高 5GB 的读取和双向流式传输),以及支持历史日志拉取的 CLI 日志命令。
Vapi 发布了增强安全模式,称这是企业语音 AI 平台有史以来部署的最安静、最安全的音频隐私层,旨在防止 AI 智能体的语音在开放空间中被他人听到。该公司表示,其整个音频管线经过重新设计,在不引入延迟伪影的情况下反转了信号存在优化。早期访问覆盖了医疗保健、福利管理和急性后期护理机构,该功能现已可用。
Vapi 举办了一场网络研讨会,首席产品经理 Nick Robin 在会上演示了 Composer——其产品内助手,无需编写代码即可构建语音智能体,并在 30 分钟的演示中生成了一个可用的呼入客服智能体。Composer 可编写系统提示词、配置电话号码、设置日程安排,并标记自身错误以供审批。它目前处于 alpha 阶段,支持呼入和呼出助手、CRM 与日历集成,以及通过助手 ID 编辑现有智能体。
Modal 为 Sandboxes 新增了目录快照功能,用户可对单个目录创建快照,并将其独立于基础镜像挂载到新的 Sandbox 中。Modal 还与 Z.ai 合作发布了一个免费的公共 GLM-5 端点,有效期至四月底,兼容 OpenCode、Claude Code、OpenClaw 和 Vercel AI SDK。modal billing report CLI 和 modal.billing.workspace_billing_report API 现已面向 Team 和 Enterprise 工作区正式可用。
Vapi 发布了 Vapi Skills,这是一个遵循 Agent Skills 标准的代码库,同时推出一个 Model Context Protocol 连接器,让编码代理能够实时访问 Vapi 的文档。一条安装命令即可加载分步说明以及精确的 API schema,用于 create-assistant、create-tool、create-call 和 setup-webhook 等工作流,该技能包可在 Claude Code、Cursor、VS Code Copilot 和 Gemini CLI 上运行。
Modal 公测推出 Directory Snapshots,允许用户对运行中的 Sandbox 内特定目录做快照,并将其挂载到另一个 Sandbox,且独立于基础镜像和文件系统其余部分。该功能面向需要在沙箱重启之间保留项目状态的编码智能体和 vibe coding 平台;Modal 表示,它可将系统依赖与应用代码分离、预热沙箱池,并更快预加载关键文件。Directory Snapshots 在最后一次使用后保留 30 天,可即时挂载,其内容在 Modal 的懒加载容器文件系统上会优先预加载。
Vapi 发布了 Composer,这是一款内置于 Vapi Dashboard 的 AI 助手,可根据描述构建语音代理,撰写提示词、配置设置、开通电话号码、构建工具并设置集成。Composer 还可以调取通话日志来解释失败的通话并应用修复,以及生成在 Vapi 基础设施上运行的自定义代码工具,用于 HubSpot 等集成。它现已以 Alpha 版本提供,无需设置或引导流程。
Modal 推出 GLM-5 的免费 OpenAI API 兼容端点,可用至 4 月底,限单个并发请求,同时发布在单节点 8 张 B200 上用 SGLang 部署的可复现代码。
推荐理由:Modal 为 Z.ai 的 GLM-5 提供免费 OpenAI 兼容端点,并给出在 OpenCode、OpenClaw、Claude Code 和 Vercel AI SDK 中接入的具体配置。
OpenAI 在其官方开发者博客文章中介绍了 Codex 应用,这是为其 Codex 编程智能体打造的专属应用。该文章是一篇入门导览,介绍该应用及其核心工作流程,完整视频托管在 YouTube 上。
推荐理由:OpenAI 的官方导览展示了 Codex 应用如何组织核心编程工作流程,对于正在将其与现有编程智能体进行比较的开发者很有用。
Modal 现可通过 AWS 和 Google Cloud 市场购买,企业客户可将现有云支出承诺用于 Modal 使用量。平台还发布了沙箱 UI 更新,提供更清晰的资源和区域详情以及新的执行时间线,客户端 1.3.1 新增对 Python 3.14 的支持,包括在 Modal 容器中实验性支持自由线程 Python(3.14t)。
Factory 推出了 Agent Readiness,它从八个技术支柱和五个成熟度等级评估代码库对自主开发的支持程度,可通过 Droid 中的 /readiness-report、组织仪表盘或 API 运行。每项标准均为二值判定,只有当某一等级 80% 的标准以及所有先前等级全部通过时,该等级才会解锁;将每次评估建立在仓库此前的报告之上,使 9 个基准仓库在六周内的评分方差从平均 7% 降至 0.6%。报告可触发一个智能体,由其发起拉取请求来修复未通过的标准,例如缺少 AGENTS.md、linter 配置或 pre-commit 钩子。
OpenAI 发布了一个公开的 Model Context Protocol (MCP) 服务器,让 agent 以只读方式访问 developers.openai.com、platform.openai.com 和 learn.chatgpt.com 上的开发者文档。该服务器仅用于文档,不会代表用户调用 OpenAI API。开发者可以通过 CLI 或 IDE 扩展,用一份共享配置将其添加到 Codex,并与 OpenAI Docs Skill 搭配使用以获得带引用的回答。