伯克利AI研究推出SPEX与ProxySPEX,用于识别LLM大规模交互
伯克利AI研究的研究人员介绍了SPEX和ProxySPEX,这两种算法能够在远超以往方法的规模上识别LLM中具有影响力的特征、数据和模型组件交互。SPEX将交互搜索重新表述为利用稀疏性和低度性的稀疏恢复,而ProxySPEX利用层次结构,以约10倍更少的消融实验匹配SPEX。在情感分析上,SPEX在短输入上与Faith-Shap和Faith-Banzhaf忠实度相当,并在上下文扩展到数千个特征时保持这一表现。
伯克利AI研究的研究人员介绍了SPEX和ProxySPEX,这两种算法能够在远超以往方法的规模上识别LLM中具有影响力的特征、数据和模型组件交互。SPEX将交互搜索重新表述为利用稀疏性和低度性的稀疏恢复,而ProxySPEX利用层次结构,以约10倍更少的消融实验匹配SPEX。在情感分析上,SPEX在短输入上与Faith-Shap和Faith-Banzhaf忠实度相当,并在上下文扩展到数千个特征时保持这一表现。
OpenAI 更新了其 Sora 2 提示指南,以涵盖新的 API 能力:可复用的角色参考(适用于物体和动物)、1920×1080 和 1080×1920 导出、最大片段长度从 12 秒提升至 20 秒、使用完整原始片段作为上下文的视频延长,以及用于异步视频任务的 Batch API。该指南还详细介绍了镜头取景、摄像机运动、灯光和对话的提示结构,并指出分辨率、时长和角色 ID 必须作为 API 参数设置,而不是在文本描述中说明。支持最长 20 秒的延长,且一个视频最多可延长 6 次,总计 120 秒。
推荐理由:OpenAI 更新的 Sora 2 提示指南详细介绍了新的 API 能力,如角色参考、20 秒片段和视频延长,以及用于控制镜头的可复用提示模板。
Modal 为 Sandboxes 新增了目录快照功能,用户可对单个目录创建快照,并将其独立于基础镜像挂载到新的 Sandbox 中。Modal 还与 Z.ai 合作发布了一个免费的公共 GLM-5 端点,有效期至四月底,兼容 OpenCode、Claude Code、OpenClaw 和 Vercel AI SDK。modal billing report CLI 和 modal.billing.workspace_billing_report API 现已面向 Team 和 Enterprise 工作区正式可用。
Vapi 发布了 Vapi Skills,这是一个遵循 Agent Skills 标准的代码库,同时推出一个 Model Context Protocol 连接器,让编码代理能够实时访问 Vapi 的文档。一条安装命令即可加载分步说明以及精确的 API schema,用于 create-assistant、create-tool、create-call 和 setup-webhook 等工作流,该技能包可在 Claude Code、Cursor、VS Code Copilot 和 Gemini CLI 上运行。
OpenAI 发布了一份 Codex 提示指南,面向通过 API 直接调用经 Codex 调优的 gpt-5.3-codex 模型的开发者,建议交互式编码使用中等推理强度,最难的任务使用高或 xhigh。该指南涵盖将现有 harness 迁移到开源 codex-cli,包括标准 Codex-Max 提示、apply_patch、shell_command 和 update_plan 工具,以及通过 Responses API 中的 /compact 为多小时的会话提供一流的压缩功能。它还介绍了新的 phase 字段,该字段仅在 gpt-5.3-codex 上受支持,用于将助手条目标记为 commentary 或 final_answer,且必须在历史记录中保留以避免性能下降。
推荐理由:OpenAI 的官方指南详细说明了如何为 gpt-5.3-codex 调整提示、工具和压缩,为团队提供了针对自身编码智能体的具体迁移路径。
Modal 是一个面向数据密集型和计算密集型 AI 工作负载的云基础设施平台,它重点介绍了 Hazy Research、Scaling Intelligence 和 IRIS 的研究工作,这些研究利用其 GPU 集群来加速 AI 研究。由 Scaling Intelligence 的 Anne Ouyang、Simon Guo 和 Will Hu 领导的 KernelBench 项目提供了一个包含 250 个问题的基准和研究环境,用于自动化 GPU 内核生成,并使用 Modal 在从 L40s 到 Blackwell 系统的硬件上实现一致、可扩展的基准测试。
OpenClaw 智能体现在可以通过 Vapi 兼容 AgentSkills 的技能拨打和接听电话,借助 npx skills CLI 或直接向智能体提出请求,约五分钟即可完成安装。Vapi 的处理流程目标是将语音响应控制在 500 毫秒以内,并支持通话中调用工具,共有八项技能,涵盖助手、通话、电话号码、工具、小队、webhook 和工作流。
Modal 公测推出 Directory Snapshots,允许用户对运行中的 Sandbox 内特定目录做快照,并将其挂载到另一个 Sandbox,且独立于基础镜像和文件系统其余部分。该功能面向需要在沙箱重启之间保留项目状态的编码智能体和 vibe coding 平台;Modal 表示,它可将系统依赖与应用代码分离、预热沙箱池,并更快预加载关键文件。Directory Snapshots 在最后一次使用后保留 30 天,可即时挂载,其内容在 Modal 的懒加载容器文件系统上会优先预加载。
Ramp 构建了 Ramp Inspect,这是一个运行在 Modal Sandboxes 上的内部后台编码代理,如今 Ramp 前端和后端仓库中约有一半已合并的拉取请求由它发起。每个会话都能在几秒内启动包含 Postgres、Redis、Temporal 和 RabbitMQ 的全栈环境,因为一个 Modal 定时任务每 30 分钟克隆仓库并保存文件系统快照。Modal Functions、Dicts 和 Queues 负责处理快照构建、会话锁和提示路由,使 Inspect 能够支持多人会话和数百个并发会话,且彼此互不影响。
Vapi 发布了 Composer,这是一款内置于 Vapi Dashboard 的 AI 助手,可根据描述构建语音代理,撰写提示词、配置设置、开通电话号码、构建工具并设置集成。Composer 还可以调取通话日志来解释失败的通话并应用修复,以及生成在 Vapi 基础设施上运行的自定义代码工具,用于 HubSpot 等集成。它现已以 Alpha 版本提供,无需设置或引导流程。
Modal 推出 GLM-5 的免费 OpenAI API 兼容端点,可用至 4 月底,限单个并发请求,同时发布在单节点 8 张 B200 上用 SGLang 部署的可复现代码。
推荐理由:Modal 为 Z.ai 的 GLM-5 提供免费 OpenAI 兼容端点,并给出在 OpenCode、OpenClaw、Claude Code 和 Vercel AI SDK 中接入的具体配置。
OpenAI 在其官方开发者博客文章中介绍了 Codex 应用,这是为其 Codex 编程智能体打造的专属应用。该文章是一篇入门导览,介绍该应用及其核心工作流程,完整视频托管在 YouTube 上。
推荐理由:OpenAI 的官方导览展示了 Codex 应用如何组织核心编程工作流程,对于正在将其与现有编程智能体进行比较的开发者很有用。
Modal 现可通过 AWS 和 Google Cloud 市场购买,企业客户可将现有云支出承诺用于 Modal 使用量。平台还发布了沙箱 UI 更新,提供更清晰的资源和区域详情以及新的执行时间线,客户端 1.3.1 新增对 Python 3.14 的支持,包括在 Modal 容器中实验性支持自由线程 Python(3.14t)。
Factory 推出了 Agent Readiness,它从八个技术支柱和五个成熟度等级评估代码库对自主开发的支持程度,可通过 Droid 中的 /readiness-report、组织仪表盘或 API 运行。每项标准均为二值判定,只有当某一等级 80% 的标准以及所有先前等级全部通过时,该等级才会解锁;将每次评估建立在仓库此前的报告之上,使 9 个基准仓库在六周内的评分方差从平均 7% 降至 0.6%。报告可触发一个智能体,由其发起拉取请求来修复未通过的标准,例如缺少 AGENTS.md、linter 配置或 pre-commit 钩子。
Chai Discovery 正在使用 Modal 运行其机器学习药物发现流水线,涵盖蛋白质嵌入、多序列比对到抗体设计。Modal Volumes 一次性下载并索引达到数百 GB 的数据集,然后在多台机器间共享,而弹性 GPU 扩展能在几分钟内启动数百个 GPU。Chai 表示,同一套设置现在无需重写基础设施就能将研究工作流带入生产环境。
OpenAI 发布了一个公开的 Model Context Protocol (MCP) 服务器,让 agent 以只读方式访问 developers.openai.com、platform.openai.com 和 learn.chatgpt.com 上的开发者文档。该服务器仅用于文档,不会代表用户调用 OpenAI API。开发者可以通过 CLI 或 IDE 扩展,用一份共享配置将其添加到 Codex,并与 OpenAI Docs Skill 搭配使用以获得带引用的回答。
Modal 已将其多云 GPU 工作池扩展到超过 20,000 块并发 GPU,并在过去几年中启动了超过四百万个云实例,现在正分享其背后的可靠性系统。该文章涵盖实例类型测试与选择、机器镜像准备与启动检查、被动与主动 GPU 健康检查,以及可观测性与支持。文章报告了超大规模云厂商之间的差异,例如云 A 的启动成功率为 99.6%,而云 C 的 H100 在 2025 年运行温度超过 90ºC。
Replit 现已入驻 ChatGPT,用户可在任意消息中 @replit,让 Replit Agent 直接在对话中创建、更新和部署 Replit 应用。构建进度和交互式预览会显示在聊天中,添加深色模式或支付表单等每个请求都会即时更新应用,应用存储在用户的 Replit 账户中以便后续发布。该集成需要 ChatGPT 账户(Free、Plus、Pro 或 Teams)和 Replit 账户,在 ChatGPT App Store 可用的地区均可使用,并消耗 Replit Agent 额度。
推荐理由:Replit 的 ChatGPT 集成让用户在聊天中描述应用,由 Replit Agent 完成构建、预览和部署,无需离开对话。
Vapi 发布了 Vapi Voices Beta,这是一系列专为高并发、成本敏感的语音 AI 用例构建的语音模型,定价为每分钟 0.0025 美元,延迟针对对话响应性进行了优化。这些模型出现在现有的语音下拉菜单中,与 ElevenLabs、PlayHT 和 Deepgram 等提供商并列,因此团队可以将预约提醒和路由菜单等高并发、低风险流程路由到这些模型,而无需任何集成更改。Vapi 表示,正式可用性取决于 beta 使用所揭示的用例、真实负载下的延迟以及节省是否重要。
Modal 现已提供对 Mistral 3 的 Day 0 支持,让开发者无需管理基础设施即可在无服务器 GPU 上部署该开放模型系列。在 3B 的 Ministral 3 模型上,Modal 的 GPU 快照功能将中位冷启动时间从约 118 秒缩短至约 12 秒,降幅接近 10 倍。Ministral 3 提供 3B、8B 和 14B 三种规模,在基准测试中与 Qwen 3-VL 系列表现相当。
Modal 认为,那些帮助人类的开发者体验原则——紧密的反馈循环、通过 CLI/SDK/API 的程序化访问、可操作的错误信息,以及与代码一致的示例——同样能让编码智能体更快。由于智能体通过生成、运行和观察代码来迭代,模糊的错误或仅限 UI 的配置会让它们停滞,因此为智能体设计意味着应用同样的原则,而不是重新发明它们。
Vapi 现已为所有语音 AI 助手支持结构化输出,确保每通电话返回的数据都符合开发者定义的 JSON schema。Schema 在运行时借助 OpenAI、Anthropic、Gemini 等厂商的原生能力强制执行,并可在多个助手之间复用。提取的数据会通过通话完成 webhook 和 REST API 送达。
Replit 推出了 Fast Mode,这是一种更快的方式,用于指示其 Agent 进行小型、精确的更改。它运行在一个高效的 agentic 模型上,比 Build 模式便宜得多,并经过优化以用最少的步骤完成请求,面向快速修复、视觉迭代和小型功能。Fast Mode 从今天起对所有 Replit 用户开放,通过闪电图标激活。
Reducto 将其 30 多个文档处理模型的推理工作负载迁移到 Modal,使 P90 延迟降低了 3 倍。GPU 内存快照将冷启动减少了 83%,从约 70 秒降至约 12 秒,而按客户划分的自动扩缩容池可隔离流量峰值。在一次负载测试中,Reducto 在不到一小时内将摄取流水线扩展到 1,000 多块 GPU,以展示每分钟 10 万页的处理能力。
OpenAI 的 GPT-5.1 新增了一致的个性预设——Default、Professional、Friendly、Candid、Quirky、Efficient、Nerdy 和 Cynical——以及更具对话感的 GPT-5.1 Instant 和快速自适应推理,让简单问题得到快速回复,而复杂问题则获得更多思考。Vapi 表示,该模型已于上周随 OpenAI 的发布在其平台上线,使语音智能体无需重写提示词即可采用与品牌一致的语调。
Modal 的博客解释了主机开销——即 GPU 空闲等待 CPU 准备工作的时间间隙——如何在 AI 推理中表现为 GPU 内核利用率低下。当主机开销达到 50% 时,GPU 推理成本是原本的 2 倍。文章详细介绍了生产级开源推理引擎中采用的修复方法,包括在设备上构建张量而非传输张量,以及减少不必要的 CUDA 内核启动。
Decagon 与 Modal 合作构建了 Decagon Voice 2.0,将延迟降低 65%,同时提升了意图识别和响应质量。Decagon 通过 SFT 和 RL 微调紧凑的开源模型,使其超越更大的前沿模型;Modal 则训练了自定义 EAGLE3 草稿模型,接受长度提高 38%,并重新设计了 SGLang,加入异步投机解码调度器,将吞吐量提升最高 12%。
Vapi 创始人回顾了公司如何举办 VapiCon——号称首届语音 AI 峰会,吸引了 850 名参会者,并让来自 OpenAI、Deepgram 和 Assembly AI 的语音 AI 领袖齐聚一堂。Vapi 在该活动上花费约 50 万美元,收回约 40 万美元,创始人称真正的回报是合作关系和企业交易。公司现已推出 VapiCon 视频库,收录所有会议和小组讨论。
Modal 的 Ben Shababo 详细介绍了如何用开源 Pipecat 框架和开放权重模型在 Modal 上构建对话语音机器人,当客户端与容器地理位置接近时,语音到语音延迟中位数约为 1 秒。该流水线使用 NVIDIA parakeet-tdt-0.6b-v3 做 STT,用 vLLM 服务 Qwen3-4B-Instruct-2507,用 KokoroTTS 做语音输出,并用 ChromaDB 搭配 all-minilm-l6-v2 在 Modal 文档上做 RAG。Modal Tunnels 绕过输入平面,为 STT、TTS 和 vLLM 服务提供低延迟的 WebSocket 和 HTTP 连接;同时,与每个对话会话绑定的 FunctionCall 恢复了自动扩缩容能力,而将服务固定到附近区域则降低了网络延迟。
Modal 已面向所有应用发布 Volumes v2 公开测试版,其重建的文件系统带来更高吞吐量、更快的随机访问,以及支持数百个容器真正的高并发写入,且存储文件数量不设上限。其 JavaScript/TypeScript 和 Go SDK 也以 v0.5 进入测试版,新增统一的 Client 对象,并支持 Sandboxes、Functions、Images 和 Volumes。
Modal 已与 Datalab 合作,让开发者能在 5 分钟内于 Modal GPU 上部署 Marker 文档解析模型和 Surya OCR 工具包。Marker 是一个参数量低于十亿的模型,支持 90 多种语言,在 Modal 上运行每个容器约可达每秒 2.2 页,大约是使用 Apple MPS 的 M4 Mac 上每秒 0.22 页的 10 倍。Datalab 的工具对研究、个人使用以及融资或营收低于 200 万美元的初创公司保持免费,同时提供商业许可。
从 10 月 28 日到 11 月 2 日,Vapi 通过其托管 API 密钥,向社区免费开放 Cartesia 新推出的 Sonic-3 TTS 模型的无限制访问。Sonic-3 新增了情绪和笑声标签、细粒度的语速和音量控制,并支持 27 种新语言。Vapi 建议从 Kira 和 Ariana 语音开始,以获得低延迟、听起来自然的智能体。
Modal 已完成由 Lux Capital 领投的 B 轮融资,金额超过 8000 万美元,投后估值达 11 亿美元,总融资额达 1.11 亿美元。这家 AI 基础设施提供商提供 Inference、Sandboxes、Batch 和 Training 产品,容器启动时间不到一秒,并采用按使用量计费的无服务器定价模式。Meta 使用 Modal 为其 Code World Models 的强化学习启动了数千个并发沙箱环境。
Modal工程师阅读了已发布的Flash Attention 4源代码,逆向解析了这个针对Blackwell优化的注意力内核的工作原理,因为目前尚无官方技术报告。文章追踪了一个tile在内核的warp特化异步流水线中的流转过程,并详述了两个数学技巧:一个可替代基于SFU的指数运算的三次多项式软件指数,以及一个更聪明的在线softmax重缩放规则——Tri Dao称其将修正次数减少了10倍。据报道,FA4比Nvidia闭源的cudnn注意力内核快约20%,而在撰写本文时反向版本尚不可用。
推荐理由:Modal工程师阅读了已发布的Flash Attention 4源代码,解释了其warp特化流水线和两个数学技巧,提供了一个关于CUDA内核设计走向的可迁移视角。
Justin Dignelli 已加入 Modal 担任销售副总裁,此前他曾为这家 AI 计算平台提供下一阶段增长方面的咨询,并投资了其 A 轮融资。Modal 目前已在数千家客户中实现超过八位数的高额营收,Dignelli 计划组建一支 GTM 团队以进一步扩大规模。
Modal 构建了 Modal Vibe,这是一个基于 Modal Sandboxes 的开源演示型 vibe 编程平台,可在约五分钟内从 0 扩展到 1,000 个 AI 编码应用。一次创建 1,000 个应用(每个应用位于各自的 Sandbox 中)的负载测试耗时约 300 秒,其中 AI API 是限速环节。Modal 表示,Team Plan 可运行 1,000 个并发 Sandbox,足以支持每月超过一百万次会话。
Modal 发布了多项产品更新,包括支持最高 8 块 B200 GPU 的云端 Python 实验环境 Modal Notebooks,以及为 modal.Sandbox.create() 新增的可选 idle_timeout 参数。客户端还为 @app.function() 和 @app.cls() 装饰器新增了 startup_timeout 参数,并提供了用于以命令式方式管理 Modal 资源类型的新 API 模式。Modal Notebooks 此后已被关停,但现有 notebook 仍可下载为 .ipynb 文件。
Modal 详细介绍了 Modal Notebooks 背后的工程实现:这款云端 Jupyter notebook 能在数秒内启动 GPU 和自定义镜像,并支持实时协作。内核运行在 Modal Sandboxes 内,由一个 modal-kernelshim 守护进程将 Jupyter ZeroMQ 消息转换为通过 Modal 控制平面隧道的 HTTP 调用。一个惰性加载的 Rust FUSE 容器文件系统通过分层缓存按需获取文件内容,从而避免了镜像解包延迟——对于 8 GB 的 Python/ML 镜像,该延迟可能接近一分钟。
Modal Notebooks 在上个月有限测试后,现已向所有 Modal 客户全面开放。这个协作式笔记本环境运行在支持 GPU 的 Python 内核上,可在任意容器镜像和最高 256 vCPU、8 块 H100/B200 GPU 的硬件上于 5 秒内达到就绪状态,并具备自动空闲关机、共享 Volumes 和 Secrets 以及实时多光标编辑功能。Modal 表示,在 8 月测试期间,超过 5,000 个账户运行了 200,000 个代码单元,即将推出的功能包括内存快照、一键导出到 Modal Apps 以及定时运行。
Zencastr 将其播客转录工作负载迁移到 Modal 的 GPU 平台,在几分钟内扩展到 1,500 个并发 GPU,仅用几天时间就处理了数百年的音频。从自管理的 Kubernetes GPU 节点转向 Modal 的缩容到零基础设施,降低了空闲 GPU 成本,并消除了驱动程序和依赖管理的开销。所有核心 ML 工作负载现在都在 Modal 上运行,包括转录、说话人计数、笑声检测和音频质量评分。