Modal 用 Python 字典缓存将 SGLang 多模态推理提升超过 10%
Modal 在多模态工作负载上对 SGLang 的调度器进行了性能分析，并用一个简单的 Python 字典缓存替代了重复的 CUDA IPC 句柄记录工作，在 H100 上运行 Qwen2.5-VL-3B-Instruct 时，吞吐量提升了 16.2%，平均 TTFT 降低了 13.2%，TPOT 降低了 17.2%。该修复已合并到 SGLang v0.5.10 中。
#教程/实践
Modal BlogAI 评分3636
Vapi BlogAI 评分3434 开放栈 vs 集成方案：语音 AI 构建者的关键考量
Vapi Blog 采访 Cartesia 的 Iz Shalom，讨论在集成式与开放模块化语音 AI 栈之间如何选择。集成栈适合窄用例和快速概念验证，开放栈适合多用例、多语言支持以及替换组件。文章敦促团队在自身环境中测量 P99 延迟，并在投产前建立严格的评估。
Modal BlogAI 评分3333 在 Modal 上构建强化学习定理证明工作流
AE Studio 详细介绍了其如何在 Modal 上通过强化学习训练 LLM 证明数学定理，在保持训练循环固定的情况下对比了进化策略与 GRPO。该方案在 GPU 上运行 vLLM 推理，在隔离的 CPU 沙箱中运行 Lean 编译器验证，并配备轻量级编排器，使用按函数镜像、.map() 扇出以及 Volumes 存储基础权重。
OpenAI Developers Blog精选AI 评分6060 OpenAI 发布针对 GPT-6 工作负载的 API 部署清单
OpenAI 发布了一份 API 部署清单，指导开发者将工作负载迁移到 Responses API 和 GPT-6 模型系列，包括 gpt-6-astra、gpt-6.1-sol、gpt-6 Sol 和 gpt-6 Luna。该指南涵盖从 low 到 max 的 reasoning.effort 级别、text.verbosity、带延迟工具加载的 tool_search、Programmatic Tool Calling、Multi-agent、compaction、prompt caching 和 WebSocket 模式，OpenAI 表示对于包含 20 次或更多工具调用的工作流，WebSocket 模式已显示出端到端执行速度提升最高约 40%。清单还详述了可靠性与安全步骤，例如处理 429 和 503 错误、为长任务设置 background=True、safety_identifier 以及 misalignment 监控。
推荐理由：OpenAI 的官方部署清单将模型选择、推理力度、工具搜索、compaction 和 WebSocket 模式整合为一份针对 GPT-6 工作负载的迁移指南。
Modal BlogAI 评分5858 Modal 与 OpenAI Agents SDK：用沙箱和 GPU 构建并行编码智能体框架
Modal 发布了一篇教程，介绍如何在 OpenAI 今日推出的 OpenAI Agents SDK 之上构建自定义编码智能体框架，使用 Modal Sandboxes 为智能体提供隔离的 Linux 环境和 GPU。该指南从一个最小的基于 exec 的智能体开始，随后加入用于记忆的会话、用于并行异步工作的编排器加子智能体池、GPU 配额、用于去重环境配置的文件系统快照，以及技能子系统，最终形成一个能在并行 GPU 子智能体上运行 OpenAI Parameter Golf 挑战的框架。Modal 引用了 Ramp 在 Modal 上运行的后台编码智能体集群，称其目前产出该公司超过一半的 PR。
Vapi BlogAI 评分2727 Vapi 工程师分享企业级语音 AI 部署经验
Vapi 的前置部署工程师表示，从演示到生产的差距是大多数企业语音 AI 项目停滞的地方，这需要大量测试、防护措施和基于意图的设计，而不是精确短语匹配。该团队警告会出现“人格漂移”，即智能体会采用来电者的说话风格，并指出 LLM 是非确定性的，因此部署需要定义错误容忍度并持续迭代。他们建议从成本优化入手，但以创收为目标，并将一次良好交互的基准定在一分钟以内。
Modal BlogAI 评分2222 Doppel 如何借助 Modal 削减机器学习基础设施开销
Doppel 将其大部分机器学习工作流迁移到了 Modal，消除了拖慢训练实验和推理部署的基础设施摩擦。通过 map() 实现的并行实验取代了串行运行，而镜像层缓存和持久卷将构建时间最多缩短了 10 倍，复杂配置的预热构建时间更是缩短至一分钟以内。
OpenAI Developers Blog精选AI 评分6767 OpenAI 更新 Sora 2 提示指南，新增角色参考、20 秒片段和视频延长功能
OpenAI 更新了其 Sora 2 提示指南，以涵盖新的 API 能力：可复用的角色参考（适用于物体和动物）、1920×1080 和 1080×1920 导出、最大片段长度从 12 秒提升至 20 秒、使用完整原始片段作为上下文的视频延长，以及用于异步视频任务的 Batch API。该指南还详细介绍了镜头取景、摄像机运动、灯光和对话的提示结构，并指出分辨率、时长和角色 ID 必须作为 API 参数设置，而不是在文本描述中说明。支持最长 20 秒的延长，且一个视频最多可延长 6 次，总计 120 秒。
推荐理由：OpenAI 更新的 Sora 2 提示指南详细介绍了新的 API 能力，如角色参考、20 秒片段和视频延长，以及用于控制镜头的可复用提示模板。
OpenAI Developers Blog精选AI 评分6262 OpenAI 发布 gpt-5.3-codex 的 Codex 提示指南
OpenAI 发布了一份 Codex 提示指南，面向通过 API 直接调用经 Codex 调优的 gpt-5.3-codex 模型的开发者，建议交互式编码使用中等推理强度，最难的任务使用高或 xhigh。该指南涵盖将现有 harness 迁移到开源 codex-cli，包括标准 Codex-Max 提示、apply_patch、shell_command 和 update_plan 工具，以及通过 Responses API 中的 /compact 为多小时的会话提供一流的压缩功能。它还介绍了新的 phase 字段，该字段仅在 gpt-5.3-codex 上受支持，用于将助手条目标记为 commentary 或 final_answer，且必须在历史记录中保留以避免性能下降。
推荐理由：OpenAI 的官方指南详细说明了如何为 gpt-5.3-codex 调整提示、工具和压缩，为团队提供了针对自身编码智能体的具体迁移路径。
Vapi BlogAI 评分3838 为你的 OpenClaw 智能体赋予声音：通过 Vapi Skills 添加电话通话功能
OpenClaw 智能体现在可以通过 Vapi 兼容 AgentSkills 的技能拨打和接听电话，借助 npx skills CLI 或直接向智能体提出请求，约五分钟即可完成安装。Vapi 的处理流程目标是将语音响应控制在 500 毫秒以内，并支持通话中调用工具，共有八项技能，涵盖助手、通话、电话号码、工具、小队、webhook 和工作流。
Modal BlogAI 评分5858 Ramp 如何在 Modal 上构建全上下文后台编码代理 Ramp Inspect
Ramp 构建了 Ramp Inspect，这是一个运行在 Modal Sandboxes 上的内部后台编码代理，如今 Ramp 前端和后端仓库中约有一半已合并的拉取请求由它发起。每个会话都能在几秒内启动包含 Postgres、Redis、Temporal 和 RabbitMQ 的全栈环境，因为一个 Modal 定时任务每 30 分钟克隆仓库并保存文件系统快照。Modal Functions、Dicts 和 Queues 负责处理快照构建、会话锁和提示路由，使 Inspect 能够支持多人会话和数百个并发会话，且彼此互不影响。
Modal BlogAI 评分3838 Modal 如何在多云环境下维护 20,000+ 块 GPU 的健康运行
Modal 已将其多云 GPU 工作池扩展到超过 20,000 块并发 GPU，并在过去几年中启动了超过四百万个云实例，现在正分享其背后的可靠性系统。该文章涵盖实例类型测试与选择、机器镜像准备与启动检查、被动与主动 GPU 健康检查，以及可观测性与支持。文章报告了超大规模云厂商之间的差异，例如云 A 的启动成功率为 99.6%，而云 C 的 H100 在 2025 年运行温度超过 90ºC。
Modal BlogAI 评分3030 Reducto 如何在 Modal 上将企业文档处理的 P90 延迟降低 3 倍
Reducto 将其 30 多个文档处理模型的推理工作负载迁移到 Modal，使 P90 延迟降低了 3 倍。GPU 内存快照将冷启动减少了 83%，从约 70 秒降至约 12 秒，而按客户划分的自动扩缩容池可隔离流量峰值。在一次负载测试中，Reducto 在不到一小时内将摄取流水线扩展到 1,000 多块 GPU，以展示每分钟 10 万页的处理能力。
Modal BlogAI 评分3636 Modal 博客：主机开销正在扼杀你的推理效率
Modal 的博客解释了主机开销——即 GPU 空闲等待 CPU 准备工作的时间间隙——如何在 AI 推理中表现为 GPU 内核利用率低下。当主机开销达到 50% 时，GPU 推理成本是原本的 2 倍。文章详细介绍了生产级开源推理引擎中采用的修复方法，包括在设备上构建张量而非传输张量，以及减少不必要的 CUDA 内核启动。
Modal BlogAI 评分4040 Decagon 如何在 Modal 上交付实时语音 AI
Decagon 与 Modal 合作构建了 Decagon Voice 2.0，将延迟降低 65%，同时提升了意图识别和响应质量。Decagon 通过 SFT 和 RL 微调紧凑的开源模型，使其超越更大的前沿模型；Modal 则训练了自定义 EAGLE3 草稿模型，接受长度提高 38%，并重新设计了 SGLang，加入异步投机解码调度器，将吞吐量提升最高 12%。
Modal BlogAI 评分5858 Modal、Pipecat 与开源模型实现一秒语音到语音延迟
Modal 的 Ben Shababo 详细介绍了如何用开源 Pipecat 框架和开放权重模型在 Modal 上构建对话语音机器人，当客户端与容器地理位置接近时，语音到语音延迟中位数约为 1 秒。该流水线使用 NVIDIA parakeet-tdt-0.6b-v3 做 STT，用 vLLM 服务 Qwen3-4B-Instruct-2507，用 KokoroTTS 做语音输出，并用 ChromaDB 搭配 all-minilm-l6-v2 在 Modal 文档上做 RAG。Modal Tunnels 绕过输入平面，为 STT、TTS 和 vLLM 服务提供低延迟的 WebSocket 和 HTTP 连接；同时，与每个对话会话绑定的 FunctionCall 恢复了自动扩缩容能力，而将服务固定到附近区域则降低了网络延迟。
Modal Blog精选AI 评分6060 Modal工程师逆向解析Flash Attention 4的工作原理
Modal工程师阅读了已发布的Flash Attention 4源代码，逆向解析了这个针对Blackwell优化的注意力内核的工作原理，因为目前尚无官方技术报告。文章追踪了一个tile在内核的warp特化异步流水线中的流转过程，并详述了两个数学技巧：一个可替代基于SFU的指数运算的三次多项式软件指数，以及一个更聪明的在线softmax重缩放规则——Tri Dao称其将修正次数减少了10倍。据报道，FA4比Nvidia闭源的cudnn注意力内核快约20%，而在撰写本文时反向版本尚不可用。
推荐理由：Modal工程师阅读了已发布的Flash Attention 4源代码，解释了其warp特化流水线和两个数学技巧，提供了一个关于CUDA内核设计走向的可迁移视角。
Modal BlogAI 评分4747 深入 Modal Notebooks：Modal 如何打造秒级启动的云 GPU Notebook
Modal 详细介绍了 Modal Notebooks 背后的工程实现：这款云端 Jupyter notebook 能在数秒内启动 GPU 和自定义镜像，并支持实时协作。内核运行在 Modal Sandboxes 内，由一个 modal-kernelshim 守护进程将 Jupyter ZeroMQ 消息转换为通过 Modal 控制平面隧道的 HTTP 调用。一个惰性加载的 Rust FUSE 容器文件系统通过分层缓存按需获取文件内容，从而避免了镜像解包延迟——对于 8 GB 的 Python/ML 镜像，该延迟可能接近一分钟。
Modal BlogAI 评分2222 Zencastr 如何借助 Modal 在几天内转录数百年的音频
Zencastr 将其播客转录工作负载迁移到 Modal 的 GPU 平台，在几分钟内扩展到 1,500 个并发 GPU，仅用几天时间就处理了数百年的音频。从自管理的 Kubernetes GPU 节点转向 Modal 的缩容到零基础设施，降低了空闲 GPU 成本，并消除了驱动程序和依赖管理的开销。所有核心 ML 工作负载现在都在 Modal 上运行，包括转录、说话人计数、笑声检测和音频质量评分。
Modal BlogAI 评分3636 什么是 AI 代码沙箱？
AI 代码沙箱是一个隔离环境，在运行时执行 LLM 生成的代码，将错误或注入漏洞的影响范围限制在沙箱内。现代实现运行在虚拟机或容器上，通常使用 gVisor 等安全运行时来拦截系统调用并保护主机。大多数公司选择托管沙箱服务，而不是用 Kubernetes 自建，因为冷启动和扩展到数百万并发会话的处理成本很高。
Modal BlogAI 评分5252 Modal 为批量转录开源 ASR 模型提供基准测试，速度提升 100 倍、成本降低 100 倍
Modal 在其平台上使用 NVIDIA 的 parakeet-tdt-0.6b-v2 和 canary-1b-flash 实现了批量转录服务，报告称其端到端性能比一个流行的专有 ASR API 快 100 倍以上或便宜 100 倍，同时在约一周的 ESB 基准音频上错误率与之相当。团队将这一提升归因于跨请求批次打乱文件、在 GPU 批次内按音频时长排序、并行下载，以及根据经验选择的 GPU 和 worker 配置。文章详细介绍了架构和优化步骤，以便他人构建类似服务。
Modal BlogAI 评分4040 Modal 如何利用评估和推理时计算扩展生成可扫描的 QArt 码
Modal 利用评估和推理时计算扩展来改进其 QArt 码系统，将二维码扫描率提升至其 95% 的服务水平目标，同时改善美学质量，并在 p95 下于 20 秒内返回二维码。这项工作遵循标准的机器学习流程：收集人类判断、与之对齐，然后扩展，解决了“在我的提示上有效”的差距，该差距导致许多生成的二维码无法扫描。
Modal BlogAI 评分2828 Quora 如何利用 Modal 同时运行数千个 Python 沙箱
Quora 使用 Modal Sandboxes 在其 AI 聊天机器人平台 Poe 中安全执行 LLM 生成的代码，该功能比自研方案提前数月上线。团队对 Sandbox 创建吞吐量进行了压力测试，达到每秒 1000 个沙箱，并报告节省了相当于 2 名工程师的持续基础设施维护时间。
Vapi BlogAI 评分2222 Mistral 与 Llama 3：语音 AI 应用的完整对比
Mistral 和 Llama 3 在语音 AI 的设计理念上存在分歧：Mistral 的 7B 到 Mistral Small 3.1（24B）模型偏向低延迟效率，而 Llama 3 从 8B 扩展到 70B，以获得更强的推理能力和多语言覆盖。Mistral Small 3.1 的首 token 时间达到 0.29 秒，速度为每秒 150-166 个 token；Mistral Small 24B 在 ARC-C、GPQA 和 MMLU 上优于 Llama 3.1 8B Instruct；而 Llama 3.1 405B 在 MMLU 上得分 85.2%，在 GSM8K 上得分 96.8%。
Vapi BlogAI 评分2222 Vapi 上语音 AI STT 的 8 个 Azure 替代方案
Vapi 现在提供八家语音转文本提供商——Gladia、AssemblyAI、Deepgram、Cartesia、Talkscriber、OpenAI、Speechmatics 和 ElevenLabs——作为语音代理中 Azure 的即插即用替代方案。切换提供商只需更改一个 JSON 参数，让开发者能够对延迟、成本和合规性进行基准测试。Gladia 声称端到端延迟低于 100 毫秒，AssemblyAI 在一次 API 调用中捆绑了摘要和 PII 脱敏功能，而 Cartesia 完全在本地运行。
Vapi BlogAI 评分2222 Gemini Flash 与 Pro：对比 Google 最新 LLM
Google 的 Gemini 2.5 Flash 和 2.5 Pro 主要区别在于速度与推理深度，两者均提供 100 万 token 上下文窗口，并原生支持在 Vapi 中用于语音代理。Flash 在每秒 163 token 的速度下，0.21–0.37 秒返回首个 token，输入/输出每百万 token 费用为 $0.15/$0.60；而 Pro 费用为 $1.25/$10，并增加了 Deep Think 模式，计划提供 200 万 token 窗口。
Modal BlogAI 评分5858 Modal 展示如何将 FLUX.1-dev 的运行速度提升三倍
Modal 的工程师们介绍了如何让 Black Forest Labs 的 FLUX.1-dev 作为自动扩缩容服务运行，速度提升约三倍，将 1024x1024 图像的生成时间从约 6.75 秒缩短到 3 秒以内。标准优化手段，即启用 max-autotune 的 Torch 编译器、融合 QKV 注意力和 channels-last 内存布局，带来了约 1.5 倍的提升；而基于 TEACache 论文、来自 ParaAttention 仓库的 First Block Caching 在阈值 0.12 下又额外带来了 2 倍的提升。编译缓存和 Modal Memory Snapshots 将冷启动延迟降低了 30 倍。
Vapi BlogAI 评分1818 房地产经纪人使用AI的五种方式
一份指南概述了房地产经纪人使用AI的五种方式，包括基于Vapi构建的语音代理，可全天候接听电话、筛选潜在客户并预约看房。指南还涵盖使用ChatGPT和Canva自动化内容创作，以及HouseCanary和CoreLogic等AI定价工具，这些工具能生成带有置信度评分的估值。
Vapi BlogAI 评分3838 Deepgram Nova-3 与 Nova-2：STT 引擎如何演进
Deepgram 的 Nova-3 将流式词错误率从 Nova-2 的 8.4% 降至 6.84%，批处理 WER 达到 5.26%，流式错误减少 54.3%。Nova-3 用单一可适配网络取代了 Nova-2 各自独立的领域专用模型，并新增实时多语言对话处理、无需重新训练即可自助添加最多 100 个自定义术语，以及最多 50 个实体的脱敏功能。两款模型均在 Vapi 上原生运行且端点相同，因此切换只需更改参数，不过 Nova-3 属于 Deepgram 的高端定价层级。
Vapi BlogAI 评分3535 ElevenLabs 与 OpenAI TTS：哪个更适合你？
ElevenLabs Flash v2.5 的首音频延迟为 75ms，而 OpenAI 为 200ms；OpenAI 每百万字符收费 15 美元，而 ElevenLabs 提供每月 5 至 1,320 美元的套餐。ElevenLabs 提供 3,000 多种声音并支持克隆，词准确率为 82%，而 OpenAI 提供 11 种固定声音，准确率为 77%。这两家 TTS 提供商都已集成到 Vapi 中，可直接测试。
Vapi BlogAI 评分2222 语音AI改善物流的三个案例
Vapi概述了物流领域的三个语音AI用例：ShipEX在350辆卡车上使用语音智能来路由维护警报和事故报告；爱达荷州酒类管理局的语音拣选系统将拣选率提高了35%；维护技术人员通过语音记录问题，自动创建CMMS工单。文章还详细介绍了与TMS、CRM和WMS系统的API集成以及部署注意事项。
Vapi BlogAI 评分2525 为语音 AI 选择 Gemini 模型
Vapi 介绍了如何在四款 Gemini 模型中为语音智能体做选择：Gemini 1.0 Pro 适合可预测、符合合规要求的流程，输入每百万 token 0.50 美元、输出每百万 token 2.00 美元；Gemini 1.5 Flash 适合高吞吐量工作，上下文窗口为 100 万 token；Gemini 1.5 Pro 适合深度推理，上下文窗口为 200 万 token，长上下文检索准确率达 99.7%；Gemini 2.0 Flash 支持原生工具调用。
Vapi BlogAI 评分3030 面向语音 AI 开发者的 DeepSeek R1 与 V3 对比
DeepSeek V3 每秒处理的 token 数量比 R1 多 47%，每百万输出 token 收费 0.28 美元；R1 每百万输出 token 收费 2.19 美元，并会为更难的任务运行内部推理循环。R1 在 MATH-500 上得分 97.3%，在 AIME 2024 上得分 79.8%；V3 则分别为 90.2% 和 39.2%。多数团队将 80-90% 的简单查询交给 V3，把复杂推理工作交给 R1。
Vapi BlogAI 评分1010 SRTP 简介：安全实时传输协议
SRTP 通过为每个媒体数据包添加加密载荷、认证标签和主密钥标识符来保护 RTP 语音和视频流。它主要依赖 AES 计数器模式和 HMAC-SHA1 认证标签，用序列号阻止重放攻击，并与 DTLS-SRTP 或 SDES 配合进行密钥交换。SRTP 被定位为实时通信中开销较低的应用层选项，GDPR、HIPAA 和 CPRA 被列为合规驱动因素。
Vapi BlogAI 评分1818 语音 AI 项目中的 .env 文件与环境变量
一份关于在语音 AI 项目中使用 .env 文件与环境配置的指南，涵盖 Node.js 与 Python 的 dotenv 设置、将 .env 加入 .gitignore，以及 VAPI_API_KEY 和 VAPI_PROJECT_ID 等 Vapi 专用密钥。文中引用 GitGuardian 的发现：2023 年 GitHub 上泄露了 1280 万个密钥，同比增长 28%，并建议按环境拆分 env 文件，同时使用 git-crypt、SOPS、AWS Secrets Manager 和 HashiCorp Vault 等工具。
Vapi BlogAI 评分1818 Amazon Lex 与 Dialogflow：完整平台对比指南
Amazon Lex 适合已在使用 AWS、需要与 Amazon 服务紧密集成的团队，而 Dialogflow 提供更广泛的语言支持，对新手来说学习曲线也更平缓。Lex 采用 Alexa 的技术，按使用量付费，第一年每月包含 10,000 次文本请求和 5,000 次语音请求的免费额度；Dialogflow 支持 30 多种语言，并提供预构建代理和情感分析。
Vapi BlogAI 评分88 掌握 Vapi 语音 AI 集成的环境变量配置
Vapi 的指南说明了如何为其语音 AI 集成配置环境变量，涵盖临时与永久变量、用户级与系统级变量的区别。指南详细介绍了在 Windows、macOS 和 Linux 上的设置方法，并给出了 VAPI_API_KEY 和 VAPI_MULTILINGUAL_SUPPORT 等 Vapi 专用示例，以及命名和安全方面的最佳实践，例如绝不硬编码 API 密钥。
Vapi BlogAI 评分2020 10 款最佳开源医疗语音转文字工具
一份指南对 10 个用于临床的开源语音转文字模型进行了排名，评估维度包括实时准确率、临床术语处理、运行可靠性和数据安全。榜单涵盖 Vosk、DeepSpeech、SpeechBrain、OpenAI Whisper 和 ESPnet，并分别匹配到低资源农村诊所、多语言医院和术语密集型研究中心等场景。所有模型均可集成到 Vapi 的模型无关语音 AI 平台。
Modal BlogAI 评分3636 Modal 用于 GPU 容量与云套利的线性规划资源求解器
Modal 构建了一个“资源求解器”，使用线性规划和单纯形算法来决定启动或关闭哪些云实例，以可预测的价格满足 GPU 需求。该系统还能捕捉临时套利机会，例如以比 H100 现行价格低 20% 的价格获取数百块 H200 GPU，每年节省数百万美元。
Modal BlogAI 评分2222 sync. 如何借助 Modal 每天对 100 小时视频进行唇形同步
sync. 正利用 Modal 每天对超过 100 小时的视频进行唇形同步，将长视频拆分为场景，在 n 个 T4 GPU 容器上运行人脸检测和翻译，再将每个场景交给其基于 A100 的专有 LipSync GenAI 模型处理。该团队每天部署多达 95 次，并在一年内将 10 个主要模型变体投入生产，此前他们从 Google Colab 原型和 AWS Lambda 迁移而来。