Modal 博客：主机开销正在扼杀你的推理效率
Modal 的博客解释了主机开销——即 GPU 空闲等待 CPU 准备工作的时间间隙——如何在 AI 推理中表现为 GPU 内核利用率低下。当主机开销达到 50% 时，GPU 推理成本是原本的 2 倍。文章详细介绍了生产级开源推理引擎中采用的修复方法，包括在设备上构建张量而非传输张量，以及减少不必要的 CUDA 内核启动。
#推理
Modal BlogAI 评分3636
Modal BlogAI 评分4040 Decagon 如何在 Modal 上交付实时语音 AI
Decagon 与 Modal 合作构建了 Decagon Voice 2.0，将延迟降低 65%，同时提升了意图识别和响应质量。Decagon 通过 SFT 和 RL 微调紧凑的开源模型，使其超越更大的前沿模型；Modal 则训练了自定义 EAGLE3 草稿模型，接受长度提高 38%，并重新设计了 SGLang，加入异步投机解码调度器，将吞吐量提升最高 12%。
Modal Blog精选AI 评分6060 Modal工程师逆向解析Flash Attention 4的工作原理
Modal工程师阅读了已发布的Flash Attention 4源代码，逆向解析了这个针对Blackwell优化的注意力内核的工作原理，因为目前尚无官方技术报告。文章追踪了一个tile在内核的warp特化异步流水线中的流转过程，并详述了两个数学技巧：一个可替代基于SFU的指数运算的三次多项式软件指数，以及一个更聪明的在线softmax重缩放规则——Tri Dao称其将修正次数减少了10倍。据报道，FA4比Nvidia闭源的cudnn注意力内核快约20%，而在撰写本文时反向版本尚不可用。
推荐理由：Modal工程师阅读了已发布的Flash Attention 4源代码，解释了其warp特化流水线和两个数学技巧，提供了一个关于CUDA内核设计走向的可迁移视角。
Modal Blog精选AI 评分6060 Modal 推出 GPU 内存快照，实现亚秒级无服务器冷启动
Modal 宣布推出 alpha 版 GPU 内存快照，将其现有的检查点/恢复系统扩展至捕获 GPU 显存、CUDA 内核、流和上下文，使 GPU 工作负载从冻结状态恢复，而非在启动后重建 CUDA 状态。
推荐理由：Modal 将 GPU 状态加入其内存快照，使 torch.compile 和 vLLM 工作负载的冷启动时间最多缩短 10 倍，并让缩容至零更具实用性。
Modal BlogAI 评分3030 按 token 计价有害：为何自托管 LLM 推理应按请求计价
Modal 的一篇博客文章认为，从 OpenAI、Anthropic 和 Alphabet 等 API 提供商沿袭而来的“每 token 美元”定价方式，对运行自托管 LLM 推理的团队有实际危害。文章主张，应用用户关心的是请求而非 token，需要按请求的框架来推理延迟、副本数量和计算成本。
Modal BlogAI 评分4040 Modal 产品更新：多节点训练集群、B200 和 H200 GPU，以及 Client 1.0
Modal 已推出多节点训练集群测试版，用户只需添加 @clustered 装饰器，即可跨多台主机调用数十块 GPU，并配备 3.2 Tbps Infiniband RDMA 互连，实现接近线性的扩展。该平台现以无服务器方式提供 NVIDIA B200 和 H200 GPU，价格分别为每小时 6.25 美元和 4.54 美元，声称 LLM 推理速度比 H100 最高快 2-4 倍。Modal 还发布了 Client 1.0，强调 API 稳定性，同时更新了只读 Volume 方法和 Cron 调度器的时区支持。
Vapi BlogAI 评分2222 Mistral 与 Llama 3：语音 AI 应用的完整对比
Mistral 和 Llama 3 在语音 AI 的设计理念上存在分歧：Mistral 的 7B 到 Mistral Small 3.1（24B）模型偏向低延迟效率，而 Llama 3 从 8B 扩展到 70B，以获得更强的推理能力和多语言覆盖。Mistral Small 3.1 的首 token 时间达到 0.29 秒，速度为每秒 150-166 个 token；Mistral Small 24B 在 ARC-C、GPQA 和 MMLU 上优于 Llama 3.1 8B Instruct；而 Llama 3.1 405B 在 MMLU 上得分 85.2%，在 GSM8K 上得分 96.8%。
Vapi BlogAI 评分2222 Gemini Flash 与 Pro：对比 Google 最新 LLM
Google 的 Gemini 2.5 Flash 和 2.5 Pro 主要区别在于速度与推理深度，两者均提供 100 万 token 上下文窗口，并原生支持在 Vapi 中用于语音代理。Flash 在每秒 163 token 的速度下，0.21–0.37 秒返回首个 token，输入/输出每百万 token 费用为 $0.15/$0.60；而 Pro 费用为 $1.25/$10，并增加了 Deep Think 模式，计划提供 200 万 token 窗口。
Modal BlogAI 评分4242 Modal 上线 Nvidia B200 和 H200 GPU，每小时 6.25 美元和 4.54 美元
Modal 现向所有账户持有人提供 Nvidia B200 和 H200 GPU，无需联系销售或申请配额，价格分别为每小时 6.25 美元和 4.54 美元。B200 配备 180 GB HBM3e 显存和 8 TB/s 带宽；在 Modal 的 vLLM 测试中，以 8 位精度运行 DeepSeek V3 时，在每秒 1 个请求下，8 块 B200 将首 token 中位时间较 8 块 H200 缩短了 2.5 倍。
Vapi BlogAI 评分3030 面向语音 AI 开发者的 DeepSeek R1 与 V3 对比
DeepSeek V3 每秒处理的 token 数量比 R1 多 47%，每百万输出 token 收费 0.28 美元；R1 每百万输出 token 收费 2.19 美元，并会为更难的任务运行内部推理循环。R1 在 MATH-500 上得分 97.3%，在 AIME 2024 上得分 79.8%；V3 则分别为 90.2% 和 39.2%。多数团队将 80-90% 的简单查询交给 V3，把复杂推理工作交给 R1。
Modal BlogAI 评分4040 GPU 利用率的高层指南：分配、内核与模型 FLOP/s 利用率
Modal 发布了一份指南，区分了通常被称为“GPU 利用率”的三件事：GPU 分配利用率（运行应用代码的 GPU 秒数占付费 GPU 秒数的比例）、GPU 内核利用率（在 GPU 上运行代码的时间占比）以及模型 FLOP/s 利用率（所使用的理论算术带宽的份额）。该指南聚焦于神经网络推理工作负载，Modal 将其称为收入中心而非成本中心。
Modal Blog精选AI 评分6262 Modal 增加内存快照，将无服务器冷启动缩短 2.5 倍
Modal 为其无服务器 GPU 容器运行时引入了内存快照恢复功能，称其冷启动速度比标准容器启动快约 2.5 倍。一个通常需要约 13 秒的 Stable Diffusion 推理 Function 现在可在 3.5 秒内恢复，而一个简单的 import torch 程序在 p50 下从约 5 秒降至约 1.05 秒，在 p0 下降至 0.69 秒。快照基于 gVisor 的 checkpoint/restore 构建，按需创建，当恢复失败时会自动回退到标准容器启动；GPU 状态尚未保存，因此必须在恢复后重建。
推荐理由：Modal 解释了基于 gVisor 的内存快照如何缩短无服务器冷启动，并给出了 Stable Diffusion Function 和 torch import 示例的具体恢复耗时。
Modal BlogAI 评分2525 Modal 新增 NVIDIA L40S GPU，AI 推理每小时 1.95 美元
Modal 现向所有用户提供 NVIDIA L40S GPU，价格为每小时 1.95 美元，定位为其最受欢迎的推理加速器 A10 的更快、更大内存替代方案。L40S 将 GPU 内存翻倍至 48GB，使 Flux.1-schnell 等模型能在单块 GPU 上以 16bit 精度运行，并在内存受限任务上带来约 40% 的加速，在计算受限的 16bit Tensor Core 任务上加速超过 100%。
Modal BlogAI 评分3838 Modal 新增原生动态批处理，Whisper 吞吐量提升 2.8 倍
Modal 新增了原生动态批处理支持，推理函数可通过单个 @modal.batched() 装饰器并配合 max_batch_size 和 wait_ms 参数来对请求进行分组。在 A10G 上运行 OpenAI 的 Whisper large v3 时，max_batch_size 设为 64 使每个容器的吞吐量从约 1.2 提升至约 3.3 请求/秒，并将推理成本降低了 65%。
Modal Blog精选AI 评分6262 Modal 复现 Large Language Monkeys：LLaMA 3.1 8B 通过搜索在 HumanEval 上媲美 GPT-4o
Modal 的 Charles Frye 在新数据集上复现了 Large Language Monkeys 论文的核心主张，表明重复采样使 LLaMA 3.1 8B 在 HumanEval 上从 66.4% pass@1 提升至 90.5% pass@100 和 95.1% pass@1000，而 GPT-4o 报告的 pass@1 为 90.2%。运行使用 Modal 无服务器 GPU 上的 vLLM 和 Modal Sandboxes 进行并行测试执行，成本远低于 50 美元，并在三个数量级上展现出平滑、可预测的扩展。
推荐理由：一次亲手复现表明，使用小型开源模型进行重复采样可以在 HumanEval 上接近 GPT-4o，提供了一种具体、低成本的计算换准确率方案。
Cursor ChangelogAI 评分4040 Cursor 勾勒下一阶段 AI 编程难题：动作预测、完美编辑、最优上下文
Cursor 发布了其最初“Problems”文章的后续，列出了它认为对 AI 编程下一阶段最关键的研究问题。该公司已将 Copilot++ 扩展至预测下一个光标位置，并将其与下一次编辑预测相结合，使模型能够“玩转”一系列低熵变更——一个演示需要按 11 次 Tab 键，而其他每个键按 3 次，Cursor 称之为 Cursor Flow。其他方向包括跨代码库的动作预测、通过更多推理时计算实现完美编辑、幻觉伪代码、多文件编辑、最优上下文、多跳上下文以及缺陷检测与调试。
Cursor Changelog精选AI 评分6262 Cursor 分析 Llama-2-70B 推理成本与延迟，并与 GPT-3.5 对比
Cursor 在 2 块 80 GB A100 GPU 上测量了 Llama-2-70B 的推理，发现对于提示词 token，它比 GPT-3.5 便宜 3 倍以上，但在小批量下生成 token 的成本要高得多。提示词处理成本约为每 1K token 0.00042 美元，而 GPT-3.5 为 0.0015 美元；而在批量大小为 1 时，生成成本达到每 1K token 0.066 美元，只有在大批量下才接近 GPT-3.5 的定价，而这会将首 token 时间推至数秒。Cursor 建议对分类和重排序等提示词密集型任务使用开源模型，对生成密集型工作负载使用闭源 API。
推荐理由：Cursor 测量的成本和延迟数据展示了自托管 Llama-2-70B 何时优于 GPT-3.5、何时不优于，为开源模型服务决策提供了一个可复用的框架。