Modal 部落格：主機端開銷正在扼殺你的推論效率
Modal 的部落格說明主機端開銷——GPU 閒置等待 CPU 準備工作的空檔——如何在 AI 推論中以低 GPU 核心利用率的形式顯現。在主機端開銷達 50% 時，GPU 推論成本是原本可能的兩倍。文章詳細介紹了生產環境開源推論引擎中採用的修正措施，包括在裝置上建構張量而非傳輸張量，以及減少不必要的 CUDA 核心啟動。
#推理
Modal BlogAI 評分3636
Modal BlogAI 評分4040 Decagon 如何在 Modal 上推出即時語音 AI
Decagon 與 Modal 合作打造 Decagon Voice 2.0，將延遲降低 65%，同時提升意圖辨識與回應品質。Decagon 透過 SFT 與 RL 微調緊湊的開源模型，超越更大的前沿模型；Modal 則訓練了自訂的 EAGLE3 草稿模型，接受長度提高 38%，並以非同步推測解碼排程器重新設計 SGLang，將吞吐量提升最高達 12%。
Modal Blog精選AI 評分6060 Modal 工程師逆向解析 Flash Attention 4 的運作原理
Modal 工程師閱讀已釋出的 Flash Attention 4 原始碼，逆向解析這個針對 Blackwell 最佳化的注意力核心如何運作，因為目前尚無官方技術報告。這篇文章追蹤一個 tile 如何流經該核心的 warp 特化非同步管線，並詳述兩個數學技巧：一個可取代基於 SFU 之指數運算的三次多項式軟體指數，以及一個更聰明的線上 softmax 重新縮放規則，Tri Dao 表示這能將修正次數減少 10 倍。據報導，FA4 比 Nvidia 的閉源 cudnn 注意力核心快約 20%，而撰文時尚無反向版本可用。
推薦理由：Modal 工程師閱讀已釋出的 Flash Attention 4 原始碼，解釋其 warp 特化管線與兩個數學技巧，提供了一個可轉移的視角，說明 CUDA 核心設計的發展方向。
Modal Blog精選AI 評分6060 Modal 推出 GPU 記憶體快照，實現亞秒級無伺服器冷啟動
Modal 宣布 GPU 記憶體快照進入 alpha 階段，將其既有的 checkpoint/restore 系統延伸至擷取 GPU vRAM、CUDA 核心、串流與上下文，讓 GPU 工作負載能從凍結狀態還原，而非在開機後重建 CUDA 狀態。
推薦理由：Modal 將 GPU 狀態納入其記憶體快照，讓 torch.compile 與 vLLM 工作負載的冷啟動時間最多縮短 10 倍，並使 scale-to-zero 更為實用。
Modal BlogAI 評分3030 以每 token 美元計價有害：為何自架 LLM 推論應按請求計價
Modal 部落格文章主張，承襲自 OpenAI、Anthropic 與 Alphabet 等 API 供應商的「每 token 美元」計價方式，對執行自架 LLM 推論的團隊有害。文章認為應用程式使用者在意的是請求而非 token，因此需要以每請求為框架來思考延遲、副本數量與運算成本。
Modal BlogAI 評分4040 Modal 產品更新：多節點訓練叢集、B200 與 H200 GPU，以及 Client 1.0
Modal 已推出多節點訓練叢集 Beta 版，使用者只要加上 @clustered 裝飾器，就能跨多台主機取用數十個 GPU，並具備 3.2 Tbps Infiniband RDMA 互連，可達到近乎線性的擴展。該平台現在以無伺服器方式提供 NVIDIA B200 與 H200 GPU，價格分別為每小時 $6.25 與 $4.54，並宣稱 LLM 推論速度比 H100 快上 2-4 倍。Modal 同時發布 Client 1.0，強調 API 穩定性，另外還有唯讀 Volume 方法與 Cron 排程時區支援等更新。
Vapi BlogAI 評分2222 Mistral 與 Llama 3：語音 AI 應用的完整比較
Mistral 與 Llama 3 在語音 AI 的設計理念上分歧：Mistral 的 7B 到 Mistral Small 3.1（24B）模型偏好低延遲效率，而 Llama 3 從 8B 擴展到 70B，以換取更強的推理與多語言能力。Mistral Small 3.1 在每秒 150-166 個 token 下達到 0.29 秒首個 token 時間，且 Mistral Small 24B 在 ARC-C、GPQA 與 MMLU 上勝過 Llama 3.1 8B Instruct，而 Llama 3.1 405B 在 MMLU 上得分 85.2%、在 GSM8K 上得分 96.8%。
Vapi BlogAI 評分2222 Gemini Flash 與 Pro：比較 Google 最新 LLM
Google 的 Gemini 2.5 Flash 與 2.5 Pro 主要差異在於速度與推理深度，兩者皆提供 1M token 上下文視窗，並原生支援於 Vapi 語音代理。Flash 首個 token 回傳時間為 0.21–0.37 秒，速度為每秒 163 個 token，每百萬輸入/輸出 token 費用為 $0.15/$0.60；Pro 費用為 $1.25/$10，並新增 Deep Think 模式，另計劃推出 2M token 視窗。
Modal BlogAI 評分4242 Modal 新增 Nvidia B200 與 H200 GPU，每小時 6.25 美元與 4.54 美元
Modal 現在向所有帳戶持有人提供 Nvidia B200 與 H200 GPU，無需聯繫業務或申請配額，價格分別為每小時 6.25 美元與 4.54 美元。B200 配備 180 GB 的 HBM3e 記憶體與 8 TB/s 頻寬，在 Modal 的 vLLM 測試中，以 8 位元精度執行 DeepSeek V3，8 張 B200 相較 8 張 H200 在每秒 1 次請求下，將中位數首字延遲縮短了 2.5 倍。
Vapi BlogAI 評分3030 DeepSeek R1 與 V3：語音 AI 開發者該怎麼選
DeepSeek V3 每秒處理的 token 數比 R1 多 47%，每百萬輸出 token 收費 0.28 美元；R1 每百萬收費 2.19 美元，並會針對較難的任務執行內部推理迴圈。R1 在 MATH-500 上得分 97.3%、在 AIME 2024 上得分 79.8%，V3 則分別為 90.2% 與 39.2%。多數團隊會把 80-90% 的簡單查詢導向 V3，並將複雜的推理工作交給 R1。
Modal BlogAI 評分4040 GPU 使用率的高階指南：配置、核心與模型 FLOP/s 使用率
Modal 發布了一份指南，區分三種常被稱為「GPU 使用率」的概念：GPU 配置使用率（執行應用程式碼的 GPU 秒數佔付費 GPU 秒數的比例）、GPU 核心使用率（在 GPU 上執行程式碼的時間佔比），以及模型 FLOP/s 使用率（所用理論算力頻寬的佔比）。該指南聚焦於神經網路推論工作負載，Modal 稱之為利潤中心而非成本中心。
Modal Blog精選AI 評分6262 Modal 加入記憶體快照，將無伺服器冷啟動加快 2.5 倍
Modal 為其無伺服器 GPU 容器執行環境推出記憶體快照還原功能，並表示這能讓冷啟動比標準容器啟動快約 2.5 倍。一個通常需要約 13 秒的 Stable Diffusion 推論 Function，現在只需 3.5 秒即可還原；而一個簡單的 import torch 程式，則從約 5 秒降至 p50 約 1.05 秒、p0 約 0.69 秒。快照建構於 gVisor 的 checkpoint/restore 之上，並依需求建立；當還原失敗時，會自動退回標準容器啟動。GPU 狀態目前尚未被儲存，因此還原後必須重建。
推薦理由：Modal 說明以 gVisor 為基礎的記憶體快照如何縮短無伺服器冷啟動，並提供 Stable Diffusion Function 與 torch import 範例的具體還原時間。
Modal BlogAI 評分2525 Modal 新增 NVIDIA L40S GPU，AI 推論每小時 1.95 美元
Modal 現在以每小時 1.95 美元的價格向所有使用者提供 NVIDIA L40S GPU，定位為其最受歡迎的推論加速器 A10 的更快、記憶體更大的替代方案。L40S 將 GPU 記憶體加倍至 48GB，讓 Flux.1-schnell 等模型能在單一 GPU 上以 16 位元精度運行，並在記憶體受限的工作上帶來約 40% 的加速，在運算受限的 16 位元 Tensor Core 工作上加速超過 100%。
Modal BlogAI 評分3838 Modal 新增原生動態批次處理，Whisper 吞吐量提升 2.8 倍
Modal 新增原生動態批次處理支援，讓推論函式透過單一 @modal.batched() 裝飾器搭配 max_batch_size 與 wait_ms 參數來分組請求。在 A10G 上執行 OpenAI 的 Whisper large v3 時，max_batch_size 設為 64 將吞吐量從每容器每秒約 1.2 次請求提升至約 3.3 次，並降低推論成本 65%。
Modal Blog精選AI 評分6262 Modal 重現 Large Language Monkeys：LLaMA 3.1 8B 透過搜尋在 HumanEval 上與 GPT-4o 匹敵
Modal 的 Charles Frye 在新資料集上重現了 Large Language Monkeys 論文的核心主張，顯示重複取樣讓 LLaMA 3.1 8B 在 HumanEval 上從 66.4% pass@1 提升到 90.5% pass@100 與 95.1% pass@1000，對比 GPT-4o 報告的 90.2% pass@1。這些執行使用 Modal 無伺服器 GPU 上的 vLLM，並以 Modal Sandboxes 進行平行測試執行，成本遠低於 50 美元，且在三個數量級上展現平滑、可預測的擴展。
推薦理由：一項實作重現顯示，小型開源模型搭配重複取樣如何在 HumanEval 上逼近 GPT-4o，提供了一個具體、低成本以運算換取準確率的配方。
Cursor ChangelogAI 評分4040 Cursor 勾勒下一階段 AI 編程難題：動作預測、完美編輯、最佳上下文
Cursor 發布了其最初「Problems」文章的後續，列出它認為對下一階段 AI 編程最關鍵的研究問題。該公司已將 Copilot++ 擴展到預測下一個游標位置，並將其與下一次編輯預測結合，讓模型能夠「演奏」低熵變更序列——一個演示需要按 11 次 Tab 鍵，而其他每個鍵按 3 次，Cursor 稱之為 Cursor Flow。其他方向包括跨代碼庫的動作預測、透過更多推理時計算實現完美編輯、幻覺偽代碼、多檔案編輯、最佳上下文、多跳上下文，以及錯誤偵測與除錯。
Cursor Changelog精選AI 評分6262 Cursor 分析 Llama-2-70B 推論成本與延遲，並與 GPT-3.5 對比
Cursor 在 2 張 80-GB A100 GPU 上測量 Llama-2-70B 的推論，發現就提示詞 token 而言，它比 GPT-3.5 便宜超過 3 倍，但在小批次規模下，生成 token 則貴得多。提示詞處理每 1K token 約 $0.00042，而 GPT-3.5 為 $0.0015；生成在批次大小為 1 時達到每 1K token $0.066，只有在大批次下才接近 GPT-3.5 的價格，而大批次會把首 token 時間推遲到數秒。Cursor 建議對分類與重排序這類提示詞密集的任務使用開源模型，對生成密集的工作負載則使用閉源 API。
推薦理由：Cursor 測得的成本與延遲數據顯示了自託管 Llama-2-70B 何時優於 GPT-3.5、何時不然，為開源模型服務決策提供了可複用的框架。