GSD at Work 的顧問 Christian Ulstrup 使用 Vapi 語音 AI 代理，為他的 AI Action Sessions 工作坊以非同步語音接待系統取代預約探索通話。參與者可在方便時撥打專屬的 Vapi 電話線，逐字稿與 AI 生成的摘要會透過 Zapier 流入 Slack，並記錄在 HubSpot 中。針對近期一位客戶，全球 20 位參與者貢獻了超過 3 小時的探索內容，該場次獲得 5 分（滿分 5 分）的評價。
Modal 發布了一份指南，區分三種常被稱為「GPU 使用率」的概念：GPU 配置使用率（執行應用程式碼的 GPU 秒數佔付費 GPU 秒數的比例）、GPU 核心使用率（在 GPU 上執行程式碼的時間佔比），以及模型 FLOP/s 使用率（所用理論算力頻寬的佔比）。該指南聚焦於神經網路推論工作負載，Modal 稱之為利潤中心而非成本中心。
微調會調整預訓練 LLM 的權重，使其符合特定任務或領域，在品質上優於提示工程，且成本與延遲更低；相較於 GPT-3.5，微調後的 Llama 7B 在效能相當的情況下，每個 token 的成本效益約高出 50 倍。本指南涵蓋結構化輸出、風格遵循與領域專屬指令等使用案例，以及 OpenAI、Predibase、Modal、Google Colab 與 AWS SageMaker 等選項，還有 HuggingFace transformers、TRL 與 Axolotl 等框架。
OpenArt 將其專有的 ComfyUI 工作流程部署在 Modal 上，將部署時間從在 AWS 和 GCP 上所需的數小時縮短至數分鐘，並可自動擴展至數百個 GPU 容器。Modal 目前為該平台上的 100 多個工作流程提供支援，該平台每月活躍用戶超過 300 萬。
一個示範應用程式利用時間戳、地理位置資料，以及來自 Clay v1 基礎模型的衛星影像嵌入，對加州全境進行混合搜尋。Modal 負責統籌每日的 Sentinel API 查詢、MongoDB Atlas 儲存，以及在 A10 GPU 上進行 GPU 嵌入推論，並透過 FastAPI 提供一個小型 Alpine JS 前端。
Contextual AI 在 Modal 上將其基於 GPU 的持續整合自動化並行化，取代了在內部 GPU 節點上的人工測試執行。一個 GitHub Action 會觸發一個掛載多個 GPU 的 Modal Function，而快取的映像建置讓測試能在作業提交後 30 秒內開始。Modal 按用量計費，因此帳單中 99% 都是實際的測試執行時間。
Modal 的 Charles Frye 在新資料集上重現了 Large Language Monkeys 論文的核心主張，顯示重複取樣讓 LLaMA 3.1 8B 在 HumanEval 上從 66.4% pass@1 提升到 90.5% pass@100 與 95.1% pass@1000，對比 GPT-4o 報告的 90.2% pass@1。這些執行使用 Modal 無伺服器 GPU 上的 vLLM，並以 Modal Sandboxes 進行平行測試執行，成本遠低於 50 美元，且在三個數量級上展現平滑、可預測的擴展。
推薦理由：一項實作重現顯示，小型開源模型搭配重複取樣如何在 HumanEval 上逼近 GPT-4o，提供了一個具體、低成本以運算換取準確率的配方。
Modal 現在可以直接從 Airflow DAG 觸發，讓團隊無需設置 Celery 或 Kubernetes executor 即可執行由 GPU 支援的 AI/ML 任務。本指南涵蓋在 Airflow 環境中安裝 Modal、設置 MODAL_TOKEN_ID 與 MODAL_TOKEN_SECRET，以及兩種方法：透過 lookup 呼叫已部署的 Modal Functions，或建立自訂 operator 在 Modal Sandboxes 中執行 Python。Modal Airflow provider 套件正在開發中。
Modal 在其無伺服器容器執行環境中新增了一個名為 seccheck 的執行期程式分析元件，能在封禁違規使用者之前偵測並停用用於加密貨幣挖礦的 Functions。由於礦工可以更改中繼資料，卻無法更改其程式，Modal 分析的是系統呼叫日誌，而非原始碼、二進位檔或容器映像。該系統避開了基於 ptrace 的 strace 額外開銷，這種開銷可能使系統呼叫密集的程式變慢超過 100 倍。
Hunch 是一個空間畫布，整合了 OpenAI GPT-4o、Anthropic Claude 3 Opus 和 Stable Diffusion 3 等模型，並使用 Modal Sandboxes 在隔離的臨時容器中安全執行 AI 生成的程式碼。此整合僅需幾行 Python 程式碼，並支援 pip 安裝、附加儲存磁碟區和自動擴展。Hunch 表示，這套設定讓非程式設計人員也能建立工作流程，用以擷取 API 資料或將結果傳送至 Slack webhooks。
Modal 在約 300 個 SVG 的 Heroicons 圖示庫上微調了一個 Stable Diffusion 模型，以生成該風格的新黑白線條圖示，包括 barack-obama 和 golden-retriever 等概念的圖示。完整流程——下載預訓練模型、使用 HuggingFace Diffusers 的 train_text_to_image.py 腳本進行完整微調，以及提供 Gradio 網頁介面——都在 Modal 的無伺服器 GPU 平台上執行。文章詳細說明了資料集準備（SVG 轉 PNG、白色背景、標註檔 metadata.csv），並指出完整微調效果最好，不過 LoRA 式的平行適配器也可用於小型資料集。
一個經過微調的開源嵌入模型，只需少量範例，就能以更低成本在準確度上超越 OpenAI 的 text-embedding-3-small。Modal 在 Quora 重複問題資料集上進行了一項實驗，以找出一個簡單的問答用例需要多少微調資料，並描述了如何在其無伺服器基礎設施上建置一個。
Ramp 使用 Modal 微調其 LLM，並打造一個文字轉結構化 JSON 的模型來管理收據，將需要人工介入的收據減少 34%，其基礎設施成本估計比 OpenAI 等主要 LLM 供應商便宜 79%。Modal 函式平行訓練了許多候選模型，將權重持久化到 Modal volumes，並提供參數化的推論端點。一名工程師還將一支用於 25,000 張發票的 PII 移除腳本移植到 Modal，在 256 個雲端 worker 上平行處理，20 分鐘內完成，花費 100 美元，而非在本地耗時 3 天。
Modal 打造了 modal-http，這是一套 HTTP 與 WebSocket 堆疊，讓其無伺服器函式能夠接收 Web 請求，完整的 WebSocket 支援近期已完成。有別於 AWS Lambda 的 15 分鐘與 50 MB 限制，Modal 容器最多可使用 64 顆 CPU、336 GB 記憶體與 8 張 Nvidia H100 GPU，因此團隊將 HTTP 轉譯為函式呼叫，而非以傳統反向代理前端容器。
Modal 和 Hugging Face 的文字嵌入推論伺服器，可在大約 15 分鐘內嵌入整部英文維基百科，費用僅略高於 15 美元，靠的是 Modal 的無伺服器 GPU 擴縮能力。文章主張，對正式環境的 RAG 而言，開源嵌入模型勝過 OpenAI 的 text-embedding-ada-002 這類以 API 為基礎的模型，因為前者可用使用者資料微調，並避開速率限制與按權杖計費。
Cursor 在 2 張 80-GB A100 GPU 上測量 Llama-2-70B 的推論，發現就提示詞 token 而言，它比 GPT-3.5 便宜超過 3 倍，但在小批次規模下，生成 token 則貴得多。提示詞處理每 1K token 約 $0.00042，而 GPT-3.5 為 $0.0015；生成在批次大小為 1 時達到每 1K token $0.066，只有在大批次下才接近 GPT-3.5 的價格，而大批次會把首 token 時間推遲到數秒。Cursor 建議對分類與重排序這類提示詞密集的任務使用開源模型，對生成密集的工作負載則使用閉源 API。
推薦理由：Cursor 測得的成本與延遲數據顯示了自託管 Llama-2-70B 何時優於 GPT-3.5、何時不然，為開源模型服務決策提供了可複用的框架。