Modal 舉辦了一場內部黑客松，30 名員工組成 13 支隊伍，打造的所有專案都使用了 Modal。Browserman 是一個多模態 AI 代理，以 Llama-3.2-90B-Vision-Instruct-FP8、vLLM 和 Playwright 構建，能透過視覺化方式瀏覽網頁以完成任務。Glodal 則原型化了一個分散式控制平面，將請求延遲從 268ms 降至 3ms，Modal 目前正著手將其整合進平台中。
一支以 AFC Richmond 匿名的歐洲頂級足球隊，將其比賽追蹤資料管線遷移到 Modal 的無伺服器 GPU 平台，並將處理整個賽季比賽的成本降低了 50%。該隊透過一個基於 transformer 的自訂模型，對每場比賽約 350 萬筆追蹤觀測資料執行推論，而藉由在 Modal 上運行 Airflow，現在處理每場比賽的資料只需幾分鐘，而非數小時。
Modal 與 AWS 簽署策略合作協議，協助企業在其無伺服器平台上更快速地開發與部署 AI 產品，該平台專為 GPU 加速工作負載設計，可在最短一秒內啟動支援 GPU 的容器。作為協議的一部分，Modal 將上架 AWS Marketplace，並投資於 AWS PrivateLink 等整合功能，以服務有特定安全與隱私需求的客戶。
OpenArt 將其專有的 ComfyUI 工作流程部署在 Modal 上，將部署時間從在 AWS 和 GCP 上所需的數小時縮短至數分鐘，並可自動擴展至數百個 GPU 容器。Modal 目前為該平台上的 100 多個工作流程提供支援，該平台每月活躍用戶超過 300 萬。
Modal 推出了靜態 IP 代理，可將對外流量導向工作區專屬的 IP，另外還推出原生 Slack 整合以提供應用程式即時警示，以及可追蹤所有工作區應用程式資源的即時用量儀表板。此次更新也為函式新增了 GPU 備援，擴大了函式可被排程的資源池，並包含用戶端變更，例如 `modal shell` 容器 ID 以及參數化函式的記憶體快照。
Modal 認為，AI 的 GPU 短缺源於一種錯配：大部分需求流向訓練，但營收來自推論，而推論工作負載本質上波動不定。由於請求率會隨日夜循環、每週模式、爆紅流量與成長趨勢而起伏，固定的長期 GPU 預留會使真實世界的叢集使用率低於 50%。將眾多使用者的需求匯聚起來——以總和的峰值而非峰值的總和來配置資源——能大幅提升使用率，而跨區域匯聚供給則能進一步增加彈性。
一個示範應用程式利用時間戳、地理位置資料，以及來自 Clay v1 基礎模型的衛星影像嵌入，對加州全境進行混合搜尋。Modal 負責統籌每日的 Sentinel API 查詢、MongoDB Atlas 儲存，以及在 A10 GPU 上進行 GPU 嵌入推論，並透過 FastAPI 提供一個小型 Alpine JS 前端。
Contextual AI 在 Modal 上將其基於 GPU 的持續整合自動化並行化，取代了在內部 GPU 節點上的人工測試執行。一個 GitHub Action 會觸發一個掛載多個 GPU 的 Modal Function，而快取的映像建置讓測試能在作業提交後 30 秒內開始。Modal 按用量計費，因此帳單中 99% 都是實際的測試執行時間。
Modal 新增原生動態批次處理支援，讓推論函式透過單一 @modal.batched() 裝飾器搭配 max_batch_size 與 wait_ms 參數來分組請求。在 A10G 上執行 OpenAI 的 Whisper large v3 時，max_batch_size 設為 64 將吞吐量從每容器每秒約 1.2 次請求提升至約 3.3 次，並降低推論成本 65%。
Modal 推出了應用程式回滾功能，讓使用者能從儀表板或 CLI 將已部署的應用程式還原至先前的版本，另外還有一個 @batched 裝飾器，可將請求累積成動態大小的批次，以延遲換取吞吐量和 GPU 使用率。Sandbox 物件現在可以將 TCP 連接埠轉發到網際網路並執行額外的程序，日誌也可以匯出到 OpenTelemetry 供應商。CPU 核心和更高階的 GPU 也變得更便宜了。
Modal 現已支援 HIPAA 合規工作負載，提供給透過 security@modal.com 簽署業務夥伴協議（BAA）的 Enterprise 方案客戶。除 Volumes、Images（不含 Filesystem 與 Directory Snapshots）、Memory Snapshots 及使用者程式碼外，所有 Modal 功能皆納入 BAA 範圍；上述除外項目不應放置 PHI。Modal 以其最小權限資料處理與 gVisor 沙箱執行環境作為安全基礎，延續其 SOC 2 Type 1 公告與持續進行中的 SOC 2 Type 2 認證。
Cursor 實作了一個 shadow workspace，讓其 AI 能在隱藏的 Electron 視窗中套用編輯並讀回 lint 結果，而不會影響使用者的編輯工作階段。文章概述了 LSP 可用性、獨立性、隱私、並行性與速度等設計目標，並說明為何複製 TextModel 或執行獨立的語言伺服器都行不通。文章也勾勒了未來用於可執行性的核心層級資料夾代理，並指出 macOS 與 Windows 缺乏可行的 FUSE 途徑，且 Rust LSP 支援目前尚不可用。
Modal 將 CPU 和部分最強大 GPU 的價格下調 15-30%，理由是 GPU 供應池競爭加劇，以及過去一年推出了更強大的 GPU。該公司同時調整 CPU/記憶體計費方式，改為對每個運行中的容器按 max(預留, 用量) 收費，所有 Functions 的預設最低預留為 0.125 個 CPU 核心。Team 方案漲至每月 250 美元，包含不限席位和每月 100 美元額度，新價格將於 9 月對受影響的 Starter 和 Team/Enterprise 用戶生效。
Modal 的 Charles Frye 在新資料集上重現了 Large Language Monkeys 論文的核心主張，顯示重複取樣讓 LLaMA 3.1 8B 在 HumanEval 上從 66.4% pass@1 提升到 90.5% pass@100 與 95.1% pass@1000，對比 GPT-4o 報告的 90.2% pass@1。這些執行使用 Modal 無伺服器 GPU 上的 vLLM，並以 Modal Sandboxes 進行平行測試執行，成本遠低於 50 美元，且在三個數量級上展現平滑、可預測的擴展。
推薦理由：一項實作重現顯示，小型開源模型搭配重複取樣如何在 HumanEval 上逼近 GPT-4o，提供了一個具體、低成本以運算換取準確率的配方。
Modal 的每月產品更新新增了 Datadog 整合，可一鍵轉發應用程式與稽核日誌，並為函式提供雲端區域選擇，以滿足法規、出口成本或資料庫鄰近性的需求。該公司也重新設計了函式呼叫系統，以更高的輸送量和顯著更低的額外負擔為目標，針對低延遲的即時生產工作負載，並徹底改造了應用程式詳細資料頁面，加入時間區間縮放、容器狀態和映像檔檔案系統檢視。
Basis 舉辦了提示奧林匹克（Prompt Olympics），這是一場競爭性程式設計風格的提示工程競賽，獎金 5,000 美元，並在 Modal 的基礎設施上運行。在其中一項挑戰中，參賽者撰寫提示來引導部署在 Modal 上的 LLaMA 3 70B 生成程式碼，這些程式碼必須通過 Modal Sandboxes 內的測試。決賽則讓參賽者透過提示來控制 Crafter 遊戲代理；Basis 發現，即使是像 LLaMA 3 70B 這樣能力不錯的開源模型，也很難有效地對其進行提示，因此該組件改用專有模型 API。
Modal 現在可以直接從 Airflow DAG 觸發，讓團隊無需設置 Celery 或 Kubernetes executor 即可執行由 GPU 支援的 AI/ML 任務。本指南涵蓋在 Airflow 環境中安裝 Modal、設置 MODAL_TOKEN_ID 與 MODAL_TOKEN_SECRET，以及兩種方法：透過 lookup 呼叫已部署的 Modal Functions，或建立自訂 operator 在 Modal Sandboxes 中執行 Python。Modal Airflow provider 套件正在開發中。
Modal 在其無伺服器容器執行環境中新增了一個名為 seccheck 的執行期程式分析元件，能在封禁違規使用者之前偵測並停用用於加密貨幣挖礦的 Functions。由於礦工可以更改中繼資料，卻無法更改其程式，Modal 分析的是系統呼叫日誌，而非原始碼、二進位檔或容器映像。該系統避開了基於 ptrace 的 strace 額外開銷，這種開銷可能使系統呼叫密集的程式變慢超過 100 倍。
Cursor 發布了其最初「Problems」文章的後續，列出它認為對下一階段 AI 編程最關鍵的研究問題。該公司已將 Copilot++ 擴展到預測下一個游標位置，並將其與下一次編輯預測結合，讓模型能夠「演奏」低熵變更序列——一個演示需要按 11 次 Tab 鍵，而其他每個鍵按 3 次，Cursor 稱之為 Cursor Flow。其他方向包括跨代碼庫的動作預測、透過更多推理時計算實現完美編輯、幻覺偽代碼、多檔案編輯、最佳上下文、多跳上下文，以及錯誤偵測與除錯。
Hunch 是一個空間畫布，整合了 OpenAI GPT-4o、Anthropic Claude 3 Opus 和 Stable Diffusion 3 等模型，並使用 Modal Sandboxes 在隔離的臨時容器中安全執行 AI 生成的程式碼。此整合僅需幾行 Python 程式碼，並支援 pip 安裝、附加儲存磁碟區和自動擴展。Hunch 表示，這套設定讓非程式設計人員也能建立工作流程，用以擷取 API 資料或將結果傳送至 Slack webhooks。
Modal 在約 300 個 SVG 的 Heroicons 圖示庫上微調了一個 Stable Diffusion 模型，以生成該風格的新黑白線條圖示，包括 barack-obama 和 golden-retriever 等概念的圖示。完整流程——下載預訓練模型、使用 HuggingFace Diffusers 的 train_text_to_image.py 腳本進行完整微調，以及提供 Gradio 網頁介面——都在 Modal 的無伺服器 GPU 平台上執行。文章詳細說明了資料集準備（SVG 轉 PNG、白色背景、標註檔 metadata.csv），並指出完整微調效果最好，不過 LoRA 式的平行適配器也可用於小型資料集。
Substack 已將幾乎所有 ML 模型的訓練與部署——包括垃圾郵件偵測、電子報推薦、音訊轉錄、情感分析和圖像生成——從 AWS SageMaker 遷移到 Modal。AI 與 ML 工程負責人 Mike Cohen 指出 SageMaker 的開發者體驗繁瑣、程式碼難以在 notebook 之間共享，以及容器啟動時間超過 5 分鐘；而在 Modal 上，一個推論端點只花一小時就實作完成。Substack 現在在 Modal 的儲存原語上運行完整的微調、驗證與部署工作流程。
Modal 的每月產品更新新增了 AWS S3 和 Cloudflare R2 儲存桶的可寫入掛載、用於在指定連接埠上託管非 ASGI/WSGI 網頁伺服器的 @web_server 裝飾器，以及為企業方案使用者提供的 Okta 單一登入。網頁儀表板中的磁碟區檢視器讓使用者能夠瀏覽磁碟區檔案系統，而最新用戶端則新增了透過 .include 進行多檔案應用程式組合、分割佇列，以及 Sandboxes 的 stdin 支援。
一個經過微調的開源嵌入模型，只需少量範例，就能以更低成本在準確度上超越 OpenAI 的 text-embedding-3-small。Modal 在 Quora 重複問題資料集上進行了一項實驗，以找出一個簡單的問答用例需要多少微調資料，並描述了如何在其無伺服器基礎設施上建置一個。
Ramp 使用 Modal 微調其 LLM，並打造一個文字轉結構化 JSON 的模型來管理收據，將需要人工介入的收據減少 34%，其基礎設施成本估計比 OpenAI 等主要 LLM 供應商便宜 79%。Modal 函式平行訓練了許多候選模型，將權重持久化到 Modal volumes，並提供參數化的推論端點。一名工程師還將一支用於 25,000 張發票的 PII 移除腳本移植到 Modal，在 256 個雲端 worker 上平行處理，20 分鐘內完成，花費 100 美元，而非在本地耗時 3 天。
Modal 打造了 modal-http，這是一套 HTTP 與 WebSocket 堆疊，讓其無伺服器函式能夠接收 Web 請求，完整的 WebSocket 支援近期已完成。有別於 AWS Lambda 的 15 分鐘與 50 MB 限制，Modal 容器最多可使用 64 顆 CPU、336 GB 記憶體與 8 張 Nvidia H100 GPU，因此團隊將 HTTP 轉譯為函式呼叫，而非以傳統反向代理前端容器。
Modal 現已支援 WebSocket 連線，讓其平台上的函式能在用戶端與伺服器之間維持持久、雙向的連結，而非每次請求各自建立 HTTP 連線。每個 WebSocket 連線計為單一輸入，因此不受 CPU/GPU 限制的函式應允許並行輸入，否則 Modal 會為每個連線啟動新的容器。Modal 會自動擴展 WebSocket 處理常式，鎖定即時串流、長時間任務的進度更新，以及託管 ComfyUI、Streamlit 和 Gradio 等框架。
Suno 使用 Modal 在數千個 GPU 上擴展推論與批次前處理，讓其音樂生成模型提前四個月上市，而不必雇用工程師來建置與維護基礎設施。團隊用幾段簡短的 Python 腳本、無需設定檔就完成了批次前處理，接著透過 HTTP 暴露的函式擴展到模型部署，並在多個模型與容器之間串接推論。Modal 可自動擴展至數千個 GPU，在無需長期預留 GPU 的情況下應付了假期需求高峰。
Modal 已為其函式新增 WebSocket 支援，可開箱即用地託管 Streamlit 等框架，並可透過 `modal container exec` 執行互動式指令，以檢查和除錯執行中的容器。H100 GPU 現已在 Modal 上提供，用戶端更新則新增 `@build` 生命週期鉤子、Volume 的自動背景提交，以及包括 get、put 和 rm 在內的擴充 CLI 指令。
Modal 已向所有使用者開放 NVIDIA H100 GPU，價格為每顆 GPU 每小時 7.65 美元。NVIDIA 的基準測試顯示，相較於 A100，H100 可提供最高 4 倍的訓練加速與最高 30 倍的推論加速，並具備 80 GB 的晶片內 DRAM，且最多可透過 NVLink 以 3.6 TB/s 連結 8 顆 GPU。使用者只需在 Modal 裝飾器中將 GPU 類型設為「H100」即可啟用。
Modal 和 Hugging Face 的文字嵌入推論伺服器，可在大約 15 分鐘內嵌入整部英文維基百科，費用僅略高於 15 美元，靠的是 Modal 的無伺服器 GPU 擴縮能力。文章主張，對正式環境的 RAG 而言，開源嵌入模型勝過 OpenAI 的 text-embedding-ada-002 這類以 API 為基礎的模型，因為前者可用使用者資料微調，並避開速率限制與按權杖計費。
Modal 宣布其雲端函數平台現已正式全面開放，任何人都能在幾分鐘內註冊並在雲端執行 Python 程式碼，此前該平台於 2022 年開放了候補名單。該平台提供按秒計費的無伺服器執行、在 A100、A10G、T4、L4 和 H100 上自動擴展的 GPU 推論端點，以及跨數千個容器的大規模批次作業，且無需 YAML 配置。Modal 還完成了由 Redpoint Ventures 領投的 1600 萬美元 A 輪融資，領投種子輪的 Amplify Partners 也參與其中，並計劃利用這筆資金加速其產品路線圖。
Modal Labs 已完成由 Redpoint Ventures 領投的 1600 萬美元 A 輪融資，既有投資者 Amplify Partners 及新參與者 Lux Capital、Definition Capital 等跟投，總融資額達到 2300 萬美元。該公司還正式推出了其雲端平台，此前該平台處於測試階段，早期客戶包括 Ramp、Substack 和 SphinxBio，並將利用這筆資金加速產品開發，並在紐約市總部招聘工程師。
Cursor 在 2 張 80-GB A100 GPU 上測量 Llama-2-70B 的推論，發現就提示詞 token 而言，它比 GPT-3.5 便宜超過 3 倍，但在小批次規模下，生成 token 則貴得多。提示詞處理每 1K token 約 $0.00042，而 GPT-3.5 為 $0.0015；生成在批次大小為 1 時達到每 1K token $0.066，只有在大批次下才接近 GPT-3.5 的價格，而大批次會把首 token 時間推遲到數秒。Cursor 建議對分類與重排序這類提示詞密集的任務使用開源模型，對生成密集的工作負載則使用閉源 API。
推薦理由：Cursor 測得的成本與延遲數據顯示了自託管 Llama-2-70B 何時優於 GPT-3.5、何時不然，為開源模型服務決策提供了可複用的框架。
Cursor 研究員 Arvid Lunnemark 主張，prompting 應稱為「prompt design」，並與網頁設計相提並論，因為兩者都追求與動態輸入進行清晰溝通，且都必須讓內容配合不同的「尺寸」——網頁對應螢幕尺寸，prompt 對應上下文視窗。他發布了 Priompt v0.1，這是一個類似 React、以 JSX 為基礎的 prompt 設計函式庫，已在 Cursor 內部使用，並附有預覽網站，可依據真實請求資料渲染 prompt。