Hunch 是一個空間畫布，整合了 OpenAI GPT-4o、Anthropic Claude 3 Opus 和 Stable Diffusion 3 等模型，並使用 Modal Sandboxes 在隔離的臨時容器中安全執行 AI 生成的程式碼。此整合僅需幾行 Python 程式碼，並支援 pip 安裝、附加儲存磁碟區和自動擴展。Hunch 表示，這套設定讓非程式設計人員也能建立工作流程，用以擷取 API 資料或將結果傳送至 Slack webhooks。
Modal 在約 300 個 SVG 的 Heroicons 圖示庫上微調了一個 Stable Diffusion 模型，以生成該風格的新黑白線條圖示，包括 barack-obama 和 golden-retriever 等概念的圖示。完整流程——下載預訓練模型、使用 HuggingFace Diffusers 的 train_text_to_image.py 腳本進行完整微調，以及提供 Gradio 網頁介面——都在 Modal 的無伺服器 GPU 平台上執行。文章詳細說明了資料集準備（SVG 轉 PNG、白色背景、標註檔 metadata.csv），並指出完整微調效果最好，不過 LoRA 式的平行適配器也可用於小型資料集。
Substack 已將幾乎所有 ML 模型的訓練與部署——包括垃圾郵件偵測、電子報推薦、音訊轉錄、情感分析和圖像生成——從 AWS SageMaker 遷移到 Modal。AI 與 ML 工程負責人 Mike Cohen 指出 SageMaker 的開發者體驗繁瑣、程式碼難以在 notebook 之間共享，以及容器啟動時間超過 5 分鐘；而在 Modal 上，一個推論端點只花一小時就實作完成。Substack 現在在 Modal 的儲存原語上運行完整的微調、驗證與部署工作流程。
Modal 的每月產品更新新增了 AWS S3 和 Cloudflare R2 儲存桶的可寫入掛載、用於在指定連接埠上託管非 ASGI/WSGI 網頁伺服器的 @web_server 裝飾器，以及為企業方案使用者提供的 Okta 單一登入。網頁儀表板中的磁碟區檢視器讓使用者能夠瀏覽磁碟區檔案系統，而最新用戶端則新增了透過 .include 進行多檔案應用程式組合、分割佇列，以及 Sandboxes 的 stdin 支援。
一個經過微調的開源嵌入模型，只需少量範例，就能以更低成本在準確度上超越 OpenAI 的 text-embedding-3-small。Modal 在 Quora 重複問題資料集上進行了一項實驗，以找出一個簡單的問答用例需要多少微調資料，並描述了如何在其無伺服器基礎設施上建置一個。
Modal 是為 AI 與資料團隊打造的无伺服器平台，獲選進入 Wing 第六屆年度 Enterprise Tech 30 榜單，在早期階段類別的十家公司中排名第三。該榜單由 112 位創投家與 36 個企業發展團隊，從近 600 家創投支持的未上市企業科技公司中評選而出。
Ramp 使用 Modal 微調其 LLM，並打造一個文字轉結構化 JSON 的模型來管理收據，將需要人工介入的收據減少 34%，其基礎設施成本估計比 OpenAI 等主要 LLM 供應商便宜 79%。Modal 函式平行訓練了許多候選模型，將權重持久化到 Modal volumes，並提供參數化的推論端點。一名工程師還將一支用於 25,000 張發票的 PII 移除腳本移植到 Modal，在 256 個雲端 worker 上平行處理，20 分鐘內完成，花費 100 美元，而非在本地耗時 3 天。
Modal 打造了 modal-http，這是一套 HTTP 與 WebSocket 堆疊，讓其無伺服器函式能夠接收 Web 請求，完整的 WebSocket 支援近期已完成。有別於 AWS Lambda 的 15 分鐘與 50 MB 限制，Modal 容器最多可使用 64 顆 CPU、336 GB 記憶體與 8 張 Nvidia H100 GPU，因此團隊將 HTTP 轉譯為函式呼叫，而非以傳統反向代理前端容器。
Modal 現已支援 WebSocket 連線，讓其平台上的函式能在用戶端與伺服器之間維持持久、雙向的連結，而非每次請求各自建立 HTTP 連線。每個 WebSocket 連線計為單一輸入，因此不受 CPU/GPU 限制的函式應允許並行輸入，否則 Modal 會為每個連線啟動新的容器。Modal 會自動擴展 WebSocket 處理常式，鎖定即時串流、長時間任務的進度更新，以及託管 ComfyUI、Streamlit 和 Gradio 等框架。
Suno 使用 Modal 在數千個 GPU 上擴展推論與批次前處理，讓其音樂生成模型提前四個月上市，而不必雇用工程師來建置與維護基礎設施。團隊用幾段簡短的 Python 腳本、無需設定檔就完成了批次前處理，接著透過 HTTP 暴露的函式擴展到模型部署，並在多個模型與容器之間串接推論。Modal 可自動擴展至數千個 GPU，在無需長期預留 GPU 的情況下應付了假期需求高峰。
Modal 已為其函式新增 WebSocket 支援，可開箱即用地託管 Streamlit 等框架，並可透過 `modal container exec` 執行互動式指令，以檢查和除錯執行中的容器。H100 GPU 現已在 Modal 上提供，用戶端更新則新增 `@build` 生命週期鉤子、Volume 的自動背景提交，以及包括 get、put 和 rm 在內的擴充 CLI 指令。
Modal 已向所有使用者開放 NVIDIA H100 GPU，價格為每顆 GPU 每小時 7.65 美元。NVIDIA 的基準測試顯示，相較於 A100，H100 可提供最高 4 倍的訓練加速與最高 30 倍的推論加速，並具備 80 GB 的晶片內 DRAM，且最多可透過 NVLink 以 3.6 TB/s 連結 8 顆 GPU。使用者只需在 Modal 裝飾器中將 GPU 類型設為「H100」即可啟用。
Modal 和 Hugging Face 的文字嵌入推論伺服器，可在大約 15 分鐘內嵌入整部英文維基百科，費用僅略高於 15 美元，靠的是 Modal 的無伺服器 GPU 擴縮能力。文章主張，對正式環境的 RAG 而言，開源嵌入模型勝過 OpenAI 的 text-embedding-ada-002 這類以 API 為基礎的模型，因為前者可用使用者資料微調，並避開速率限制與按權杖計費。
Cursor 公布了一份它正在處理的問題清單，包括訓練一個自訂的快速重排序器，將所有來源的 500k 個 token 過濾到每次請求最相關的 8k。該清單還涵蓋一個面向編輯的 copilot、針對大型程式碼庫的受約束流程內代理、錯誤尋找，以及更大規模的編輯。截至 2023 年 10 月 12 日，Cursor 已索引 1.4B 個向量和 150k 個程式碼庫。
Modal 宣布其雲端函數平台現已正式全面開放，任何人都能在幾分鐘內註冊並在雲端執行 Python 程式碼，此前該平台於 2022 年開放了候補名單。該平台提供按秒計費的無伺服器執行、在 A100、A10G、T4、L4 和 H100 上自動擴展的 GPU 推論端點，以及跨數千個容器的大規模批次作業，且無需 YAML 配置。Modal 還完成了由 Redpoint Ventures 領投的 1600 萬美元 A 輪融資，領投種子輪的 Amplify Partners 也參與其中，並計劃利用這筆資金加速其產品路線圖。
Modal Labs 已完成由 Redpoint Ventures 領投的 1600 萬美元 A 輪融資，既有投資者 Amplify Partners 及新參與者 Lux Capital、Definition Capital 等跟投，總融資額達到 2300 萬美元。該公司還正式推出了其雲端平台，此前該平台處於測試階段，早期客戶包括 Ramp、Substack 和 SphinxBio，並將利用這筆資金加速產品開發，並在紐約市總部招聘工程師。
Cursor 在 2 張 80-GB A100 GPU 上測量 Llama-2-70B 的推論，發現就提示詞 token 而言，它比 GPT-3.5 便宜超過 3 倍，但在小批次規模下，生成 token 則貴得多。提示詞處理每 1K token 約 $0.00042，而 GPT-3.5 為 $0.0015；生成在批次大小為 1 時達到每 1K token $0.066，只有在大批次下才接近 GPT-3.5 的價格，而大批次會把首 token 時間推遲到數秒。Cursor 建議對分類與重排序這類提示詞密集的任務使用開源模型，對生成密集的工作負載則使用閉源 API。
推薦理由：Cursor 測得的成本與延遲數據顯示了自託管 Llama-2-70B 何時優於 GPT-3.5、何時不然，為開源模型服務決策提供了可複用的框架。
Cursor 研究員 Arvid Lunnemark 主張，prompting 應稱為「prompt design」，並與網頁設計相提並論，因為兩者都追求與動態輸入進行清晰溝通，且都必須讓內容配合不同的「尺寸」——網頁對應螢幕尺寸，prompt 對應上下文視窗。他發布了 Priompt v0.1，這是一個類似 React、以 JSX 為基礎的 prompt 設計函式庫，已在 Cursor 內部使用，並附有預覽網站，可依據真實請求資料渲染 prompt。