Modal 現已支援 WebSocket 連線，讓其平台上的函式能在用戶端與伺服器之間維持持久、雙向的連結，而非每次請求各自建立 HTTP 連線。每個 WebSocket 連線計為單一輸入，因此不受 CPU/GPU 限制的函式應允許並行輸入，否則 Modal 會為每個連線啟動新的容器。Modal 會自動擴展 WebSocket 處理常式，鎖定即時串流、長時間任務的進度更新，以及託管 ComfyUI、Streamlit 和 Gradio 等框架。
Suno 使用 Modal 在數千個 GPU 上擴展推論與批次前處理，讓其音樂生成模型提前四個月上市，而不必雇用工程師來建置與維護基礎設施。團隊用幾段簡短的 Python 腳本、無需設定檔就完成了批次前處理，接著透過 HTTP 暴露的函式擴展到模型部署，並在多個模型與容器之間串接推論。Modal 可自動擴展至數千個 GPU，在無需長期預留 GPU 的情況下應付了假期需求高峰。
Modal 已為其函式新增 WebSocket 支援，可開箱即用地託管 Streamlit 等框架，並可透過 `modal container exec` 執行互動式指令，以檢查和除錯執行中的容器。H100 GPU 現已在 Modal 上提供，用戶端更新則新增 `@build` 生命週期鉤子、Volume 的自動背景提交，以及包括 get、put 和 rm 在內的擴充 CLI 指令。
Modal 已向所有使用者開放 NVIDIA H100 GPU，價格為每顆 GPU 每小時 7.65 美元。NVIDIA 的基準測試顯示，相較於 A100，H100 可提供最高 4 倍的訓練加速與最高 30 倍的推論加速，並具備 80 GB 的晶片內 DRAM，且最多可透過 NVLink 以 3.6 TB/s 連結 8 顆 GPU。使用者只需在 Modal 裝飾器中將 GPU 類型設為「H100」即可啟用。
Modal 和 Hugging Face 的文字嵌入推論伺服器，可在大約 15 分鐘內嵌入整部英文維基百科，費用僅略高於 15 美元，靠的是 Modal 的無伺服器 GPU 擴縮能力。文章主張，對正式環境的 RAG 而言，開源嵌入模型勝過 OpenAI 的 text-embedding-ada-002 這類以 API 為基礎的模型，因為前者可用使用者資料微調，並避開速率限制與按權杖計費。
Cursor 公布了一份它正在處理的問題清單，包括訓練一個自訂的快速重排序器，將所有來源的 500k 個 token 過濾到每次請求最相關的 8k。該清單還涵蓋一個面向編輯的 copilot、針對大型程式碼庫的受約束流程內代理、錯誤尋找，以及更大規模的編輯。截至 2023 年 10 月 12 日，Cursor 已索引 1.4B 個向量和 150k 個程式碼庫。
Modal 宣布其雲端函數平台現已正式全面開放，任何人都能在幾分鐘內註冊並在雲端執行 Python 程式碼，此前該平台於 2022 年開放了候補名單。該平台提供按秒計費的無伺服器執行、在 A100、A10G、T4、L4 和 H100 上自動擴展的 GPU 推論端點，以及跨數千個容器的大規模批次作業，且無需 YAML 配置。Modal 還完成了由 Redpoint Ventures 領投的 1600 萬美元 A 輪融資，領投種子輪的 Amplify Partners 也參與其中，並計劃利用這筆資金加速其產品路線圖。
Modal Labs 已完成由 Redpoint Ventures 領投的 1600 萬美元 A 輪融資，既有投資者 Amplify Partners 及新參與者 Lux Capital、Definition Capital 等跟投，總融資額達到 2300 萬美元。該公司還正式推出了其雲端平台，此前該平台處於測試階段，早期客戶包括 Ramp、Substack 和 SphinxBio，並將利用這筆資金加速產品開發，並在紐約市總部招聘工程師。
Cursor 在 2 張 80-GB A100 GPU 上測量 Llama-2-70B 的推論，發現就提示詞 token 而言，它比 GPT-3.5 便宜超過 3 倍，但在小批次規模下，生成 token 則貴得多。提示詞處理每 1K token 約 $0.00042，而 GPT-3.5 為 $0.0015；生成在批次大小為 1 時達到每 1K token $0.066，只有在大批次下才接近 GPT-3.5 的價格，而大批次會把首 token 時間推遲到數秒。Cursor 建議對分類與重排序這類提示詞密集的任務使用開源模型，對生成密集的工作負載則使用閉源 API。
推薦理由：Cursor 測得的成本與延遲數據顯示了自託管 Llama-2-70B 何時優於 GPT-3.5、何時不然，為開源模型服務決策提供了可複用的框架。
Cursor 研究員 Arvid Lunnemark 主張，prompting 應稱為「prompt design」，並與網頁設計相提並論，因為兩者都追求與動態輸入進行清晰溝通，且都必須讓內容配合不同的「尺寸」——網頁對應螢幕尺寸，prompt 對應上下文視窗。他發布了 Priompt v0.1，這是一個類似 React、以 JSX 為基礎的 prompt 設計函式庫，已在 Cursor 內部使用，並附有預覽網站，可依據真實請求資料渲染 prompt。