跳至正文
Modal Blog·· 2025-04-17AI 評分25

Modal 產品更新:100 萬輸入的批次任務、臨時應用程式,以及 TensorRT-LLM 範例

Product updates: Running batch jobs with 1M inputs, ephemeral apps, and a new TensorRT-LLM example

AI 導讀

Modal 現在讓每個 Function 最多可排入 100 萬個輸入,高於原本的 2k,並提高 .spawn() 的速率上限,FunctionCall 結果保留 7 天。此次更新也新增了在容器內透過 app.run() 建立臨時應用程式、在 CLI 與儀表板中顯示應用程式的 Git commit 資訊,以及一個新的 TensorRT-LLM 範例,能以低於 400 毫秒的延遲提供 LLM 服務。

來源:Modal Blog · modal.com