跳至正文
2024年2月27日星期二
  1. Modal Blog38

    Modal 為即時應用新增 WebSocket 支援

    Modal 現已支援 WebSocket 連線,讓其平台上的函式能在用戶端與伺服器之間維持持久、雙向的連結,而非每次請求各自建立 HTTP 連線。每個 WebSocket 連線計為單一輸入,因此不受 CPU/GPU 限制的函式應允許並行輸入,否則 Modal 會為每個連線啟動新的容器。Modal 會自動擴展 WebSocket 處理常式,鎖定即時串流、長時間任務的進度更新,以及託管 ComfyUI、Streamlit 和 Gradio 等框架。

2024年2月15日星期四
  1. Modal Blog22

    Modal 產品更新:支援 WebSocket、互動式指令與 H100 GPU

    Modal 已為其函式新增 WebSocket 支援,可開箱即用地託管 Streamlit 等框架,並可透過 `modal container exec` 執行互動式指令,以檢查和除錯執行中的容器。H100 GPU 現已在 Modal 上提供,用戶端更新則新增 `@build` 生命週期鉤子、Volume 的自動背景提交,以及包括 get、put 和 rm 在內的擴充 CLI 指令。

2024年2月6日星期二
  1. Modal Blog38

    Modal 向所有使用者開放 NVIDIA H100 GPU

    Modal 已向所有使用者開放 NVIDIA H100 GPU,價格為每顆 GPU 每小時 7.65 美元。NVIDIA 的基準測試顯示,相較於 A100,H100 可提供最高 4 倍的訓練加速與最高 30 倍的推論加速,並具備 80 GB 的晶片內 DRAM,且最多可透過 NVLink 以 3.6 TB/s 連結 8 顆 GPU。使用者只需在 Modal 裝飾器中將 GPU 類型設為「H100」即可啟用。