一支歐洲頂級足球隊如何用 Modal 將資料處理成本降低 50%
一支以 AFC Richmond 匿名的歐洲頂級足球隊,將其比賽追蹤資料管線遷移到 Modal 的無伺服器 GPU 平台,並將處理整個賽季比賽的成本降低了 50%。該隊透過一個基於 transformer 的自訂模型,對每場比賽約 350 萬筆追蹤觀測資料執行推論,而藉由在 Modal 上運行 Airflow,現在處理每場比賽的資料只需幾分鐘,而非數小時。
一支以 AFC Richmond 匿名的歐洲頂級足球隊,將其比賽追蹤資料管線遷移到 Modal 的無伺服器 GPU 平台,並將處理整個賽季比賽的成本降低了 50%。該隊透過一個基於 transformer 的自訂模型,對每場比賽約 350 萬筆追蹤觀測資料執行推論,而藉由在 Modal 上運行 Airflow,現在處理每場比賽的資料只需幾分鐘,而非數小時。
Modal 與 AWS 簽署策略合作協議,協助企業在其無伺服器平台上更快速地開發與部署 AI 產品,該平台專為 GPU 加速工作負載設計,可在最短一秒內啟動支援 GPU 的容器。作為協議的一部分,Modal 將上架 AWS Marketplace,並投資於 AWS PrivateLink 等整合功能,以服務有特定安全與隱私需求的客戶。
Cursor 宣布,快速且具情境感知能力的 AI 編碼助理 Supermaven 將加入該公司,Supermaven 創作者 Jacob Jackson 及其團隊也將一同加入。Cursor 表示,計畫推出新版 Tab 模型,速度快、具情境感知能力,且特別擅長處理大型編輯的長鏈條,而 Supermaven 外掛將持續維護,即使 Cursor 已成為團隊的核心重心。
Tidbyt 是一家總部位於紐約、製造可程式化智慧家庭 LED 螢幕的公司,現已加入 Modal。Tidbyt 共同創辦人 Rohan Singh 與 Mats Linander 先前曾在 Spotify 從事容器基礎架構工作,為 Modal 專為資料/AI/ML 團隊打造的雲端基礎架構帶來大規模系統經驗。Tidbyt 的服務將持續為現有裝置運作,但不會再出貨新裝置。
Modal 現已支援 HIPAA 合規工作負載,提供給透過 security@modal.com 簽署業務夥伴協議(BAA)的 Enterprise 方案客戶。除 Volumes、Images(不含 Filesystem 與 Directory Snapshots)、Memory Snapshots 及使用者程式碼外,所有 Modal 功能皆納入 BAA 範圍;上述除外項目不應放置 PHI。Modal 以其最小權限資料處理與 gVisor 沙箱執行環境作為安全基礎,延續其 SOC 2 Type 1 公告與持續進行中的 SOC 2 Type 2 認證。
Cursor 完成 6000 萬美元 A 輪融資,投資方包括 Andreessen Horowitz、Thrive Capital、OpenAI、Jeff Dean、Noam Brown,以及 Stripe、GitHub、Ramp、Perplexity 和 OpenAI 的創辦人。這款 AI 程式設計工具表示,其用戶已增長至超過 40,000 名,涵蓋新創公司、研究機構和大型企業,並介紹了用於下一次編輯預測、跨數十億檔案檢索以及推測性推理程式碼重寫的內部系統。
推薦理由:Cursor 的 6000 萬美元 A 輪融資公告同時披露其用戶群已增長至超過 40,000 名,並列出了支持其 AI 程式設計工具的投資者。
Modal 將 CPU 和部分最強大 GPU 的價格下調 15-30%,理由是 GPU 供應池競爭加劇,以及過去一年推出了更強大的 GPU。該公司同時調整 CPU/記憶體計費方式,改為對每個運行中的容器按 max(預留, 用量) 收費,所有 Functions 的預設最低預留為 0.125 個 CPU 核心。Team 方案漲至每月 250 美元,包含不限席位和每月 100 美元額度,新價格將於 9 月對受影響的 Starter 和 Team/Enterprise 用戶生效。
Basis 舉辦了提示奧林匹克(Prompt Olympics),這是一場競爭性程式設計風格的提示工程競賽,獎金 5,000 美元,並在 Modal 的基礎設施上運行。在其中一項挑戰中,參賽者撰寫提示來引導部署在 Modal 上的 LLaMA 3 70B 生成程式碼,這些程式碼必須通過 Modal Sandboxes 內的測試。決賽則讓參賽者透過提示來控制 Crafter 遊戲代理;Basis 發現,即使是像 LLaMA 3 70B 這樣能力不錯的開源模型,也很難有效地對其進行提示,因此該組件改用專有模型 API。
Substack 已將幾乎所有 ML 模型的訓練與部署——包括垃圾郵件偵測、電子報推薦、音訊轉錄、情感分析和圖像生成——從 AWS SageMaker 遷移到 Modal。AI 與 ML 工程負責人 Mike Cohen 指出 SageMaker 的開發者體驗繁瑣、程式碼難以在 notebook 之間共享,以及容器啟動時間超過 5 分鐘;而在 Modal 上,一個推論端點只花一小時就實作完成。Substack 現在在 Modal 的儲存原語上運行完整的微調、驗證與部署工作流程。
Modal 是為 AI 與資料團隊打造的无伺服器平台,獲選進入 Wing 第六屆年度 Enterprise Tech 30 榜單,在早期階段類別的十家公司中排名第三。該榜單由 112 位創投家與 36 個企業發展團隊,從近 600 家創投支持的未上市企業科技公司中評選而出。
Suno 使用 Modal 在數千個 GPU 上擴展推論與批次前處理,讓其音樂生成模型提前四個月上市,而不必雇用工程師來建置與維護基礎設施。團隊用幾段簡短的 Python 腳本、無需設定檔就完成了批次前處理,接著透過 HTTP 暴露的函式擴展到模型部署,並在多個模型與容器之間串接推論。Modal 可自動擴展至數千個 GPU,在無需長期預留 GPU 的情況下應付了假期需求高峰。
Modal 宣布其雲端函數平台現已正式全面開放,任何人都能在幾分鐘內註冊並在雲端執行 Python 程式碼,此前該平台於 2022 年開放了候補名單。該平台提供按秒計費的無伺服器執行、在 A100、A10G、T4、L4 和 H100 上自動擴展的 GPU 推論端點,以及跨數千個容器的大規模批次作業,且無需 YAML 配置。Modal 還完成了由 Redpoint Ventures 領投的 1600 萬美元 A 輪融資,領投種子輪的 Amplify Partners 也參與其中,並計劃利用這筆資金加速其產品路線圖。
Modal Labs 已完成由 Redpoint Ventures 領投的 1600 萬美元 A 輪融資,既有投資者 Amplify Partners 及新參與者 Lux Capital、Definition Capital 等跟投,總融資額達到 2300 萬美元。該公司還正式推出了其雲端平台,此前該平台處於測試階段,早期客戶包括 Ramp、Substack 和 SphinxBio,並將利用這筆資金加速產品開發,並在紐約市總部招聘工程師。