為何 AI 的未來需要更靈活的 GPU 容量

Modal 認為，AI 的 GPU 短缺源於一種錯配：大部分需求流向訓練，但營收來自推論，而推論工作負載本質上波動不定。由於請求率會隨日夜循環、每週模式、爆紅流量與成長趨勢而起伏，固定的長期 GPU 預留會使真實世界的叢集使用率低於 50%。將眾多使用者的需求匯聚起來——以總和的峰值而非峰值的總和來配置資源——能大幅提升使用率，而跨區域匯聚供給則能進一步增加彈性。