为什么AI的未来需要更灵活的GPU容量

Modal认为，AI的GPU短缺源于一种错配：大部分需求流向训练，但收入来自推理，而推理工作负载本质上具有波动性。由于请求率会随昼夜周期、每周模式、病毒式流量和增长趋势而波动，固定的长期GPU预留会使真实世界的集群利用率低于50%。将众多用户的需求池化——按总和峰值而非峰值之和来配置——可以大幅提高利用率，而跨区域池化供给可以进一步增加灵活性。