跳至正文
Modal Blog· Charles Frye·· 2025-02-24AI 評分40

GPU 使用率的高階指南:配置、核心與模型 FLOP/s 使用率

'I paid for the whole GPU, I am going to use the whole GPU': A high-level guide to GPU utilization

AI 導讀

Modal 發布了一份指南,區分三種常被稱為「GPU 使用率」的概念:GPU 配置使用率(執行應用程式碼的 GPU 秒數佔付費 GPU 秒數的比例)、GPU 核心使用率(在 GPU 上執行程式碼的時間佔比),以及模型 FLOP/s 使用率(所用理論算力頻寬的佔比)。該指南聚焦於神經網路推論工作負載,Modal 稱之為利潤中心而非成本中心。

來源:Modal Blog · modal.com