跳至正文
AWS Machine Learning Blog· Muru Bhaskaran·· 3 小時前AI 評分34

在 Amazon EKS 上使用 NVIDIA Run:ai GPU Fractioning

Using NVIDIA Run:ai GPU Fractioning on Amazon EKS

AI 導讀

本逐步指南說明如何在 Amazon EKS 上設定 NVIDIA Run:ai GPU Fractioning,讓多個 Pod 共用一顆 GPU,並強制執行每個 Pod 的記憶體上限。在單一台配備 A10G 的 g5.xlarge 上,兩個 Pod 各自取得 8 GiB 的契約並配置 6 GiB,而 9 GiB 的要求則被拒絕。此流程使用 KAI Scheduler 與來自開源的 NVIDIA Run:ai 的 GPU Fractioning Operator。

來源:AWS Machine Learning Blog · aws.amazon.com