AWS Machine Learning Blog· Muru Bhaskaran·· 3 小時前AI 評分34
在 Amazon EKS 上使用 NVIDIA Run:ai GPU Fractioning
Using NVIDIA Run:ai GPU Fractioning on Amazon EKS
AI 導讀
本逐步指南說明如何在 Amazon EKS 上設定 NVIDIA Run:ai GPU Fractioning,讓多個 Pod 共用一顆 GPU,並強制執行每個 Pod 的記憶體上限。在單一台配備 A10G 的 g5.xlarge 上,兩個 Pod 各自取得 8 GiB 的契約並配置 6 GiB,而 9 GiB 的要求則被拒絕。此流程使用 KAI Scheduler 與來自開源的 NVIDIA Run:ai 的 GPU Fractioning Operator。
來源:AWS Machine Learning Blog · aws.amazon.com