AWS Machine Learning Blog· Muru Bhaskaran·· 3 giờ trướcĐiểm AI34
Sử dụng NVIDIA Run:ai GPU Fractioning trên Amazon EKS
Using NVIDIA Run:ai GPU Fractioning on Amazon EKS
Tóm tắt bằng AI
Hướng dẫn này trình bày cách cấu hình NVIDIA Run:ai GPU Fractioning trên Amazon EKS để nhiều Pod chia sẻ một GPU với giới hạn bộ nhớ được áp đặt cho từng Pod. Trên một g5.xlarge với A10G, hai Pod mỗi Pod nhận một hợp đồng 8 GiB và cấp phát 6 GiB, trong khi yêu cầu 9 GiB bị từ chối. Nó sử dụng KAI Scheduler và GPU Fractioning Operator từ NVIDIA Run:ai đã được mã nguồn mở.
Nguồn:AWS Machine Learning Blog · aws.amazon.com