Tới nội dung
AWS Machine Learning Blog· Muru Bhaskaran·· 3 giờ trướcĐiểm AI34

Sử dụng NVIDIA Run:ai GPU Fractioning trên Amazon EKS

Using NVIDIA Run:ai GPU Fractioning on Amazon EKS

Tóm tắt bằng AI

Hướng dẫn này trình bày cách cấu hình NVIDIA Run:ai GPU Fractioning trên Amazon EKS để nhiều Pod chia sẻ một GPU với giới hạn bộ nhớ được áp đặt cho từng Pod. Trên một g5.xlarge với A10G, hai Pod mỗi Pod nhận một hợp đồng 8 GiB và cấp phát 6 GiB, trong khi yêu cầu 9 GiB bị từ chối. Nó sử dụng KAI Scheduler và GPU Fractioning Operator từ NVIDIA Run:ai đã được mã nguồn mở.

Nguồn:AWS Machine Learning Blog · aws.amazon.com