AWS công bố hướng dẫn GPU Fractioning của NVIDIA Run:ai cho Amazon EKS
Bắt đầu từ đây
Blog Machine Learning của AWS đã công bố hướng dẫn cấu hình NVIDIA Run:ai GPU Fractioning trên Amazon EKS, cho phép nhiều Pod chia sẻ một GPU duy nhất dưới giới hạn bộ nhớ được áp đặt cho từng Pod. Trong thiết lập được trình diễn, một instance g5.xlarge với GPU A10G chạy hai Pod, mỗi Pod có hợp đồng 8 GiB và được cấp phát 6 GiB, trong khi yêu cầu 9 GiB bị từ chối. Thiết lập sử dụng KAI Scheduler và GPU Fractioning Operator từ NVIDIA Run:ai đã được mã nguồn mở, và yêu cầu xây dựng một image Amazon Linux 2023 tùy chỉnh. Hướng dẫn chỉ xác thực cấu hình G5/A10G và yêu cầu dung lượng GPU được cấp phát trước. Image tùy chỉnh không thể chạy trên các node do Amazon EKS Auto Mode quản lý, vì Auto Mode chọn và quản lý AMI của chúng. Làm theo hướng dẫn sẽ tạo ra các tài nguyên tính phí, bao gồm control plane Amazon EKS, NAT gateway, instance, volume và snapshot AMI.
Tạo từ các bài viết · cập nhật 2 giờ trước
Dòng thời gian bài viết
Theo các bài viết để thấy sự việc từ nhiều phía.
- AWS Machine Learning BlogSử dụng NVIDIA Run:ai GPU Fractioning trên Amazon EKS
Hướng dẫn này trình bày cách cấu hình NVIDIA Run:ai GPU Fractioning trên Amazon EKS để nhiều Pod chia sẻ một GPU với giới hạn bộ nhớ được áp đặt cho từng Pod. Trên một g5.xlarge với A10G, hai Pod mỗi Pod nhận một hợp đồng 8 GiB và cấp phát 6 GiB, trong khi yêu cầu 9 GiB bị từ chối. Nó sử dụng KAI Scheduler và GPU Fractioning Operator từ NVIDIA Run:ai đã được mã nguồn mở.
Độ nóng của sự việc này
- Hiện tại, trong khoảng so sánh được
- 9
- Đỉnh, trong khoảng so sánh được
- 1020 tháng 11 01:00
- Thay đổi trong 24 giờ
- –
Xu hướng so sánh cùng một nhóm người tham gia trong những giờ được quan sát liên tục, nên khoảng của nó có thể hẹp hơn số độ nóng hiện tại. Rê chuột hoặc chạm vào biểu đồ để xem độ nóng theo giờ; các phím mũi tên di chuyển qua biểu đồ.