Tới nội dung
Sự việc nóngĐang diễn ra

Nghiên cứu dựa trên trace lập bản đồ độ nhạy cảm của mạng AI lên tới 4.096 GPU

1 bài viết1 nguồn đưa tinCập nhật 41 phút trước

Bắt đầu từ đây

Tóm tắt AI

Tommaso Bonato và các đồng tác giả đã công bố một nghiên cứu dựa trên trace về cách các khối lượng công việc huấn luyện và suy luận ở quy mô lên tới 4.096 GPU phản ứng với độ trễ, băng thông và jitter của liên kết kết nối. Phương pháp này kết hợp phân rã trace dựa trên chữ ký với quy hoạch tuyến tính, giữ nguyên các lịch trình NCCL và phụ thuộc chương trình đã ghi lại trong khi quét các tham số mạng và ước tính cận dưới thời gian chạy LogGP. Các đường bao độ trễ-băng thông thu được cho thấy các vùng độ nhạy cảm thấp và các vách hiệu năng khác nhau giữa các khối lượng công việc. Theo các tác giả, điều này chỉ ra khi nào việc nâng cấp băng thông mang lại hiệu quả và khi nào hiệu năng mạng tăng thêm có tác động không đáng kể.

Tạo từ các bài viết · cập nhật 32 phút trước

Dòng thời gian bài viết

Theo các bài viết để thấy sự việc từ nhiều phía.

18 tháng 11
  1. Hacker News · AI
    Nghiên cứu dựa trên vết (trace) về độ nhạy cảm của mạng đối với khối lượng công việc trên siêu máy tính AI lên đến 4.096 GPU

    Một nghiên cứu dựa trên vết đo lường cách các khối lượng công việc huấn luyện và suy luận trên tối đa 4.096 GPU phản ứng với độ trễ, băng thông và jitter của kết nối liên kết. Phương pháp này kết hợp phân rã vết dựa trên chữ ký với quy hoạch tuyến tính để cho phép quét rộng các tham số mạng trong khi vẫn giữ nguyên lịch trình NCCL và các phụ thuộc chương trình đã ghi lại, ước tính cận dưới thời gian chạy LogGP. Các đường bao độ trễ-băng thông cho thấy các vùng độ nhạy cảm thấp và các vách hiệu năng thay đổi tùy theo khối lượng công việc, chỉ ra khi nào việc nâng cấp băng thông mang lại lợi ích và khi nào hiệu năng mạng tăng thêm có ít tác dụng.

Độ nóng của sự việc này

Chưa đủ quan sát liên tục để vẽ xu hướng.