Nghiên cứu dựa trên vết (trace) về độ nhạy cảm của mạng đối với khối lượng công việc trên siêu máy tính AI lên đến 4.096 GPU
Provisioning Networks for AI Supercomputers: A Trace-Driven Study of Performance
Một nghiên cứu dựa trên vết đo lường cách các khối lượng công việc huấn luyện và suy luận trên tối đa 4.096 GPU phản ứng với độ trễ, băng thông và jitter của kết nối liên kết. Phương pháp này kết hợp phân rã vết dựa trên chữ ký với quy hoạch tuyến tính để cho phép quét rộng các tham số mạng trong khi vẫn giữ nguyên lịch trình NCCL và các phụ thuộc chương trình đã ghi lại, ước tính cận dưới thời gian chạy LogGP. Các đường bao độ trễ-băng thông cho thấy các vùng độ nhạy cảm thấp và các vách hiệu năng thay đổi tùy theo khối lượng công việc, chỉ ra khi nào việc nâng cấp băng thông mang lại lợi ích và khi nào hiệu năng mạng tăng thêm có ít tác dụng.
Nguồn:Hacker News · AI · arxiv.org