Hacker News · AI·· 51 分钟前AI 评分31
面向多达 4,096 块 GPU 的 AI 超级计算机工作负载的网络敏感性追踪驱动研究
Provisioning Networks for AI Supercomputers: A Trace-Driven Study of Performance
AI 导读
一项追踪驱动研究测量了多达 4,096 块 GPU 上的训练与推理工作负载如何响应互连延迟、带宽和抖动。该方法将基于签名的追踪分解与线性规划相结合,在保留已记录的 NCCL 调度和程序依赖关系的同时,实现广泛的网络参数扫描,并估计 LogGP 运行时下界。延迟-带宽包络揭示了低敏感区域和因工作负载而异性能悬崖,表明带宽升级何时值得、额外网络性能何时收效甚微。
来源:Hacker News · AI · arxiv.org