Hacker News · AI·· 51 分鐘前AI 評分31
基於追蹤驅動的 AI 超級電腦工作負載網路敏感度研究(最高達 4,096 顆 GPU)
Provisioning Networks for AI Supercomputers: A Trace-Driven Study of Performance
AI 導讀
一項基於追蹤驅動的研究衡量了最高達 4,096 顆 GPU 的訓練與推論工作負載如何回應互連延遲、頻寬與抖動。該方法結合基於特徵的追蹤分解與線性規劃,在保留記錄的 NCCL 排程與程式依賴關係的同時,實現廣泛的網路參數掃描,並估計 LogGP 執行時間下界。延遲-頻寬包絡揭示了低敏感度區域與效能懸崖,且這些特性因工作負載而異,說明了頻寬升級何時值得投入,以及何時額外的網路效能影響甚微。
來源:Hacker News · AI · arxiv.org