SemiAnalysis 測試 Amazon Trainium3 的原生 PyTorch 訓練堆疊與 Neuron Explorer 效能分析工具

SemiAnalysis 的工程團隊在 TorchTitan 與 TorchNeuron 堆疊上測試了 Trainium3 機架，發現原生 PyTorch 體驗相較舊有的 PyTorch/XLA 做法有大幅改善，不過仍存在錯誤與編譯時間過長的問題。在編譯模式下，於 16 顆 Trainium2 晶片上訓練 Qwen3-32B 達到每秒 14,156 個 token、MFU 為 30.47%，相較 eager 模式提升 1.28 倍，而 gpt-oss 20B 配方則花了 27 分 17 秒編譯。團隊也將 Neuron Explorer 評為業界領先的效能分析工具，領先 Nvidia 與 AMD 的工具，並回報 Trainium3 通過了 96 個 FlexAttention 測試案例中的 89 個。