TorchNeuron 背後的科學：Amazon 為 AWS Trainium 晶片打造的全新 PyTorch 後端

Amazon 發布了 TorchNeuron，這是一個開源的 PyTorch 後端，能將 PyTorch 程式碼轉換為可在 AWS Trainium 系統上執行的操作，且幾乎或完全無需修改程式碼。它新增了一個可選用的自適應 eager 模式，會將操作分組並編譯，以達到接近編譯後的效能，另外還有多層 NEFF 快取；在一項 64 程序的 LLM 測試中，共享編譯服務將首次訓練步驟的時間縮短了約三分之一。Annapurna 團隊使用從數十萬個開源模型中精選出的 841 個代表性模型，對其進行了調校與基準測試。