TorchNeuron 背后的科学：亚马逊为 AWS Trainium 芯片打造的新 PyTorch 后端

亚马逊发布了 TorchNeuron，这是一个开源 PyTorch 后端，可将 PyTorch 代码转换为可在 AWS Trainium 系统上执行的操作，且只需极少代码改动或无需改动。它新增了一种可选的自适应 eager 模式，通过分组并编译操作来接近编译模式的性能，还提供多级 NEFF 缓存；在一项 64 进程的 LLM 测试中，共享编译服务将首次训练步骤的时间缩短了约三分之一。Annapurna 团队使用从数十万个开源模型中提炼出的 841 个代表性模型对其进行了调优和基准测试。