Khoa học đằng sau TorchNeuron, backend PyTorch mới của Amazon cho chip AWS Trainium

Amazon đã phát hành TorchNeuron, một backend PyTorch mã nguồn mở chuyển đổi mã PyTorch thành các phép toán có thể thực thi trên hệ thống AWS Trainium với ít hoặc không cần thay đổi mã. Nó bổ sung chế độ eager thích ứng tùy chọn giúp nhóm và biên dịch các phép toán để đạt hiệu năng gần như biên dịch, cùng với bộ nhớ đệm NEFF đa cấp; một dịch vụ biên dịch dùng chung đã giảm thời gian đến bước huấn luyện đầu tiên khoảng một phần ba trong một thử nghiệm LLM 64 tiến trình. Nhóm Annapurna đã tinh chỉnh và đánh giá hiệu năng nó bằng 841 mô hình đại diện được chắt lọc từ hàng trăm nghìn mô hình mã nguồn mở.