วิทยาศาสตร์เบื้องหลัง TorchNeuron แบ็กเอนด์ PyTorch ใหม่ของ Amazon สำหรับชิป AWS Trainium

Amazon เปิดตัว TorchNeuron แบ็กเอนด์ PyTorch โอเพนซอร์สที่แปลงโค้ด PyTorch เป็นการดำเนินการที่รันได้บนระบบ AWS Trainium โดยแทบไม่ต้องแก้ไขโค้ดหรือไม่ต้องแก้เลย โดยเพิ่มโหมด eager แบบปรับตัวที่ต้องเลือกเปิดใช้ ซึ่งจัดกลุ่มและคอมไพล์การดำเนินการเพื่อประสิทธิภาพใกล้เคียงโหมดคอมไพล์ พร้อมแคช NEFF หลายระดับ บริการคอมไพล์ที่ใช้ร่วมกันช่วยลดเวลาถึงขั้นตอนเทรนแรกได้ประมาณหนึ่งในสามในการทดสอบ LLM แบบ 64 โปรเซส ทีม Annapurna ปรับแต่งและวัดประสิทธิภาพโดยใช้โมเดลตัวแทน 841 โมเดลที่กลั่นกรองจากโมเดลโอเพนซอร์สหลายแสนโมเดล