AWS Machine Learning Blog· Summer Devlin·· 19 ชม. ที่แล้วคะแนน AI38
Exa เพิ่มปริมาณงาน embedding ขึ้น 50% บน AWS Inferentia2 และ Trainium2 เพื่อจัดทำดัชนีเอกสารหลายพันล้านฉบับ
Exa boosts embedding throughput by 50% to index billions of documents on AWS AI chips
สรุปโดย AI
Exa เพิ่มปริมาณงาน embedding ขึ้นประมาณ 50% บนฮาร์ดแวร์ AWS Neuron (Inferentia2 และ Trainium2) โดยทำได้ประมาณ 1.5 เท่าของ baseline แบบ naive FP16 data-parallel ผลที่ได้มาจากการปรับ weight layout ให้เหมาะสม, autocast, เคอร์เนล NKI รวมถึงเคอร์เนล fused SwiGLU MLP ที่สร้างขึ้นเอง และเคอร์เนล attention ที่เขียนใหม่ให้ตรงกับ shape ของโมเดลเพื่อลด FLOPS ที่เกิดจาก padding งานนี้รองรับการ re-embed เอกสารสำคัญ 30 พันล้านฉบับระหว่างการย้ายโมเดล
แหล่งข่าว:AWS Machine Learning Blog · aws.amazon.com