Tới nội dung
AWS Machine Learning Blog· Summer Devlin·· 19 giờ trướcĐiểm AI38

Exa tăng thông lượng embedding 50% trên AWS Inferentia2 và Trainium2 để lập chỉ mục hàng tỷ tài liệu

Exa boosts embedding throughput by 50% to index billions of documents on AWS AI chips

Tóm tắt bằng AI

Exa đã tăng thông lượng embedding khoảng 50% trên phần cứng AWS Neuron (Inferentia2 và Trainium2), đạt khoảng 1,5× so với baseline data-parallel FP16 thông thường. Mức tăng đến từ tối ưu hóa bố cục trọng số, autocast, các kernel NKI bao gồm kernel SwiGLU MLP hợp nhất tùy chỉnh, và các kernel attention được viết lại cho đúng hình dạng của mô hình để cắt giảm FLOPS do padding. Công việc này hỗ trợ việc re-embedding 30 tỷ tài liệu ưu tiên trong quá trình migration mô hình.

Nguồn:AWS Machine Learning Blog · aws.amazon.com