Tới nội dung
Sự việc nóngĐang diễn ra

Exa tăng thông lượng embedding thêm 50% trên chip AWS Neuron

1 bài viết1 nguồn đưa tinCập nhật 19 giờ trước

Bắt đầu từ đây

Tóm tắt AI

Exa cho biết đã tăng thông lượng embedding khoảng 50% trên phần cứng AWS Neuron (Inferentia2 và Trainium2), đạt khoảng 1,5 lần so với baseline song song dữ liệu FP16 thông thường. Mức cải thiện đến từ tối ưu bố cục trọng số, autocast, các kernel NKI bao gồm kernel SwiGLU MLP hợp nhất tùy chỉnh, và các kernel attention được viết lại cho đúng hình dạng của mô hình nhằm giảm FLOPS do padding. Công việc này hỗ trợ việc re-embedding 30 tỷ tài liệu ưu tiên trong một lần di chuyển mô hình. Exa chạy khối lượng công việc trên một NeuronCore duy nhất, xếp các pod Kubernetes lên các instance lớn hơn để không có core nào nhàn rỗi. Đến nay, Exa mới chỉ tinh chỉnh Inferentia2 cho khu vực US West (Oregon), điều mà Exa cho là hạn chế mức độ mở rộng của cách tiếp cận này. Các đầu ra sau khi hạ độ chính xác đã đáp ứng ngưỡng kiểm tra tính đúng đắn của Exa là độ tương đồng cosine 0,999 so với tham chiếu.

Tạo từ các bài viết · cập nhật 19 giờ trước

Dòng thời gian bài viết

Theo các bài viết để thấy sự việc từ nhiều phía.

19 tháng 11
  1. AWS Machine Learning Blog
    Exa tăng thông lượng embedding 50% trên AWS Inferentia2 và Trainium2 để lập chỉ mục hàng tỷ tài liệu

    Exa đã tăng thông lượng embedding khoảng 50% trên phần cứng AWS Neuron (Inferentia2 và Trainium2), đạt khoảng 1,5× so với baseline data-parallel FP16 thông thường. Mức tăng đến từ tối ưu hóa bố cục trọng số, autocast, các kernel NKI bao gồm kernel SwiGLU MLP hợp nhất tùy chỉnh, và các kernel attention được viết lại cho đúng hình dạng của mô hình để cắt giảm FLOPS do padding. Công việc này hỗ trợ việc re-embedding 30 tỷ tài liệu ưu tiên trong quá trình migration mô hình.

Độ nóng của sự việc này

Hiện tại, trong khoảng so sánh được
6
Đỉnh, trong khoảng so sánh được
1019 tháng 11 09:00
Thay đổi trong 24 giờ
–

Xu hướng so sánh cùng một nhóm người tham gia trong những giờ được quan sát liên tục, nên khoảng của nó có thể hẹp hơn số độ nóng hiện tại. Rê chuột hoặc chạm vào biểu đồ để xem độ nóng theo giờ; các phím mũi tên di chuyển qua biểu đồ.