跳至正文
AWS Machine Learning Blog· Summer Devlin·· 19 小時前AI 評分38

Exa 在 AWS Inferentia2 與 Trainium2 上將嵌入吞吐量提升 50%,以索引數十億份文件

Exa boosts embedding throughput by 50% to index billions of documents on AWS AI chips

AI 導讀

Exa 在 AWS Neuron 硬體(Inferentia2 與 Trainium2)上將嵌入吞吐量提升約 50%,達到其樸素 FP16 資料平行基線的約 1.5 倍。這些增益來自權重佈局最佳化、autocast、NKI 核心(包括自訂的融合 SwiGLU MLP 核心),以及針對模型確切形狀改寫的注意力核心,以減少填充 FLOPS。這項工作支援在模型遷移期間重新嵌入 300 億份優先文件。

來源:AWS Machine Learning Blog · aws.amazon.com