跳到正文
AWS Machine Learning Blog· Summer Devlin·· 19 小时前AI 评分38

Exa 在 AWS Inferentia2 和 Trainium2 上将嵌入吞吐量提升 50%,用于索引数十亿文档

Exa boosts embedding throughput by 50% to index billions of documents on AWS AI chips

AI 导读

Exa 在 AWS Neuron 硬件(Inferentia2 和 Trainium2)上将嵌入吞吐量提升约 50%,达到其朴素 FP16 数据并行基线的约 1.5 倍。这些提升来自权重布局优化、autocast、包括自定义融合 SwiGLU MLP 内核在内的 NKI 内核,以及针对模型精确形状重写以减少填充 FLOPS 的注意力内核。这项工作支持在模型迁移期间对 300 亿优先文档重新嵌入。

来源:AWS Machine Learning Blog · aws.amazon.com