Exa 在 AWS Neuron 芯片上将嵌入吞吐量提升 50%
热点事件持续更新
Exa 在 AWS Neuron 芯片上将嵌入吞吐量提升 50%
1 篇报道1 个报道来源19 小时前更新
先了解这件事
AI 综述
Exa 表示,它在 AWS Neuron 硬件(Inferentia2 和 Trainium2)上将嵌入吞吐量提升了约 50%,达到其朴素 FP16 数据并行基线的约 1.5 倍。这些提升来自权重布局优化、autocast、NKI 内核(包括自定义融合 SwiGLU MLP 内核),以及针对模型精确形状重写的注意力内核,以减少填充 FLOPS。 这项工作支持在模型迁移期间对 300 亿优先文档重新嵌入。Exa 在单个 NeuronCore 上运行其工作负载,将 Kubernetes pod 打包到更大的实例上,使没有核心闲置。到目前为止,它仅针对美国西部(俄勒冈)区域调优了 Inferentia2,Exa 表示这限制了该方法的适用范围。降精度输出达到了 Exa 的正确性门槛,即与参考相比余弦相似度为 0.999。
AI 根据报道生成 · 19 小时前更新
最新进展11月19日 07:58
Exa 在 AWS Inferentia2 和 Trainium2 上将嵌入吞吐量提升 50%,用于索引数十亿文档报道时间线
沿着报道,了解事件的不同侧面。
11月19日
- AWS Machine Learning BlogExa 在 AWS Inferentia2 和 Trainium2 上将嵌入吞吐量提升 50%,用于索引数十亿文档
Exa 在 AWS Neuron 硬件(Inferentia2 和 Trainium2)上将嵌入吞吐量提升约 50%,达到其朴素 FP16 数据并行基线的约 1.5 倍。这些提升来自权重布局优化、autocast、包括自定义融合 SwiGLU MLP 内核在内的 NKI 内核,以及针对模型精确形状重写以减少填充 FLOPS 的注意力内核。这项工作支持在模型迁移期间对 300 亿优先文档重新嵌入。
本事件热度走势
- 可比范围当前
- 6
- 可比范围峰值
- 1011月19日 09:00
- 近 24 小时变化
- –
02.557.510
19191919192020
趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。