跳到正文
热点事件持续更新

Exa 在 AWS Neuron 芯片上将嵌入吞吐量提升 50%

1 篇报道1 个报道来源19 小时前更新

先了解这件事

AI 综述

Exa 表示,它在 AWS Neuron 硬件(Inferentia2 和 Trainium2)上将嵌入吞吐量提升了约 50%,达到其朴素 FP16 数据并行基线的约 1.5 倍。这些提升来自权重布局优化、autocast、NKI 内核(包括自定义融合 SwiGLU MLP 内核),以及针对模型精确形状重写的注意力内核,以减少填充 FLOPS。 这项工作支持在模型迁移期间对 300 亿优先文档重新嵌入。Exa 在单个 NeuronCore 上运行其工作负载,将 Kubernetes pod 打包到更大的实例上,使没有核心闲置。到目前为止,它仅针对美国西部(俄勒冈)区域调优了 Inferentia2,Exa 表示这限制了该方法的适用范围。降精度输出达到了 Exa 的正确性门槛,即与参考相比余弦相似度为 0.999。

AI 根据报道生成 · 19 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月19日
  1. AWS Machine Learning Blog
    Exa 在 AWS Inferentia2 和 Trainium2 上将嵌入吞吐量提升 50%,用于索引数十亿文档

    Exa 在 AWS Neuron 硬件(Inferentia2 和 Trainium2)上将嵌入吞吐量提升约 50%,达到其朴素 FP16 数据并行基线的约 1.5 倍。这些提升来自权重布局优化、autocast、包括自定义融合 SwiGLU MLP 内核在内的 NKI 内核,以及针对模型精确形状重写以减少填充 FLOPS 的注意力内核。这项工作支持在模型迁移期间对 300 亿优先文档重新嵌入。

本事件热度走势

可比范围当前
6
可比范围峰值
1011月19日 09:00
近 24 小时变化
–

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。