跳至正文
熱點事件持續更新

Exa 在 AWS Neuron 晶片上將嵌入吞吐量提升 50%

1 篇報導1 個報導來源19 小時前更新

先了解這件事

AI 綜述

Exa 表示,它在 AWS Neuron 硬體(Inferentia2 與 Trainium2)上將嵌入吞吐量提升約 50%,達到其樸素 FP16 資料平行基線的約 1.5 倍。這些增益來自權重佈局最佳化、autocast、NKI 核心(包括自訂的融合 SwiGLU MLP 核心),以及針對模型確切形狀改寫的注意力核心,以減少填充 FLOPS。 這項工作支援在模型遷移期間重新嵌入 300 億份優先文件。Exa 在單一 NeuronCore 上執行其工作負載,將 Kubernetes pod 打包到較大的執行個體上,使沒有核心閒置。到目前為止,它僅針對美國西部(奧勒岡)區域調整了 Inferentia2,Exa 表示這限制了該方法的發展空間。降精度輸出達到了 Exa 的正確性門檻,即與參考結果的餘弦相似度為 0.999。

AI 依報導生成 · 19 小時前更新

報導時間線

沿著報導,了解事件的不同側面。

11月19日
  1. AWS Machine Learning Blog
    Exa 在 AWS Inferentia2 與 Trainium2 上將嵌入吞吐量提升 50%,以索引數十億份文件

    Exa 在 AWS Neuron 硬體(Inferentia2 與 Trainium2)上將嵌入吞吐量提升約 50%,達到其樸素 FP16 資料平行基線的約 1.5 倍。這些增益來自權重佈局最佳化、autocast、NKI 核心(包括自訂的融合 SwiGLU MLP 核心),以及針對模型確切形狀改寫的注意力核心,以減少填充 FLOPS。這項工作支援在模型遷移期間重新嵌入 300 億份優先文件。

本事件熱度走勢

可比範圍當前
6
可比範圍峰值
1011月19日 09:00
近 24 小時變化
–

趨勢僅比較持續完整觀測到的相同主體,範圍可能小於當前熱度統計。移動指標或點擊圖表查看每小時熱度;鍵盤可用左右方向鍵切換。