Exa 在 AWS Neuron 晶片上將嵌入吞吐量提升 50%
熱點事件持續更新
Exa 在 AWS Neuron 晶片上將嵌入吞吐量提升 50%
1 篇報導1 個報導來源19 小時前更新
先了解這件事
AI 綜述
Exa 表示,它在 AWS Neuron 硬體(Inferentia2 與 Trainium2)上將嵌入吞吐量提升約 50%,達到其樸素 FP16 資料平行基線的約 1.5 倍。這些增益來自權重佈局最佳化、autocast、NKI 核心(包括自訂的融合 SwiGLU MLP 核心),以及針對模型確切形狀改寫的注意力核心,以減少填充 FLOPS。 這項工作支援在模型遷移期間重新嵌入 300 億份優先文件。Exa 在單一 NeuronCore 上執行其工作負載,將 Kubernetes pod 打包到較大的執行個體上,使沒有核心閒置。到目前為止,它僅針對美國西部(奧勒岡)區域調整了 Inferentia2,Exa 表示這限制了該方法的發展空間。降精度輸出達到了 Exa 的正確性門檻,即與參考結果的餘弦相似度為 0.999。
AI 依報導生成 · 19 小時前更新
最新進展11月19日 07:58
Exa 在 AWS Inferentia2 與 Trainium2 上將嵌入吞吐量提升 50%,以索引數十億份文件報導時間線
沿著報導,了解事件的不同側面。
11月19日
- AWS Machine Learning BlogExa 在 AWS Inferentia2 與 Trainium2 上將嵌入吞吐量提升 50%,以索引數十億份文件
Exa 在 AWS Neuron 硬體(Inferentia2 與 Trainium2)上將嵌入吞吐量提升約 50%,達到其樸素 FP16 資料平行基線的約 1.5 倍。這些增益來自權重佈局最佳化、autocast、NKI 核心(包括自訂的融合 SwiGLU MLP 核心),以及針對模型確切形狀改寫的注意力核心,以減少填充 FLOPS。這項工作支援在模型遷移期間重新嵌入 300 億份優先文件。
本事件熱度走勢
- 可比範圍當前
- 6
- 可比範圍峰值
- 1011月19日 09:00
- 近 24 小時變化
- –
02.557.510
09:0012:0015:0018:0021:0011月20日03:00
趨勢僅比較持續完整觀測到的相同主體,範圍可能小於當前熱度統計。移動指標或點擊圖表查看每小時熱度;鍵盤可用左右方向鍵切換。