ข้ามไปที่เนื้อหา
เหตุการณ์ร้อนแรงกำลังพัฒนา

Exa เพิ่มปริมาณงานการฝังเวกเตอร์ได้ 50% บนชิป AWS Neuron

1 รายงาน1 แหล่งข่าวที่รายงานอัปเดต 19 ชม. ที่แล้ว

เริ่มตรงนี้

ไดเจสต์ AI

Exa ระบุว่าบริษัทเพิ่มปริมาณงานการฝังเวกเตอร์ได้ราว 50% บนฮาร์ดแวร์ AWS Neuron (Inferentia2 และ Trainium2) ซึ่งสูงเป็นประมาณ 1.5 เท่าของพื้นฐานแบบ data-parallel FP16 ธรรมดา ผลที่ได้มาจากการปรับ layout ของน้ำหนัก, autocast, เคอร์เนล NKI รวมถึงเคอร์เนล fused SwiGLU MLP ที่สร้างขึ้นเอง และเคอร์เนล attention ที่เขียนใหม่ให้ตรงกับ shape ของโมเดลเพื่อลด FLOPS ที่เกิดจาก padding งานนี้รองรับการฝังเวกเตอร์เอกสารสำคัญ 30 พันล้านฉบับใหม่ระหว่างการย้ายโมเดล Exa รันงานบน NeuronCore เดียว โดยจัด Kubernetes pod ให้อัดแน่นบนอินสแตนซ์ขนาดใหญ่ขึ้นเพื่อไม่ให้คอร์ใดว่าง จนถึงตอนนี้บริษัทปรับแต่ง Inferentia2 เฉพาะภูมิภาค US West (Oregon) ซึ่ง Exa ระบุว่าจำกัดขอบเขตที่แนวทางนี้จะไปได้ ผลลัพธ์ที่ลดความแม่นยำลงผ่านเกณฑ์ความถูกต้องของ Exa ที่ค่า cosine similarity 0.999 เทียบกับข้อมูลอ้างอิง

สร้างจากรายงาน · อัปเดต 19 ชม. ที่แล้ว

ไทม์ไลน์รายงาน

ไล่ตามรายงานเพื่อดูเหตุการณ์นี้จากหลายด้าน

19 พฤศจิกายน
  1. AWS Machine Learning Blog
    Exa เพิ่มปริมาณงาน embedding ขึ้น 50% บน AWS Inferentia2 และ Trainium2 เพื่อจัดทำดัชนีเอกสารหลายพันล้านฉบับ

    Exa เพิ่มปริมาณงาน embedding ขึ้นประมาณ 50% บนฮาร์ดแวร์ AWS Neuron (Inferentia2 และ Trainium2) โดยทำได้ประมาณ 1.5 เท่าของ baseline แบบ naive FP16 data-parallel ผลที่ได้มาจากการปรับ weight layout ให้เหมาะสม, autocast, เคอร์เนล NKI รวมถึงเคอร์เนล fused SwiGLU MLP ที่สร้างขึ้นเอง และเคอร์เนล attention ที่เขียนใหม่ให้ตรงกับ shape ของโมเดลเพื่อลด FLOPS ที่เกิดจาก padding งานนี้รองรับการ re-embed เอกสารสำคัญ 30 พันล้านฉบับระหว่างการย้ายโมเดล

ความร้อนแรงของเหตุการณ์นี้

ช่วงปัจจุบันที่เทียบได้
6
จุดสูงสุดในช่วงที่เทียบได้
1019 พฤศจิกายน 09:00
การเปลี่ยนแปลงใน 24 ชั่วโมง
–

แนวโน้มนี้เปรียบเทียบผู้ร่วมพูดถึงชุดเดียวกันในช่วงเวลาที่เฝ้าดูต่อเนื่อง ช่วงจึงอาจแคบกว่าคะแนนความร้อนปัจจุบัน วางเมาส์หรือแตะกราฟเพื่อดูความร้อนรายชั่วโมง กดลูกศรเพื่อเลื่อนดู