ข้ามไปที่เนื้อหา
เหตุการณ์ร้อนแรงจับตาดู

Google เปิดตัว Streaming DiLoCo ใน MaxText v0.2.5

1 รายงาน1 แหล่งข่าวที่รายงานอัปเดต 1 วันที่แล้ว

เริ่มตรงนี้

ไดเจสต์ AI

Google ได้นำ Streaming DiLoCo ไปใช้งานใน MaxText ซึ่งเป็นเฟรมเวิร์กการเทรน JAX แบบโอเพนซอร์สของบริษัท โดยเปิดตัวในเวอร์ชัน 0.2.5 บน PyPI ในอิมเมจ Docker ที่เกี่ยวข้อง และบน GitHub main วิธีการนี้แบ่งพารามิเตอร์ของโมเดลออกเป็น P ส่วน และซิงโครไนซ์เพียงส่วนเดียวต่อหนึ่งสเต็ปการเทรน ทำให้การพรีเทรน LLM แบบกระจายสามารถทำงานผ่านเครือข่ายวงกว้างที่มีแบนด์วิดท์ต่ำได้ Google แนะนำให้ตั้งค่าทั้ง num_diloco_fragments (P) และ diloco_sync_period (H) เป็น N_layers + 1 เพื่อให้ซิงโครไนซ์เพียงหนึ่งส่วนต่อสเต็ปพอดี บริษัทนำเสนอนี่เป็นแนวปฏิบัติที่ดีที่สุด而非ข้อกำหนด

สร้างจากรายงาน · อัปเดต

ไทม์ไลน์รายงาน

ไล่ตามรายงานเพื่อดูเหตุการณ์นี้จากหลายด้าน

19 พฤศจิกายน
  1. Google Developers Blog
    Google ใช้งาน Streaming DiLoCo ใน MaxText รองรับการฝึก LLM แบบกระจายข้ามศูนย์ข้อมูล

    Google ใช้งาน Streaming DiLoCo ใน MaxText v0.2.5 เฟรมเวิร์กการฝึก JAX แบบโอเพนซอร์ส โดยแบ่งพารามิเตอร์ของโมเดลออกเป็น P ชาร์ด และซิงค์เพียงชาร์ดเดียวในแต่ละสเต็ป ทำให้สามารถพรีเทรน LLM แบบกระจายบนเครือข่ายวงกว้างที่แบนด์วิดท์ต่ำได้

ความร้อนแรงของเหตุการณ์นี้

ยังมีการเฝ้าดูต่อเนื่องไม่พอจะวาดแนวโน้ม