Google เปิดตัว Streaming DiLoCo ใน MaxText v0.2.5
เริ่มตรงนี้
Google ได้นำ Streaming DiLoCo ไปใช้งานใน MaxText ซึ่งเป็นเฟรมเวิร์กการเทรน JAX แบบโอเพนซอร์สของบริษัท โดยเปิดตัวในเวอร์ชัน 0.2.5 บน PyPI ในอิมเมจ Docker ที่เกี่ยวข้อง และบน GitHub main วิธีการนี้แบ่งพารามิเตอร์ของโมเดลออกเป็น P ส่วน และซิงโครไนซ์เพียงส่วนเดียวต่อหนึ่งสเต็ปการเทรน ทำให้การพรีเทรน LLM แบบกระจายสามารถทำงานผ่านเครือข่ายวงกว้างที่มีแบนด์วิดท์ต่ำได้ Google แนะนำให้ตั้งค่าทั้ง num_diloco_fragments (P) และ diloco_sync_period (H) เป็น N_layers + 1 เพื่อให้ซิงโครไนซ์เพียงหนึ่งส่วนต่อสเต็ปพอดี บริษัทนำเสนอนี่เป็นแนวปฏิบัติที่ดีที่สุด而非ข้อกำหนด
สร้างจากรายงาน · อัปเดต
ไทม์ไลน์รายงาน
ไล่ตามรายงานเพื่อดูเหตุการณ์นี้จากหลายด้าน
- Google Developers BlogGoogle ใช้งาน Streaming DiLoCo ใน MaxText รองรับการฝึก LLM แบบกระจายข้ามศูนย์ข้อมูล
Google ใช้งาน Streaming DiLoCo ใน MaxText v0.2.5 เฟรมเวิร์กการฝึก JAX แบบโอเพนซอร์ส โดยแบ่งพารามิเตอร์ของโมเดลออกเป็น P ชาร์ด และซิงค์เพียงชาร์ดเดียวในแต่ละสเต็ป ทำให้สามารถพรีเทรน LLM แบบกระจายบนเครือข่ายวงกว้างที่แบนด์วิดท์ต่ำได้
ความร้อนแรงของเหตุการณ์นี้
ยังมีการเฝ้าดูต่อเนื่องไม่พอจะวาดแนวโน้ม