Google Developers Blog·· 1 วันที่แล้วคะแนน AI58
Google ใช้งาน Streaming DiLoCo ใน MaxText รองรับการฝึก LLM แบบกระจายข้ามศูนย์ข้อมูล
Distributed LLM Training Across Metros: Streaming DiLoCo in MaxText
สรุปโดย AI
Google ใช้งาน Streaming DiLoCo ใน MaxText v0.2.5 เฟรมเวิร์กการฝึก JAX แบบโอเพนซอร์ส โดยแบ่งพารามิเตอร์ของโมเดลออกเป็น P ชาร์ด และซิงค์เพียงชาร์ดเดียวในแต่ละสเต็ป ทำให้สามารถพรีเทรน LLM แบบกระจายบนเครือข่ายวงกว้างที่แบนด์วิดท์ต่ำได้
แหล่งข่าว:Google Developers Blog · developers.googleblog.com