ข้ามไปที่เนื้อหา
เหตุการณ์ร้อนแรงจับตาดู

Google เปิดตัวคู่มือ TPU Codesign แบบโอเพนซอร์ส

1 รายงาน1 แหล่งข่าวที่รายงานอัปเดต 1 วันที่แล้ว

เริ่มตรงนี้

ไดเจสต์ AI

Google ได้เปิดตัวคู่มือ AI-Hypercomputer/tpu-codesign แบบโอเพนซอร์ส ซึ่งกำหนดหลักการแปดข้อสำหรับการออกแบบโมเดลให้สอดคล้องกับสถาปัตยกรรม TPU ตั้งแต่ขนาดที่จัดแนวเป็น 256 และรูปทรงแบบคงที่ ไปจนถึงการกำหนดเส้นทาง LatentMoE และการแมปแกนขนานลงบนลิงก์กายภาพ Google ระบุว่ากฎเกี่ยวกับรูปทรงนั้นใช้ได้กับทุกคนที่ออกแบบโมเดลใหม่ ขณะที่นักพัฒนาที่ปรับโมเดลที่มีอยู่แล้วสามารถใช้ส่วน Expressing Parallelism ได้โดยไม่ต้องแตะ checkpoint Google รายงานผลการวัดบน Ironwood: ลดเวลาการ permute บนอุปกรณ์ลง 2.8 เท่า, throughput การเทรนเพิ่มขึ้น +14% จาก LatentMoE ที่ l=768 บนโมเดล 30B/128 ผู้เชี่ยวชาญ และ +57% tok/s จากการลดจำนวนผู้เชี่ยวชาญลงครึ่งหนึ่งพร้อมเพิ่ม d_ff เป็นสองเท่าบน LatentMoE ขนาด 63B คู่มือยังครอบคลุมคุณสมบัติของ TPU 8t และ TPU 8i เช่น FP4 แบบเนทีฟ, โทโพโลยี Boardfly และ Collectives Acceleration Engine และแนะนำให้ตรวจสอบการเปลี่ยนแปลงสถาปัตยกรรมด้วยการทดลองแบบ wall-clock ablation บนสแตกที่ปรับแต่งแล้ว Google ระบุว่า repository ที่แนบมาจะมีส่วนเฉพาะโมเดลและ workload เพิ่มขึ้นเรื่อย ๆ

สร้างจากรายงาน · อัปเดต 1 ชม. ที่แล้ว

ไทม์ไลน์รายงาน

ไล่ตามรายงานเพื่อดูเหตุการณ์นี้จากหลายด้าน

16 พฤศจิกายน
  1. Google Developers Blogคัดสรร
    Google เผยแพร่คู่มือการออกแบบและปรับแต่งโมเดลสำหรับ TPU ครอบคลุมกฎรูปร่าง LatentMoE และการทำขนาน

    Google เปิดตัวคู่มือ AI-Hypercomputer/tpu-codesign แบบโอเพนซอร์ส ซึ่งกำหนดหลักการแปดข้อสำหรับการออกแบบโมเดลให้สอดคล้องกับสถาปัตยกรรม TPU ตั้งแต่ขนาดที่จัดแนวเป็น 256 และรูปร่างแบบคงที่ ไปจนถึงการกำหนดเส้นทาง LatentMoE และการแมปแกนขนานเข้ากับลิงก์ทางกายภาพ ผลการวัดบน Ironwood ได้แก่ การลดเวลาการเรียงสับเปลี่ยนบนอุปกรณ์ลง 2.8 เท่า และปริมาณงานการฝึกเพิ่มขึ้น +14% จาก LatentMoE ที่ l=768 บนโมเดล 30B/128 ผู้เชี่ยวชาญ และ +57% tok/s จากการลดจำนวนผู้เชี่ยวชาญลงครึ่งหนึ่งพร้อมเพิ่ม d_ff เป็นสองเท่าบน LatentMoE 63B คู่มือยังครอบคลุมคุณสมบัติของ TPU 8t และ TPU 8i เช่น FP4 แบบเนทีฟ โทโพโลยี Boardfly และ Collectives Acceleration Engine และแนะนำให้ตรวจสอบการเปลี่ยนแปลงสถาปัตยกรรมด้วยการทดลองแบบ wall-clock บนสแตกที่ปรับแต่งแล้ว

ความร้อนแรงของเหตุการณ์นี้

ยังมีการเฝ้าดูต่อเนื่องไม่พอจะวาดแนวโน้ม