ข้ามไปที่เนื้อหา
Google Developers Blog·· 1 วันที่แล้วคัดสรรคะแนน AI60

Google เผยแพร่คู่มือการออกแบบและปรับแต่งโมเดลสำหรับ TPU ครอบคลุมกฎรูปร่าง LatentMoE และการทำขนาน

TPU Model Design Considerations and Optimization Guide

สรุปโดย AI

Google เปิดตัวคู่มือ AI-Hypercomputer/tpu-codesign แบบโอเพนซอร์ส ซึ่งกำหนดหลักการแปดข้อสำหรับการออกแบบโมเดลให้สอดคล้องกับสถาปัตยกรรม TPU ตั้งแต่ขนาดที่จัดแนวเป็น 256 และรูปร่างแบบคงที่ ไปจนถึงการกำหนดเส้นทาง LatentMoE และการแมปแกนขนานเข้ากับลิงก์ทางกายภาพ ผลการวัดบน Ironwood ได้แก่ การลดเวลาการเรียงสับเปลี่ยนบนอุปกรณ์ลง 2.8 เท่า และปริมาณงานการฝึกเพิ่มขึ้น +14% จาก LatentMoE ที่ l=768 บนโมเดล 30B/128 ผู้เชี่ยวชาญ และ +57% tok/s จากการลดจำนวนผู้เชี่ยวชาญลงครึ่งหนึ่งพร้อมเพิ่ม d_ff เป็นสองเท่าบน LatentMoE 63B คู่มือยังครอบคลุมคุณสมบัติของ TPU 8t และ TPU 8i เช่น FP4 แบบเนทีฟ โทโพโลยี Boardfly และ Collectives Acceleration Engine และแนะนำให้ตรวจสอบการเปลี่ยนแปลงสถาปัตยกรรมด้วยการทดลองแบบ wall-clock บนสแตกที่ปรับแต่งแล้ว

ทำไมเรื่องนี้สำคัญ

ทีม TPU ของ Google วางกฎการออกแบบแปดข้อที่อิงฮาร์ดแวร์สำหรับการจัดแนวรูปร่างโมเดล การกำหนดเส้นทาง MoE และการทำขนานให้สอดคล้องกับ Ironwood และ TPU รุ่นที่แปด พร้อมข้อมูลปริมาณงานที่วัดได้จริงรองรับ

แหล่งข่าว:Google Developers Blog · developers.googleblog.com