Tới nội dung
Google Developers Blog·· 1 ngày trướcTuyển chọnĐiểm AI60

Google phát hành hướng dẫn thiết kế và tối ưu mô hình TPU bao gồm quy tắc hình dạng, LatentMoE và song song hóa

TPU Model Design Considerations and Optimization Guide

Tóm tắt bằng AI

Google đã ra mắt hướng dẫn mã nguồn mở AI-Hypercomputer/tpu-codesign, trong đó đưa ra tám nguyên tắc thiết kế mô hình xoay quanh kiến trúc TPU, từ kích thước căn chỉnh 256 và hình dạng tĩnh đến định tuyến LatentMoE và ánh xạ các trục song song lên các liên kết vật lý. Kết quả đo được trên Ironwood bao gồm giảm 2,8 lần thời gian permute trên thiết bị và tăng 14% thông lượng huấn luyện từ LatentMoE l=768 trên mô hình 30B/128 chuyên gia, và tăng 57% tok/s từ việc giảm một nửa số chuyên gia trong khi tăng gấp đôi d_ff trên LatentMoE 63B. Hướng dẫn cũng đề cập các tính năng của TPU 8t và TPU 8i như FP4 gốc, cấu trúc liên kết Boardfly và Collectives Acceleration Engine, đồng thời khuyến nghị xác thực các thay đổi kiến trúc bằng thử nghiệm loại bỏ theo thời gian thực trên một ngăn xếp đã được tinh chỉnh.

Vì sao đáng chú ý

Nhóm TPU của Google trình bày tám quy tắc thiết kế dựa trên phần cứng để căn chỉnh hình dạng mô hình, định tuyến MoE và song song hóa với Ironwood và TPU thế hệ thứ tám, được hỗ trợ bởi mức tăng thông lượng đo được.

Nguồn:Google Developers Blog · developers.googleblog.com