Google phát hành hướng dẫn thiết kế đồng thời TPU mã nguồn mở
Bắt đầu từ đây
Google đã ra mắt hướng dẫn AI-Hypercomputer/tpu-codesign mã nguồn mở, đưa ra tám nguyên tắc thiết kế mô hình xoay quanh kiến trúc TPU — từ kích thước căn lề 256 và hình dạng tĩnh đến định tuyến LatentMoE và ánh xạ các trục song song lên các liên kết vật lý. Google cho biết các quy tắc hình dạng áp dụng cho bất kỳ ai thiết kế mô hình mới, trong khi các nhà phát triển đang chuyển thể một mô hình hiện có có thể dùng phần Expressing Parallelism mà không cần chạm vào checkpoint. Google báo cáo kết quả đo được trên Ironwood: giảm 2,8 lần thời gian permute trên thiết bị, tăng +14% thông lượng huấn luyện từ một LatentMoE l=768 trên mô hình 30B/128 chuyên gia, và tăng +57% tok/s nhờ giảm một nửa số chuyên gia trong khi tăng gấp đôi d_ff trên một LatentMoE 63B. Hướng dẫn cũng đề cập các tính năng của TPU 8t và TPU 8i như FP4 gốc, cấu trúc liên kết Boardfly và Collectives Acceleration Engine, đồng thời khuyến nghị xác thực các thay đổi kiến trúc bằng phép thử loại bỏ theo thời gian thực trên một ngăn xếp đã tinh chỉnh. Google cho biết kho lưu trữ đi kèm sẽ dần bổ sung các phần dành riêng cho mô hình và khối lượng công việc theo thời gian.
Tạo từ các bài viết · cập nhật 1 giờ trước
Dòng thời gian bài viết
Theo các bài viết để thấy sự việc từ nhiều phía.
- Google Developers BlogTuyển chọnGoogle phát hành hướng dẫn thiết kế và tối ưu mô hình TPU bao gồm quy tắc hình dạng, LatentMoE và song song hóa
Google đã ra mắt hướng dẫn mã nguồn mở AI-Hypercomputer/tpu-codesign, trong đó đưa ra tám nguyên tắc thiết kế mô hình xoay quanh kiến trúc TPU, từ kích thước căn chỉnh 256 và hình dạng tĩnh đến định tuyến LatentMoE và ánh xạ các trục song song lên các liên kết vật lý. Kết quả đo được trên Ironwood bao gồm giảm 2,8 lần thời gian permute trên thiết bị và tăng 14% thông lượng huấn luyện từ LatentMoE l=768 trên mô hình 30B/128 chuyên gia, và tăng 57% tok/s từ việc giảm một nửa số chuyên gia trong khi tăng gấp đôi d_ff trên LatentMoE 63B. Hướng dẫn cũng đề cập các tính năng của TPU 8t và TPU 8i như FP4 gốc, cấu trúc liên kết Boardfly và Collectives Acceleration Engine, đồng thời khuyến nghị xác thực các thay đổi kiến trúc bằng thử nghiệm loại bỏ theo thời gian thực trên một ngăn xếp đã được tinh chỉnh.
Độ nóng của sự việc này
Chưa đủ quan sát liên tục để vẽ xu hướng.