ข้ามไปที่เนื้อหา
Google Developers Blog·· 1 วันที่แล้วคะแนน AI58

Google ใช้ Zero-TIM บน TPU ทำให้ on-policy RL ระหว่างการเทรนและการอนุมานมีข้อผิดพลาดเป็นศูนย์ในระดับบิต

Unlocking Stable On-Policy RL on TPU with Bitwise-Zero Train–Inference Mismatch

สรุปโดย AI

Google พัฒนา Zero-TIM ใน Tunix ทำให้การถอดรหัสของ sampler, prefill ฝั่งเซิร์ฟเวอร์ และ forward pass ของ trainer ภายใต้น้ำหนักเดียวกันให้ค่า logprob ที่เหมือนกันทุกบิตสำหรับ action token เดียวกัน และตรวจสอบสำเร็จบน multi-host mesh ขนาด 64 ชิป TPU v5p (DP8×TP8)

แหล่งข่าว:Google Developers Blog · developers.googleblog.com