Google 在 Google Cloud 上正式推出 Pathways，用於大型模型訓練

Google 宣布，其用於大型模型（包括 Gemini）的分散式訓練系統 Pathways 已在 Google Cloud Platform 上正式推出（General Availability）。Pathways 以單一 Python 用戶端宣告整個計算為資料流圖，取代了鎖步式 SPMD 執行；分散式執行階段則將區塊放置於虛擬裝置上、移動並重新分片張量，並在整個叢集間排序工作。Google 表示，此設計可讓故障主機重新對應到健康的晶片上，而不必重新啟動作業；且共用的 Pathways 服務能從單一叢集服務多個用戶端。