Google 在 Google Cloud 上正式发布 Pathways，用于大模型训练

Google 宣布，其用于 Gemini 等大模型的分布式训练系统 Pathways 已在 Google Cloud Platform 上正式可用（General Availability）。Pathways 用单个 Python 客户端将整个计算声明为数据流图，取代了锁步 SPMD 执行方式；分布式运行时负责把块放到虚拟设备上、移动并重新分片张量，以及在整个集群范围内对工作排序。Google 表示，这种设计可以让故障主机被重新映射到健康芯片上，而无需重启任务；并且一个共享的 Pathways 服务可以从单个集群为多个客户端提供服务。