Hacker News · AI·· 8 小时前AI 评分40
CrowdGPT:一个跨独立 GPU 训练单一语言模型的去中心化网络
CrowdGPT – AI Owned by Everyone
AI 导读
CrowdGPT 协调独立 GPU 训练单一语言模型,无需大规模基础设施。每台接入设备从 HuggingFace 下载全局权重,在 10MB 的 token 化数据分片上训练,并提交压缩后的权重增量,服务器会校验其 NaN/Inf 值、大小与范数边界,再平均进全局模型。
来源:Hacker News · AI · crowdgpt.net