跳至正文
Hacker News · AI·· 8 小時前AI 評分40

CrowdGPT:在獨立 GPU 上訓練單一語言模型的去中心化網路

CrowdGPT – AI Owned by Everyone

AI 導讀

CrowdGPT 協調獨立的 GPU 來訓練單一語言模型,無需大規模基礎設施。每台連線的裝置會從 HuggingFace 下載全域權重,在 10MB 的 tokenized 資料分片上訓練,並提交壓縮後的權重差值,伺服器會驗證其是否含有 NaN/Inf 值、大小與範數是否在界限內,再平均進全域模型。

來源:Hacker News · AI · crowdgpt.net