Hacker News · AI·· 8 小時前AI 評分40
CrowdGPT:在獨立 GPU 上訓練單一語言模型的去中心化網路
CrowdGPT – AI Owned by Everyone
AI 導讀
CrowdGPT 協調獨立的 GPU 來訓練單一語言模型,無需大規模基礎設施。每台連線的裝置會從 HuggingFace 下載全域權重,在 10MB 的 tokenized 資料分片上訓練,並提交壓縮後的權重差值,伺服器會驗證其是否含有 NaN/Inf 值、大小與範數是否在界限內,再平均進全域模型。
來源:Hacker News · AI · crowdgpt.net