跳至正文
熱點事件持續更新

CrowdGPT 推出面向獨立 GPU 的去中心化訓練網路

1 篇報導1 個報導來源8 小時前更新

先了解這件事

AI 綜述

CrowdGPT 推出了一個去中心化平台,可在無需大規模基礎設施的情況下,跨獨立 GPU 訓練單一語言模型。每台連線裝置從 HuggingFace 下載全域權重,在 10MB 的分片 token 化資料上訓練,並提交壓縮後的權重差值;伺服器會檢查每個差值是否含有 NaN/Inf 值,以及大小與範數是否在界限內,再將其平均進全域模型。 資料集完全開放,任何人都可以貢獻,模型權重會自動推送到 HuggingFace,供公開稽核與測試。CrowdGPT 將此設定呈現為一種無需沉重基礎設施、即可協調眾多獨立 GPU 成為一個凝聚模型的方式。

AI 依報導生成 · 8 小時前更新

報導時間線

沿著報導,了解事件的不同側面。

11月16日
  1. Hacker News · AI
    CrowdGPT:在獨立 GPU 上訓練單一語言模型的去中心化網路

    CrowdGPT 協調獨立的 GPU 來訓練單一語言模型,無需大規模基礎設施。每台連線的裝置會從 HuggingFace 下載全域權重,在 10MB 的 tokenized 資料分片上訓練,並提交壓縮後的權重差值,伺服器會驗證其是否含有 NaN/Inf 值、大小與範數是否在界限內,再平均進全域模型。

本事件熱度走勢

可比範圍當前
8
可比範圍峰值
1011月16日 09:00
近 24 小時變化
–

趨勢僅比較持續完整觀測到的相同主體,範圍可能小於當前熱度統計。移動指標或點擊圖表查看每小時熱度;鍵盤可用左右方向鍵切換。