Hacker News · AI·· 14 小時前AI 評分34
e-means:更快的 k-means 變體,以及更便宜聚類的傑文斯悖論
A short note on e-means and jevons paradox
AI 導讀
e-means 是一種新的 k-means 變體,它在每次遍歷中使用小批次和指數移動平均持續更新質心,在將 100 億個 DINO 嵌入聚類為約 1670 萬個簇時,僅需 2.5 個 epoch 即可達到全批次 k-means 的測試損失,而非 25 個 epoch。它保持相同的目標函數和凸最近質心幾何結構,並通過擬合縮放定律自動設定批次大小和更新率。作者認為,更便宜的運行意味著嘗試更多 k 值,而不是降低計算成本。
來源:Hacker News · AI · kovashikawa.com