Hacker News · AI·· 14 小时前AI 评分34
e-means:更快的 k-means 变体与更廉价聚类带来的杰文斯悖论
A short note on e-means and jevons paradox
AI 导读
e-means 是一种新的 k-means 变体,它在每一轮遍历中通过小批量与指数移动平均持续更新质心,在将 100 亿条 DINO 嵌入聚类为约 1670 万个簇的任务上,仅用 2.5 个 epoch 就达到全批量 k-means 的测试损失,而后者需要 25 个 epoch。它保持相同的目标函数与凸最近质心几何结构,并通过拟合的缩放定律自动设定批量大小与更新速率。作者认为,更廉价的运行意味着可以尝试更多 k 值,而不是降低计算账单。
来源:Hacker News · AI · kovashikawa.com