ข้ามไปที่เนื้อหา
Hacker News · AI·· 12 ชม. ที่แล้วคะแนน AI34

e-means: k-means 变体ที่เร็วกว่าและ Jevons Paradox ของการทำ clustering ที่ถูกลง

A short note on e-means and jevons paradox

สรุปโดย AI

e-means เป็น k-means 变体ใหม่ที่อัปเดต centroid อย่างต่อเนื่องภายในแต่ละรอบโดยใช้ mini-batch และ exponential moving average โดยเข้าถึง test loss ของ full-batch k-means ใน 2.5 epoch แทนที่จะเป็น 25 เมื่อทำ clustering 10 พันล้าน DINO embeddings เป็นประมาณ 16.7 ล้าน clusters โดยคง objective เดิมและ convex nearest-centroid geometry ไว้ พร้อม fitted scaling laws ที่กำหนด batch size และ update rate โดยอัตโนมัติ ผู้เขียนโต้แย้งว่าการรันที่ถูกลงหมายถึงการลองค่า k มากขึ้น แทนที่จะลดค่าใช้จ่ายด้าน compute

แหล่งข่าว:Hacker News · AI · kovashikawa.com