e-means: ตัวแปร k-means ที่เร็วกว่าและความขัดแย้งของ Jevons จากการจัดกลุ่มที่ถูกลง
เริ่มตรงนี้
ตัวแปร k-means ใหม่ที่ชื่อ e-means อัปเดตเซนทรอยด์อย่างต่อเนื่องภายในแต่ละรอบโดยใช้มินิแบตช์และค่าเฉลี่ยเคลื่อนที่แบบเอ็กซ์โพเนนเชียล แทนการอัปเดตแบบฟูลแบตช์ตามปกติ บน DINO embeddings 10 พันล้านรายการที่จัดกลุ่มเป็นประมาณ 16.7 ล้านคลัสเตอร์ วิธีนี้ไปถึงค่า loss ในการทดสอบของ k-means แบบฟูลแบตช์ได้ใน 2.5 epoch แทนที่จะเป็น 25 epoch ตามที่ผู้เขียนระบุ วิธีนี้คงวัตถุประสงค์เดิมและเรขาคณิตแบบ convex nearest-centroid ไว้ และกฎการสเกลที่ปรับให้เข้ากับข้อมูลจะกำหนดขนาดแบตช์และอัตราการอัปเดตโดยอัตโนมัติ ผู้เขียนโต้แย้งว่าการรันการจัดกลุ่มที่ถูกลงจะทำให้ผู้คนลองค่า k มากขึ้น แทนที่จะลดค่าใช้จ่ายในการประมวลผล
สร้างจากรายงาน · อัปเดต 14 ชม. ที่แล้ว
ไทม์ไลน์รายงาน
ไล่ตามรายงานเพื่อดูเหตุการณ์นี้จากหลายด้าน
- Hacker News · AIe-means: k-means 变体ที่เร็วกว่าและ Jevons Paradox ของการทำ clustering ที่ถูกลง
e-means เป็น k-means 变体ใหม่ที่อัปเดต centroid อย่างต่อเนื่องภายในแต่ละรอบโดยใช้ mini-batch และ exponential moving average โดยเข้าถึง test loss ของ full-batch k-means ใน 2.5 epoch แทนที่จะเป็น 25 เมื่อทำ clustering 10 พันล้าน DINO embeddings เป็นประมาณ 16.7 ล้าน clusters โดยคง objective เดิมและ convex nearest-centroid geometry ไว้ พร้อม fitted scaling laws ที่กำหนด batch size และ update rate โดยอัตโนมัติ ผู้เขียนโต้แย้งว่าการรันที่ถูกลงหมายถึงการลองค่า k มากขึ้น แทนที่จะลดค่าใช้จ่ายด้าน compute
ความร้อนแรงของเหตุการณ์นี้
ยังมีการเฝ้าดูต่อเนื่องไม่พอจะวาดแนวโน้ม