e-means: Một biến thể k-means nhanh hơn và nghịch lý Jevons của việc phân cụm rẻ hơn
Bắt đầu từ đây
Một biến thể k-means mới có tên e-means cập nhật tâm cụm liên tục trong mỗi lượt bằng mini-batch và trung bình động lũy thừa, thay vì cập nhật toàn bộ lô như thường lệ. Trên 10 tỷ embedding DINO được phân cụm thành khoảng 16,7 triệu cụm, theo tác giả, nó đạt độ mất mát kiểm tra của k-means toàn lô sau 2,5 epoch thay vì 25 epoch. Phương pháp này giữ nguyên mục tiêu và hình học lồi tâm gần nhất, và các định luật tỉ lệ được khớp tự động đặt kích thước lô và tốc độ cập nhật. Tác giả lập luận rằng các lượt phân cụm rẻ hơn sẽ khiến người ta thử nhiều giá trị k hơn thay vì giảm hóa đơn tính toán.
Tạo từ các bài viết · cập nhật 14 giờ trước
Dòng thời gian bài viết
Theo các bài viết để thấy sự việc từ nhiều phía.
- Hacker News · AIe-means: Một biến thể k-means nhanh hơn và nghịch lý Jevons của việc phân cụm rẻ hơn
e-means là một biến thể k-means mới liên tục cập nhật các tâm cụm trong mỗi lượt bằng mini-batch và trung bình động lũy thừa, đạt được độ mất mát kiểm tra của k-means toàn lô trong 2,5 epoch thay vì 25 trên 10 tỷ embedding DINO được phân cụm thành khoảng 16,7 triệu cụm. Nó giữ nguyên mục tiêu và hình học lồi gần tâm cụm nhất, với các định luật tỉ lệ được khớp tự động đặt kích thước lô và tốc độ cập nhật. Tác giả lập luận rằng các lần chạy rẻ hơn có nghĩa là thử nhiều giá trị k hơn thay vì giảm hóa đơn tính toán.
Độ nóng của sự việc này
Chưa đủ quan sát liên tục để vẽ xu hướng.