Huấn luyện nhận biết gộp (Pooling-Aware Training) giúp tăng cường truy xuất embedding đa vector
Bắt đầu từ đây
Hugging Face đã công bố một phương pháp huấn luyện các mô hình embedding đa vector để chúng giữ được nhiều chất lượng truy xuất hơn khi các vector tài liệu được gộp lại nhằm tiết kiệm dung lượng lưu trữ. Trong ví dụ của mình, một mô hình được huấn luyện thông thường với pool_factor=4 giữ được 94,6% điểm nDCG@10 trên NanoBEIR khi chưa gộp, trong khi giảm số vector tài liệu xuống 4 lần; huấn luyện nhận biết gộp nâng tỷ lệ giữ lại đó lên 97,8%. Bài đăng mô tả HierarchicalTokenPooling, cách hiệu chỉnh ngân sách gộp, và một ví dụ Sentence Transformers có thể tái lập. Các con số đến từ chính phần trình diễn của Hugging Face chứ không phải từ một đánh giá độc lập.
Tạo từ các bài viết · cập nhật 22 giờ trước
Dòng thời gian bài viết
Theo các bài viết để thấy sự việc từ nhiều phía.
- Hugging Face BlogHuấn luyện nhận biết pooling cho mô hình embedding đa vector với Sentence Transformers
Hugging Face trình bày cách huấn luyện nhận biết pooling nâng cao chất lượng truy xuất cho các mô hình embedding đa vector với ngân sách lưu trữ cố định. Với pool_factor=4, một mô hình được huấn luyện thông thường giữ được 94,6% nDCG@10 trên NanoBEIR khi chưa pooling, trong khi giảm số vector tài liệu xuống 4 lần, và huấn luyện nhận biết pooling nâng tỷ lệ giữ lại đó lên 97,8%. Bài viết đi qua HierarchicalTokenPooling, hiệu chỉnh ngân sách và một ví dụ Sentence Transformers có thể tái lập.
Độ nóng của sự việc này
Chưa đủ quan sát liên tục để vẽ xu hướng.