Huấn luyện nhận biết pooling cho mô hình embedding đa vector với Sentence Transformers

Hugging Face trình bày cách huấn luyện nhận biết pooling nâng cao chất lượng truy xuất cho các mô hình embedding đa vector với ngân sách lưu trữ cố định. Với pool_factor=4, một mô hình được huấn luyện thông thường giữ được 94,6% nDCG@10 trên NanoBEIR khi chưa pooling, trong khi giảm số vector tài liệu xuống 4 lần, và huấn luyện nhận biết pooling nâng tỷ lệ giữ lại đó lên 97,8%. Bài viết đi qua HierarchicalTokenPooling, hiệu chỉnh ngân sách và một ví dụ Sentence Transformers có thể tái lập.