Pooling-Aware Training for Multi-Vector Embedding Models with Sentence Transformers

Hugging Face 展示 pooling-aware 訓練如何在固定儲存預算下提升多向量嵌入模型的檢索品質。當 pool_factor=4 時，一般訓練的模型保留其未池化 NanoBEIR nDCG@10 的 94.6%，同時將文件向量減少 4 倍，而 pooling-aware 訓練則將該保留率提升至 97.8%。文章逐步說明 HierarchicalTokenPooling、預算校準，以及一個可重現的 Sentence Transformers 範例。