การฝึกแบบ Pooling-Aware สำหรับโมเดล Multi-Vector Embedding ด้วย Sentence Transformers

Hugging Face แสดงให้เห็นว่าการฝึกแบบ pooling-aware ช่วยยกระดับคุณภาพการดึงข้อมูลของโมเดล multi-vector embedding ภายใต้งบประมาณการจัดเก็บคงที่ ด้วย pool_factor=4 โมเดลที่ฝึกตามปกติยังคงรักษา 94.6% ของ NanoBEIR nDCG@10 แบบไม่ pooled ขณะที่ลดเวกเตอร์เอกสารลง 4 เท่า และการฝึกแบบ pooling-aware ช่วยเพิ่มอัตราการรักษานั้นเป็น 97.8% โพสต์นี้อธิบาย HierarchicalTokenPooling การปรับเทียบงบประมาณ และตัวอย่าง Sentence Transformers ที่ทำซ้ำได้