Pooling-Aware Training Boosts Multi-Vector Embedding Retrieval
เนื้อหานี้ยังไม่มีในภาษาของคุณ จึงแสดงเป็นEnglish
เริ่มตรงนี้
Hugging Face published a method for training multi-vector embedding models so they retain more retrieval quality when document vectors are pooled to save storage. In its example, a normally trained model with pool_factor=4 keeps 94.6% of its unpooled NanoBEIR nDCG@10 score while cutting document vectors 4x; pooling-aware training raises that retention to 97.8%. The post describes HierarchicalTokenPooling, how to calibrate the pooling budget, and a reproducible Sentence Transformers example. The figures come from Hugging Face's own demonstration rather than an independent benchmark.
สร้างจากรายงาน · อัปเดต 21 ชม. ที่แล้ว
ไทม์ไลน์รายงาน
ไล่ตามรายงานเพื่อดูเหตุการณ์นี้จากหลายด้าน
- Hugging Face Blogการฝึกแบบ Pooling-Aware สำหรับโมเดล Multi-Vector Embedding ด้วย Sentence Transformers
Hugging Face แสดงให้เห็นว่าการฝึกแบบ pooling-aware ช่วยยกระดับคุณภาพการดึงข้อมูลของโมเดล multi-vector embedding ภายใต้งบประมาณการจัดเก็บคงที่ ด้วย pool_factor=4 โมเดลที่ฝึกตามปกติยังคงรักษา 94.6% ของ NanoBEIR nDCG@10 แบบไม่ pooled ขณะที่ลดเวกเตอร์เอกสารลง 4 เท่า และการฝึกแบบ pooling-aware ช่วยเพิ่มอัตราการรักษานั้นเป็น 97.8% โพสต์นี้อธิบาย HierarchicalTokenPooling การปรับเทียบงบประมาณ และตัวอย่าง Sentence Transformers ที่ทำซ้ำได้
ความร้อนแรงของเหตุการณ์นี้
ยังมีการเฝ้าดูต่อเนื่องไม่พอจะวาดแนวโน้ม