ZoomGain: การขุดช่องว่างการรับรู้จากภาพรวมสู่การซูมสำหรับการกำกับดูแลด้วยภาพอย่างละเอียด
ZoomGain สร้างคำถามเกี่ยวกับภาพเต็มจากรายละเอียดทางภาพที่ชัดเจนขึ้นเมื่อซูมเข้า โดยใช้ช่องว่างการรับรู้จากภาพรวมสู่การซูมนี้เป็น信号กำกับสำหรับโมเดลภาษา-ภาพ การเผยแพร่ประกอบด้วยบทความ arXiv, Benchmark ZoomGainBench (1,000 คำถามจาก 941 ภาพ ครอบคลุมการจดจำคุณลักษณะ การนับ และ OCR), บันทึกการฝึก RL 9,000 รายการจากภาพต้นฉบับ 7,713 ภาพ และ checkpoint ZoomGain-4B และ ZoomGain-9B โมเดลที่ดีที่สุดใน 28 โมเดลได้คะแนน 61.08 บน ZoomGainBench ขณะที่ ZoomGain-9B ทำได้เหนือกว่าใน benchmark การรับรู้แบบละเอียดและทั่วไปหลายรายการ