ZoomGain:挖掘全局到缩放感知差距,用于细粒度视觉监督
ZoomGain 利用只有放大后才能看清的视觉细节,针对整张图像构建问题,并将这种全局到缩放的感知差距用作视觉语言模型的监督信号。发布内容包括 arXiv 论文、ZoomGainBench 基准(1,000 个问题,覆盖 941 张图像,涉及属性识别、计数和 OCR)、基于 7,713 张源图像的 9,000 条强化学习训练记录,以及 ZoomGain-4B 和 ZoomGain-9B 检查点。28 个模型中最佳者在 ZoomGainBench 上得分 61.08,而 ZoomGain-9B 在多个细粒度和通用感知基准上取得了更优表现。