Amazon Science·· 3 天前精选AI 评分62
Amazon 发布 Mitra-v2 表格基础模型,采用规模化合成预训练
Mitra-v2: Scaling synthetic pretraining for tabular foundation models
AI 导读
Amazon 推出 Mitra-v2,这是用于分类和回归的第二代表格基础模型,随附微调模型以及推理和微调代码,以 Apache-2.0 许可证在 Hugging Face 上发布。它使用合成表格进行预训练,行数是 Mitra-v1 的 10 倍,列数约为其 3 倍,采用新的混合 SCM 先验和混合优化器,同时保持 Transformer 架构不变。在包含 51 个真实世界数据集的公开基准 TabArena 上,Mitra-v2 在单模型领域领先,在两者均原生运行的 33 个数据集中的 32 个上优于 Mitra-v1,并在 1 小时预算内完成全部 51 个数据集;微调后的 Mitra-v2 还在 ScoringBench 上排名第一。
推荐理由
Mitra-v2 表明,扩大合成预训练数据而非加深网络,能将表格基础模型提升至 TabArena 单模型领域的首位。
来源:Amazon Science · amazon.science