跳至正文
Amazon Science·· 3 天前精選AI 評分62

Amazon 發布 Mitra-v2 表格基礎模型,採用規模化合成預訓練

Mitra-v2: Scaling synthetic pretraining for tabular foundation models

AI 導讀

Amazon 推出 Mitra-v2,這是第二代用於分類與迴歸的表格基礎模型,隨附微調後的模型以及推論與微調程式碼,以 Apache-2.0 授權在 Hugging Face 上發布。它是在合成表格上預訓練的,列數是 Mitra-v1 的 10 倍、欄數約為 3 倍,採用新的混合 SCM 先驗與混合優化器,同時保持 Transformer 架構不變。在涵蓋 51 個真實世界資料集的公開基準 TabArena 上,Mitra-v2 在單一模型領域領先,在兩者皆原生執行的 33 個資料集中有 32 個勝過 Mitra-v1,並在一小時預算內完成全部 51 個資料集;微調後的 Mitra-v2 也在 ScoringBench 上排名第一。

推薦理由

Mitra-v2 顯示,擴大合成預訓練資料而非加深網路,能將表格基礎模型推上 TabArena 單一模型領域的頂端。

來源:Amazon Science · amazon.science