從零開始訓練的 GPT 能解 15 拼圖，卻在最簡單的盤面上失敗

Aatish Bhatia 從零開始訓練了一個 GPT，訓練資料是一百萬個以 token 序列寫成的 15 拼圖解法。該模型解開了 99.9% 隨機打亂的盤面，在 3,000 道測試拼圖中有 2,996 道與其教師的移動完全一致。 同一個模型卻在最簡單的盤面上失敗，其中包括一個本來就已經解開的盤面，而且它對錯誤開局的移動給出的機率超過 97%。Bhatia 將此歸因於對充分打亂的訓練資料的模仿，以及無法推廣到該分布之外的捷徑。

AI 依報導生成 · 2 小時前更新

還沒有足夠的連續觀測資料，暫不繪製趨勢。