一個簡單的 15 拼圖展示 AI 的鋸齒狀智能如何湧現

Aatish Bhatia 從零開始訓練了一個 GPT，訓練資料是一百萬個以 token 序列寫成的 15 拼圖解法，它解出了 99.9% 的隨機打亂盤面，在 3,000 個測試拼圖中有 2,996 個與教師的動作完全一致。同一個模型卻在最簡單的盤面上失敗，包括一個已經解好的盤面，並對其錯誤的開局動作給出高於 97% 的機率。作者將此歸因於對充分打亂的訓練資料的模仿，以及無法泛化到分布之外的捷徑。