一个简单的15拼图展示了AI“锯齿状智能”是如何出现的

Aatish Bhatia 从零训练了一个 GPT，训练数据是一百万个以 token 序列形式写成的 15 拼图解法；该模型解出了 99.9% 的随机打乱棋盘，在 3000 个测试拼图中，有 2996 个与老师的精确走法一致。同一个模型却在最简单的棋盘上失败，包括一个已经解好的棋盘，并且对其错误的开局走法给出了超过 97% 的概率。作者将此归因于对充分打乱的训练数据的模仿，以及无法泛化到分布之外的捷径。