ปริศนา 15 ชิ้นง่ายๆ เผยให้เห็นว่าความฉลาดแบบหยักของ AI เกิดขึ้นได้อย่างไร

Aatish Bhatia ฝึก GPT ตั้งแต่เริ่มต้นด้วยคำตอบของปริศนา 15 ชิ้นหนึ่งล้านชุดที่เขียนเป็นลำดับโทเค็น และมันแก้กระดานที่สลับแบบสุ่มได้ 99.9 เปอร์เซ็นต์ ตรงกับการเดินหมากที่แม่นยำของครูใน 2,996 จาก 3,000 ปริศนาทดสอบ โมเดลเดียวกันกลับล้มเหลวกับกระดานที่ง่ายที่สุด รวมถึงกระดานที่แก้เสร็จแล้ว และให้ความน่าจะเป็นเกิน 97 เปอร์เซ็นต์กับการเดินเปิดที่ผิด ผู้เขียนอธิบายว่าสาเหตุมาจากการเลียนแบบข้อมูลฝึกที่สลับมาอย่างดี และจากทางลัดที่ไม่สามารถ généraliser นอกการแจกแจงได้