งานศึกษาฮาร์วาร์ดพบว่าแบน Claude Fable 5 แทบไม่กระทบอัตราการ merge ของนักพัฒนา
เริ่มตรงนี้
นักวิจัยฮาร์วาร์ดพบว่าการสูญเสียการเข้าถึง Claude Fable 5 ในช่วงแบน 19 วันแทบไม่เปลี่ยนความถี่ที่นักพัฒนาโค้ดของตนถูก merge การติดตามผู้ใช้ Fable 5 จำนวน 297 คนก่อน ระหว่าง และหลังการแบน และเปรียบเทียบกับนักพัฒนา 8,908 คนที่ยังใช้ Opus 4.8 รุ่นเก่า งานศึกษาวัดสัดส่วนการเปลี่ยนแปลงโค้ดที่ส่งเข้ามาซึ่งได้รับการยอมรับเข้าสู่โปรเจกต์ GitHub ภายในเจ็ดวัน การเข้าถึงโมเดลเพิ่มสัดส่วนนั้นเพียง 1.4 จุดเปอร์เซ็นต์ ซึ่งบทความระบุว่าไม่significantทางสถิติ ตลอดการอัปเกรด Claude ห้าครั้งในปี 2026 ครอบคลุมนักพัฒนา 1,208 คนและการส่งโค้ดกว่า 15,000 ครั้ง นักวิจัยไม่พบการเพิ่มขึ้นอย่างมีนัยสำคัญของอัตราการ merge หรือจำนวนการเปลี่ยนแปลงที่เสร็จสิ้นรายสัปดาห์ แม้คะแนน benchmark จะเพิ่มขึ้น 5 ถึง 18 คะแนน ผู้เขียนเสนอว่างานของนักพัฒนาอยู่ในขอบเขตที่โมเดลเก่าทำได้อยู่แล้ว คะแนน benchmark จึงอาจไม่สะท้อนผลิตภาพงานจริง บทความยอมรับว่า GitHub merge เป็นมาตรวัดผลิตภาพที่ไม่สมบูรณ์ แต่เรียกการแบนครั้งนี้ว่าเป็นโอกาสหายากในการทดสอบการสลับโมเดลภายใต้สภาพการทำงานจริง
สร้างจากรายงาน · อัปเดต 1 ชม. ที่แล้ว
ไทม์ไลน์รายงาน
ไล่ตามรายงานเพื่อดูเหตุการณ์นี้จากหลายด้าน
- Hacker News · AIงานวิจัยฮาร์วาร์ดพบการแบน Claude Fable แทบไม่เปลี่ยนอัตราการ merge ของนักพัฒนา
งานวิจัยของฮาร์วาร์ดที่ติดตามผู้ใช้ Claude Fable 5 จำนวน 297 คนตลอดช่วงการแบน 19 วัน พบว่าการเข้าถึงโมเดลนี้เพิ่มสัดส่วน pull request ที่ถูก merge ภายในเจ็ดวันขึ้นเพียง 1.4 เปอร์เซ็นต์เท่านั้น ซึ่งเป็นความแตกต่างที่บทความระบุว่าไม่มีนัยสำคัญทางสถิติ จากการอัปเกรด Claude ห้าครั้งในปี 2026 ซึ่งครอบคลุมนักพัฒนา 1,208 คนและการส่งโค้ดมากกว่า 15,000 ครั้ง ไม่พบการเพิ่มขึ้นอย่างมีนัยสำคัญในอัตราการ merge หรือจำนวนการเปลี่ยนแปลงที่เสร็จสิ้นรายสัปดาห์ แม้ในกรณีที่คะแนน benchmark เพิ่มขึ้น 5 ถึง 18 คะแนน ผู้เขียนเสนอว่างานที่นักพัฒนามอบให้เอเจนต์นั้นอยู่ในขอบเขตที่โมเดลรุ่นเก่าสามารถทำได้อยู่แล้ว คะแนน benchmark จึงอาจไม่สะท้อนผลิตภาพในการทำงานจริง
ความร้อนแรงของเหตุการณ์นี้
ยังมีการเฝ้าดูต่อเนื่องไม่พอจะวาดแนวโน้ม