ข้ามไปที่เนื้อหา
เหตุการณ์ร้อนแรงกำลังพัฒนา

งานศึกษาฮาร์วาร์ดพบว่าแบน Claude Fable 5 แทบไม่กระทบอัตราการ merge ของนักพัฒนา

1 รายงาน1 แหล่งข่าวที่รายงานอัปเดต 1 ชม. ที่แล้ว

เริ่มตรงนี้

ไดเจสต์ AI

นักวิจัยฮาร์วาร์ดพบว่าการสูญเสียการเข้าถึง Claude Fable 5 ในช่วงแบน 19 วันแทบไม่เปลี่ยนความถี่ที่นักพัฒนาโค้ดของตนถูก merge การติดตามผู้ใช้ Fable 5 จำนวน 297 คนก่อน ระหว่าง และหลังการแบน และเปรียบเทียบกับนักพัฒนา 8,908 คนที่ยังใช้ Opus 4.8 รุ่นเก่า งานศึกษาวัดสัดส่วนการเปลี่ยนแปลงโค้ดที่ส่งเข้ามาซึ่งได้รับการยอมรับเข้าสู่โปรเจกต์ GitHub ภายในเจ็ดวัน การเข้าถึงโมเดลเพิ่มสัดส่วนนั้นเพียง 1.4 จุดเปอร์เซ็นต์ ซึ่งบทความระบุว่าไม่significantทางสถิติ ตลอดการอัปเกรด Claude ห้าครั้งในปี 2026 ครอบคลุมนักพัฒนา 1,208 คนและการส่งโค้ดกว่า 15,000 ครั้ง นักวิจัยไม่พบการเพิ่มขึ้นอย่างมีนัยสำคัญของอัตราการ merge หรือจำนวนการเปลี่ยนแปลงที่เสร็จสิ้นรายสัปดาห์ แม้คะแนน benchmark จะเพิ่มขึ้น 5 ถึง 18 คะแนน ผู้เขียนเสนอว่างานของนักพัฒนาอยู่ในขอบเขตที่โมเดลเก่าทำได้อยู่แล้ว คะแนน benchmark จึงอาจไม่สะท้อนผลิตภาพงานจริง บทความยอมรับว่า GitHub merge เป็นมาตรวัดผลิตภาพที่ไม่สมบูรณ์ แต่เรียกการแบนครั้งนี้ว่าเป็นโอกาสหายากในการทดสอบการสลับโมเดลภายใต้สภาพการทำงานจริง

สร้างจากรายงาน · อัปเดต 1 ชม. ที่แล้ว

ไทม์ไลน์รายงาน

ไล่ตามรายงานเพื่อดูเหตุการณ์นี้จากหลายด้าน

18 พฤศจิกายน
  1. Hacker News · AI
    งานวิจัยฮาร์วาร์ดพบการแบน Claude Fable แทบไม่เปลี่ยนอัตราการ merge ของนักพัฒนา

    งานวิจัยของฮาร์วาร์ดที่ติดตามผู้ใช้ Claude Fable 5 จำนวน 297 คนตลอดช่วงการแบน 19 วัน พบว่าการเข้าถึงโมเดลนี้เพิ่มสัดส่วน pull request ที่ถูก merge ภายในเจ็ดวันขึ้นเพียง 1.4 เปอร์เซ็นต์เท่านั้น ซึ่งเป็นความแตกต่างที่บทความระบุว่าไม่มีนัยสำคัญทางสถิติ จากการอัปเกรด Claude ห้าครั้งในปี 2026 ซึ่งครอบคลุมนักพัฒนา 1,208 คนและการส่งโค้ดมากกว่า 15,000 ครั้ง ไม่พบการเพิ่มขึ้นอย่างมีนัยสำคัญในอัตราการ merge หรือจำนวนการเปลี่ยนแปลงที่เสร็จสิ้นรายสัปดาห์ แม้ในกรณีที่คะแนน benchmark เพิ่มขึ้น 5 ถึง 18 คะแนน ผู้เขียนเสนอว่างานที่นักพัฒนามอบให้เอเจนต์นั้นอยู่ในขอบเขตที่โมเดลรุ่นเก่าสามารถทำได้อยู่แล้ว คะแนน benchmark จึงอาจไม่สะท้อนผลิตภาพในการทำงานจริง

ความร้อนแรงของเหตุการณ์นี้

ยังมีการเฝ้าดูต่อเนื่องไม่พอจะวาดแนวโน้ม