งานวิจัยฮาร์วาร์ดพบการแบน Claude Fable แทบไม่เปลี่ยนอัตราการ merge ของนักพัฒนา
Downgrading from Claude Fable barely affected dev productivity during ban
งานวิจัยของฮาร์วาร์ดที่ติดตามผู้ใช้ Claude Fable 5 จำนวน 297 คนตลอดช่วงการแบน 19 วัน พบว่าการเข้าถึงโมเดลนี้เพิ่มสัดส่วน pull request ที่ถูก merge ภายในเจ็ดวันขึ้นเพียง 1.4 เปอร์เซ็นต์เท่านั้น ซึ่งเป็นความแตกต่างที่บทความระบุว่าไม่มีนัยสำคัญทางสถิติ จากการอัปเกรด Claude ห้าครั้งในปี 2026 ซึ่งครอบคลุมนักพัฒนา 1,208 คนและการส่งโค้ดมากกว่า 15,000 ครั้ง ไม่พบการเพิ่มขึ้นอย่างมีนัยสำคัญในอัตราการ merge หรือจำนวนการเปลี่ยนแปลงที่เสร็จสิ้นรายสัปดาห์ แม้ในกรณีที่คะแนน benchmark เพิ่มขึ้น 5 ถึง 18 คะแนน ผู้เขียนเสนอว่างานที่นักพัฒนามอบให้เอเจนต์นั้นอยู่ในขอบเขตที่โมเดลรุ่นเก่าสามารถทำได้อยู่แล้ว คะแนน benchmark จึงอาจไม่สะท้อนผลิตภาพในการทำงานจริง
แหล่งข่าว:Hacker News · AI · unite.ai