ข้ามไปที่เนื้อหา
Hacker News · AI·· 2 ชม. ที่แล้วคะแนน AI64

งานวิจัยฮาร์วาร์ดพบการแบน Claude Fable แทบไม่เปลี่ยนอัตราการ merge ของนักพัฒนา

Downgrading from Claude Fable barely affected dev productivity during ban

สรุปโดย AI

งานวิจัยของฮาร์วาร์ดที่ติดตามผู้ใช้ Claude Fable 5 จำนวน 297 คนตลอดช่วงการแบน 19 วัน พบว่าการเข้าถึงโมเดลนี้เพิ่มสัดส่วน pull request ที่ถูก merge ภายในเจ็ดวันขึ้นเพียง 1.4 เปอร์เซ็นต์เท่านั้น ซึ่งเป็นความแตกต่างที่บทความระบุว่าไม่มีนัยสำคัญทางสถิติ จากการอัปเกรด Claude ห้าครั้งในปี 2026 ซึ่งครอบคลุมนักพัฒนา 1,208 คนและการส่งโค้ดมากกว่า 15,000 ครั้ง ไม่พบการเพิ่มขึ้นอย่างมีนัยสำคัญในอัตราการ merge หรือจำนวนการเปลี่ยนแปลงที่เสร็จสิ้นรายสัปดาห์ แม้ในกรณีที่คะแนน benchmark เพิ่มขึ้น 5 ถึง 18 คะแนน ผู้เขียนเสนอว่างานที่นักพัฒนามอบให้เอเจนต์นั้นอยู่ในขอบเขตที่โมเดลรุ่นเก่าสามารถทำได้อยู่แล้ว คะแนน benchmark จึงอาจไม่สะท้อนผลิตภาพในการทำงานจริง

แหล่งข่าว:Hacker News · AI · unite.ai