Tới nội dung
Hacker News · AI·· 2 giờ trướcĐiểm AI64

Nghiên cứu của Harvard phát hiện lệnh cấm Claude Fable hầu như không thay đổi tỷ lệ hợp nhất của nhà phát triển

Downgrading from Claude Fable barely affected dev productivity during ban

Tóm tắt bằng AI

Một nghiên cứu của Harvard theo dõi 297 người dùng Claude Fable 5 trong suốt 19 ngày bị cấm đã phát hiện rằng việc có quyền truy cập vào mô hình chỉ làm tăng tỷ lệ pull request được hợp nhất trong vòng bảy ngày thêm 1,4 điểm phần trăm, một khác biệt mà bài báo gọi là không có ý nghĩa thống kê. Qua năm lần nâng cấp Claude trong năm 2026 bao gồm 1.208 nhà phát triển và hơn 15.000 lượt gửi mã, không có lợi ích đáng kể nào xuất hiện về tỷ lệ hợp nhất hoặc số thay đổi hoàn thành hàng tuần, ngay cả khi điểm chuẩn tăng từ 5 đến 18 điểm. Các tác giả cho rằng những nhiệm vụ mà nhà phát triển giao cho tác nhân vốn đã nằm trong khả năng của các mô hình cũ hơn, nên điểm chuẩn có thể không phản ánh năng suất làm việc thực tế.

Nguồn:Hacker News · AI · unite.ai