Tới nội dung
Sự việc nóngĐang diễn ra

Nghiên cứu của Harvard phát hiện việc cấm Claude Fable 5 hầu như không ảnh hưởng đến tỷ lệ merge của lập trình viên

1 bài viết1 nguồn đưa tinCập nhật 1 giờ trước

Bắt đầu từ đây

Tóm tắt AI

Các nhà nghiên cứu Harvard phát hiện rằng việc mất quyền truy cập Claude Fable 5 trong 19 ngày cấm hầu như không thay đổi tần suất mã của lập trình viên được merge. Theo dõi 297 người dùng Fable 5 trước, trong và sau thời gian cấm và so sánh với 8.908 lập trình viên tiếp tục dùng Opus 4.8 cũ hơn, nghiên cứu đo tỷ lệ các thay đổi mã được gửi được chấp nhận vào các dự án GitHub trong vòng bảy ngày; quyền truy cập mô hình chỉ nâng tỷ lệ đó thêm 1,4 điểm phần trăm, một khác biệt mà bài báo gọi là không có ý nghĩa thống kê. Qua năm lần nâng cấp Claude trong năm 2026, bao gồm 1.208 lập trình viên và hơn 15.000 lượt gửi mã, các nhà nghiên cứu không tìm thấy mức tăng đáng kể nào về tỷ lệ merge hay số thay đổi hoàn thành hàng tuần, ngay cả khi điểm benchmark tăng 5 đến 18 điểm. Các tác giả cho rằng nhiệm vụ của lập trình viên vốn đã nằm trong khả năng của các mô hình cũ hơn, nên điểm benchmark có thể không phản ánh năng suất làm việc thực tế. Bài báo thừa nhận merge trên GitHub là một thước đo năng suất không hoàn hảo nhưng gọi đợt cấm là cơ hội hiếm có để kiểm tra việc chuyển đổi mô hình trong điều kiện làm việc thực tế.

Tạo từ các bài viết · cập nhật 1 giờ trước

Dòng thời gian bài viết

Theo các bài viết để thấy sự việc từ nhiều phía.

18 tháng 11
  1. Hacker News · AI
    Nghiên cứu của Harvard phát hiện lệnh cấm Claude Fable hầu như không thay đổi tỷ lệ hợp nhất của nhà phát triển

    Một nghiên cứu của Harvard theo dõi 297 người dùng Claude Fable 5 trong suốt 19 ngày bị cấm đã phát hiện rằng việc có quyền truy cập vào mô hình chỉ làm tăng tỷ lệ pull request được hợp nhất trong vòng bảy ngày thêm 1,4 điểm phần trăm, một khác biệt mà bài báo gọi là không có ý nghĩa thống kê. Qua năm lần nâng cấp Claude trong năm 2026 bao gồm 1.208 nhà phát triển và hơn 15.000 lượt gửi mã, không có lợi ích đáng kể nào xuất hiện về tỷ lệ hợp nhất hoặc số thay đổi hoàn thành hàng tuần, ngay cả khi điểm chuẩn tăng từ 5 đến 18 điểm. Các tác giả cho rằng những nhiệm vụ mà nhà phát triển giao cho tác nhân vốn đã nằm trong khả năng của các mô hình cũ hơn, nên điểm chuẩn có thể không phản ánh năng suất làm việc thực tế.

Độ nóng của sự việc này

Chưa đủ quan sát liên tục để vẽ xu hướng.