Nghiên cứu của Meta theo dõi mã do AI gợi ý trên 400K diff
Bắt đầu từ đây
Các nhà nghiên cứu Meta, phối hợp với Đại học Tennessee và Đại học Concordia, đã công bố một nghiên cứu thực nghiệm quy mô lớn về mã do AI hỗ trợ tại Meta, sử dụng dữ liệu từ hơn 10.000 lập trình viên và 400.000 diff. Nghiên cứu theo dõi mã do AI gợi ý ở cấp độ ký tự qua quá trình chỉnh sửa, đánh giá và hợp nhất, sau đó mô hình hóa những yếu tố ngữ cảnh nào dự báo việc mã AI được hợp nhất, mã AI đã hợp nhất liên quan thế nào đến thời gian đánh giá, và mối liên hệ của nó với các sự cố gián đoạn sản xuất (SEV), trong khi kiểm soát các yếu tố gây nhiễu ngữ cảnh. Công trình được định khung là phân tích tương quan chứ không phải kết luận nhân quả: nó xem xét mã AI đã hợp nhất tương quan với thời gian đánh giá và sự cố như thế nào, chứ không phải liệu mã AI có gây ra chúng hay không. Các nhà nghiên cứu không báo cáo kết quả nào trong phần mô tả hiện có.
Tạo từ các bài viết · cập nhật
Dòng thời gian bài viết
Theo các bài viết để thấy sự việc từ nhiều phía.
- Hacker News · AIMeta phân tích 10K nhà phát triển và 400K diff: ảnh hưởng của mã do AI tạo ra đối với chất lượng, tính trung tâm và thời gian đánh giá
Meta phối hợp với các nhà nghiên cứu từ Đại học Tennessee và Đại học Concordia, dựa trên dữ liệu từ hơn 10K nhà phát triển và 400K diff, thực hiện truy vết ở cấp độ ký tự đối với mã do AI đề xuất, phân tích mối quan hệ giữa việc đưa vào sử dụng, thời gian đánh giá và sự cố sản xuất (SEV).
Độ nóng của sự việc này
Chưa đủ quan sát liên tục để vẽ xu hướng.