งานศึกษา Meta ติดตามโค้ดที่ AI แนะนำใน 400K diffs
เริ่มตรงนี้
นักวิจัยของ Meta ร่วมกับ University of Tennessee และ Concordia University เผยแพร่งานศึกษาเชิงประจักษ์ขนาดใหญ่เกี่ยวกับโค้ดที่ AI ช่วยเขียนที่ Meta โดยใช้ข้อมูลจากนักพัฒนากว่า 10,000 คนและ 400,000 diffs งานศึกษานี้ติดตามโค้ดที่ AI แนะนำในระดับตัวอักษรตลอดกระบวนการแก้ไข การรีวิว และการนำขึ้นใช้งาน จากนั้นสร้างแบบจำลองว่าปัจจัยเชิงบริบทใดทำนายว่าโค้ด AI จะถูกนำขึ้นใช้งาน โค้ด AI ที่นำขึ้นใช้งานแล้วสัมพันธ์กับเวลารีวิวอย่างไร และมีความเชื่อมโยงกับเหตุขัดข้องในการผลิต (SEVs) อย่างไร โดยควบคุมตัวแปรรบกวนเชิงบริบท งานชิ้นนี้ถูกวางกรอบเป็นการวิเคราะห์ความสัมพันธ์มากกว่าการค้นพบเชิงสาเหตุ โดยตรวจสอบว่าโค้ด AI ที่นำขึ้นใช้งานแล้วสัมพันธ์กับเวลารีวิวและเหตุการณ์อย่างไร ไม่ใช่หรือไม่ว่าโค้ด AI เป็นสาเหตุของสิ่งเหล่านั้น นักวิจัยไม่ได้รายงานผลลัพธ์ใด ๆ ในคำอธิบายที่มีอยู่
สร้างจากรายงาน · อัปเดต
ไทม์ไลน์รายงาน
ไล่ตามรายงานเพื่อดูเหตุการณ์นี้จากหลายด้าน
- Hacker News · AIMeta วิเคราะห์นักพัฒนา 10K คนและ diff 400K รายการ: ผลกระทบของโค้ดที่สร้างโดย AI ต่อคุณภาพ ความเป็นศูนย์กลาง และเวลารีวิว
Meta ร่วมกับนักวิจัยจากมหาวิทยาลัยเทนเนสซีและมหาวิทยาลัยคองคอร์เดีย ติดตามที่มาของโค้ดที่ AI แนะนำในระดับอักขระ โดยอิงข้อมูลจากนักพัฒนากว่า 10K คนและ diff 400K รายการ เพื่อวิเคราะห์ความสัมพันธ์ระหว่างการนำไปใช้ เวลารีวิว และเหตุขัดข้องในการผลิต (SEV)
ความร้อนแรงของเหตุการณ์นี้
ยังมีการเฝ้าดูต่อเนื่องไม่พอจะวาดแนวโน้ม