OpenAI รายงานว่าผลลัพธ์จาก coding agent ในงานวิจัย AI ยังไม่สม่ำเสมอ
เริ่มตรงนี้
OpenAI เผยแพร่ข้อมูลภายในเกี่ยวกับระดับการฝังตัวของ coding agent ในกระบวนการพัฒนาโมเดลของบริษัทเอง และระบุว่าประสิทธิภาพของ agent เหล่านี้ในงานวิจัยยังไม่สม่ำเสมอ ซึ่งเป็นรูปแบบที่บริษัทเรียกว่า "jagged frontier" บริษัทมองว่าผลลัพธ์นี้เกี่ยวข้องกับ recursive self-improvement ซึ่งเป็นกระบวนการที่ระบบ AI เร่งการพัฒนา AI ด้วยตัวเอง ตามตัวเลขที่เปิดเผย อัตราความสำเร็จโดยประมาณของ agent อัตโนมัติในงานที่ใช้เวลา 2–4 ชั่วโมงเพิ่มขึ้นจาก 23% เป็น 46% ระหว่างเดือนมีนาคมถึงตุลาคม แต่ agent ยังล้มเหลวบ่อยในงานที่ซับซ้อน โดยสำเร็จ 29% ในการสร้างสภาพแวดล้อมสำหรับการประเมินและ reinforcement learning และ 25% ในการเขียนโค้ด inference และ serving ที่ราคา API ตามรายการปกติ นักวิจัยระดับมัธยฐานจะใช้ token มูลค่า 2,400 ดอลลาร์ต่อวันในเดือนตุลาคม เพิ่มขึ้น 62% จากเดือนก่อนหน้า ขณะที่การใช้ agent ภายในคิดเป็นเพียง 2% ของคอมพิวต์วิจัยทั้งหมดของบริษัท ในการสำรวจภายในที่ไม่เป็นตัวแทนของพนักงาน 101 คน นักวิจัยระบุว่าที่ค่ามัธยฐาน พวกเขายินดีสละกำลังคนในทีม 40% หรือกำลังคอมพิวต์ 30% มากกว่าที่จะต้องอยู่โดยไม่มี coding agent ปัจจุบันเป็นเวลาสามเดือน OpenAI เตือนว่าข้อมูลจากความร่วมมือระหว่างมนุษย์กับ AI จนถึงขณะนี้อาจไม่สามารถ extrapolate แบบเชิงเส้นได้
สร้างจากรายงาน · อัปเดต 6 ชม. ที่แล้ว
ไทม์ไลน์รายงาน
ไล่ตามรายงานเพื่อดูเหตุการณ์นี้จากหลายด้าน
- The Decoderรายงานภายในระบุ นักวิจัย OpenAI ยอมเสียเพื่อนร่วมทีม 40% ดีกว่าละทิ้ง coding agent
7 วันทำงานต่อนักวิจัยหนึ่งคนต่อวันตามปฏิทิน อัตราความสำเร็จโดยประมาณของ autonomous agent ในงานที่ใช้เวลา 2-4 ชั่วโมงเพิ่มขึ้นจาก 23 เป็น 46 เปอร์เซ็นต์ระหว่างเดือนมีนาคมถึงตุลาคม แต่ agent ยังล้มเหลวบ่อยในงานที่ซับซ้อน โดยสำเร็จเพียง 29 เปอร์เซ็นต์ในการสร้างสภาพแวดล้อมสำหรับ evaluation และ reinforcement learning และ 25 เปอร์เซ็นต์ในการเขียนโค้ด inference และ serving
- OpenAI Newsการเร่งความเร็วงานวิจัยของ OpenAI: ชายแดนหยักของเอเจนต์เขียนโค้ดในงานวิจัย AI
OpenAI ได้วัดว่าเอเจนต์เขียนโค้ดเร่งความเร็วงานวิจัย AI ได้อย่างไร โดยพบว่าประสิทธิภาพยังคงไม่สม่ำเสมอ across งานต่างๆ งานชิ้นนี้ตรวจสอบว่าชายแดนหยักนี้ส่งสัญญาณอะไรเกี่ยวกับการปรับปรุงตนเองแบบเรียกซ้ำ
ความร้อนแรงของเหตุการณ์นี้
- ช่วงปัจจุบันที่เทียบได้
- 12
- จุดสูงสุดในช่วงที่เทียบได้
- 1419 พฤศจิกายน 22:00
- การเปลี่ยนแปลงใน 24 ชั่วโมง
- –
แนวโน้มนี้เปรียบเทียบผู้ร่วมพูดถึงชุดเดียวกันในช่วงเวลาที่เฝ้าดูต่อเนื่อง ช่วงจึงอาจแคบกว่าคะแนนความร้อนปัจจุบัน วางเมาส์หรือแตะกราฟเพื่อดูความร้อนรายชั่วโมง กดลูกศรเพื่อเลื่อนดู