ข้ามไปที่เนื้อหา
เหตุการณ์ร้อนแรงกำลังพัฒนา

OpenAI รายงานว่าผลลัพธ์จาก coding agent ในงานวิจัย AI ยังไม่สม่ำเสมอ

2 รายงาน2 แหล่งข่าวที่รายงานอัปเดต 6 ชม. ที่แล้ว

เริ่มตรงนี้

ไดเจสต์ AI

OpenAI เผยแพร่ข้อมูลภายในเกี่ยวกับระดับการฝังตัวของ coding agent ในกระบวนการพัฒนาโมเดลของบริษัทเอง และระบุว่าประสิทธิภาพของ agent เหล่านี้ในงานวิจัยยังไม่สม่ำเสมอ ซึ่งเป็นรูปแบบที่บริษัทเรียกว่า "jagged frontier" บริษัทมองว่าผลลัพธ์นี้เกี่ยวข้องกับ recursive self-improvement ซึ่งเป็นกระบวนการที่ระบบ AI เร่งการพัฒนา AI ด้วยตัวเอง ตามตัวเลขที่เปิดเผย อัตราความสำเร็จโดยประมาณของ agent อัตโนมัติในงานที่ใช้เวลา 2–4 ชั่วโมงเพิ่มขึ้นจาก 23% เป็น 46% ระหว่างเดือนมีนาคมถึงตุลาคม แต่ agent ยังล้มเหลวบ่อยในงานที่ซับซ้อน โดยสำเร็จ 29% ในการสร้างสภาพแวดล้อมสำหรับการประเมินและ reinforcement learning และ 25% ในการเขียนโค้ด inference และ serving ที่ราคา API ตามรายการปกติ นักวิจัยระดับมัธยฐานจะใช้ token มูลค่า 2,400 ดอลลาร์ต่อวันในเดือนตุลาคม เพิ่มขึ้น 62% จากเดือนก่อนหน้า ขณะที่การใช้ agent ภายในคิดเป็นเพียง 2% ของคอมพิวต์วิจัยทั้งหมดของบริษัท ในการสำรวจภายในที่ไม่เป็นตัวแทนของพนักงาน 101 คน นักวิจัยระบุว่าที่ค่ามัธยฐาน พวกเขายินดีสละกำลังคนในทีม 40% หรือกำลังคอมพิวต์ 30% มากกว่าที่จะต้องอยู่โดยไม่มี coding agent ปัจจุบันเป็นเวลาสามเดือน OpenAI เตือนว่าข้อมูลจากความร่วมมือระหว่างมนุษย์กับ AI จนถึงขณะนี้อาจไม่สามารถ extrapolate แบบเชิงเส้นได้

สร้างจากรายงาน · อัปเดต 6 ชม. ที่แล้ว

ไทม์ไลน์รายงาน

ไล่ตามรายงานเพื่อดูเหตุการณ์นี้จากหลายด้าน

19 พฤศจิกายน
  1. The Decoder
    รายงานภายในระบุ นักวิจัย OpenAI ยอมเสียเพื่อนร่วมทีม 40% ดีกว่าละทิ้ง coding agent

    7 วันทำงานต่อนักวิจัยหนึ่งคนต่อวันตามปฏิทิน อัตราความสำเร็จโดยประมาณของ autonomous agent ในงานที่ใช้เวลา 2-4 ชั่วโมงเพิ่มขึ้นจาก 23 เป็น 46 เปอร์เซ็นต์ระหว่างเดือนมีนาคมถึงตุลาคม แต่ agent ยังล้มเหลวบ่อยในงานที่ซับซ้อน โดยสำเร็จเพียง 29 เปอร์เซ็นต์ในการสร้างสภาพแวดล้อมสำหรับ evaluation และ reinforcement learning และ 25 เปอร์เซ็นต์ในการเขียนโค้ด inference และ serving

18 พฤศจิกายน
  1. OpenAI News
    การเร่งความเร็วงานวิจัยของ OpenAI: ชายแดนหยักของเอเจนต์เขียนโค้ดในงานวิจัย AI

    OpenAI ได้วัดว่าเอเจนต์เขียนโค้ดเร่งความเร็วงานวิจัย AI ได้อย่างไร โดยพบว่าประสิทธิภาพยังคงไม่สม่ำเสมอ across งานต่างๆ งานชิ้นนี้ตรวจสอบว่าชายแดนหยักนี้ส่งสัญญาณอะไรเกี่ยวกับการปรับปรุงตนเองแบบเรียกซ้ำ

ความร้อนแรงของเหตุการณ์นี้

ช่วงปัจจุบันที่เทียบได้
12
จุดสูงสุดในช่วงที่เทียบได้
1419 พฤศจิกายน 22:00
การเปลี่ยนแปลงใน 24 ชั่วโมง
–

แนวโน้มนี้เปรียบเทียบผู้ร่วมพูดถึงชุดเดียวกันในช่วงเวลาที่เฝ้าดูต่อเนื่อง ช่วงจึงอาจแคบกว่าคะแนนความร้อนปัจจุบัน วางเมาส์หรือแตะกราฟเพื่อดูความร้อนรายชั่วโมง กดลูกศรเพื่อเลื่อนดู