ข้ามไปที่เนื้อหา
เหตุการณ์ร้อนแรงกำลังพัฒนา

Surge AI benchmark: smallest Claude beats largest GPT on engineering judgment

1 รายงาน1 แหล่งข่าวที่รายงานอัปเดต 1 ชม. ที่แล้ว

เริ่มตรงนี้

ไดเจสต์ AI

Surge AI ประเมินโมเดล frontier ห้ารุ่นบน sudo L7 ซึ่งเป็น benchmark ของพฤติกรรมวิศวกรรมระดับ staff โดยใช้ codebase ที่ได้รับอนุญาตจริง และรายงานว่าโมเดล Claude ทุกรุ่นได้คะแนนสูงกว่าโมเดล GPT ชั้นนำ โดย Claude รุ่นเล็กที่สุด (Haiku) เอาชนะทั้ง Astra และ Sol โมเดลทั้งสองตระกูลมีผลงานใกล้เคียงกันในด้านความถูกต้องเชิงฟังก์ชัน แต่ Claude เหนือกว่าในการชี้ให้เห็นสมมติฐานที่บกพร่อง ความเสี่ยงที่ซ่อนอยู่ และผลกระทบของการเปลี่ยนแปลง เช่น การแคชยอดคงเหลือของลูกค้า หรือคำผิดใน Terraform ที่จะทำลายและสร้างโครงสร้างพื้นฐานใหม่ ตามข้อมูลของ Surge AI รายงานฉบับสุดท้ายของ Claude ยาวกว่าประมาณ 10 เท่า GPT มีข้อกล่าวอ้างที่ไม่ถูกต้องรวมน้อยกว่า แต่สร้างข้อความที่ไม่ถูกต้องต่อคำมากกว่าประมาณ 4 เท่า ในด้านต้นทุน Sol อยู่ที่ 0.91 ดอลลาร์ต่องาน เทียบกับ 1.68 ดอลลาร์สำหรับ Haiku

สร้างจากรายงาน · อัปเดต 45 นาทีที่แล้ว

ไทม์ไลน์รายงาน

ไล่ตามรายงานเพื่อดูเหตุการณ์นี้จากหลายด้าน

17 พฤศจิกายน
  1. Hacker News · AI
    ผลทดสอบของ Surge AI พบว่า Claude รุ่นเล็กที่สุดมีผลงานเหนือกว่า GPT รุ่นใหญ่ที่สุดในการตัดสินใจด้านวิศวกรรมซอฟต์แวร์

    Surge AI ประเมินโมเดลระดับแนวหน้า 5 รุ่นด้วย sudo L7 ซึ่งเป็นเกณฑ์มาตรฐานที่วัดพฤติกรรมวิศวกรรมระดับ staff โดยใช้ฐานโค้ดที่ได้รับอนุญาตจริง และโมเดล Claude ทุกรุ่นได้คะแนนสูงกว่า GPT รุ่นท็อป โดย Haiku เอาชนะ Astra และ Sol ทั้งสองตระกูลมีผลงานใกล้เคียงกันในด้านความถูกต้องเชิงฟังก์ชัน แต่ Claude เหนือกว่าในการชี้ข้อสมมติที่มีข้อบกพร่อง ความเสี่ยงที่ซ่อนอยู่ และผลกระทบของการเปลี่ยนแปลง เช่น การแคชยอดคงเหลือของลูกค้า หรือคำผิดใน Terraform ที่จะทำลายและสร้างโครงสร้างพื้นฐานใหม่ รายงานฉบับสมบูรณ์ของ Claude ยาวกว่าประมาณ 10 เท่า และแม้ GPT จะมีข้อกล่าวอ้างที่ไม่ถูกต้องรวมน้อยกว่า แต่กลับสร้างข้อความที่ไม่ถูกต้องต่อจำนวนคำมากกว่าประมาณ 4 เท่า Sol มีค่าใช้จ่าย $0.91 ต่องาน เทียบกับ Haiku ที่ $1.68

ความร้อนแรงของเหตุการณ์นี้

ยังมีการเฝ้าดูต่อเนื่องไม่พอจะวาดแนวโน้ม