ผลทดสอบของ Surge AI พบว่า Claude รุ่นเล็กที่สุดมีผลงานเหนือกว่า GPT รุ่นใหญ่ที่สุดในการตัดสินใจด้านวิศวกรรมซอฟต์แวร์
The Smallest Claude Is a Better Software Engineer Than the Biggest GPT
Surge AI ประเมินโมเดลระดับแนวหน้า 5 รุ่นด้วย sudo L7 ซึ่งเป็นเกณฑ์มาตรฐานที่วัดพฤติกรรมวิศวกรรมระดับ staff โดยใช้ฐานโค้ดที่ได้รับอนุญาตจริง และโมเดล Claude ทุกรุ่นได้คะแนนสูงกว่า GPT รุ่นท็อป โดย Haiku เอาชนะ Astra และ Sol ทั้งสองตระกูลมีผลงานใกล้เคียงกันในด้านความถูกต้องเชิงฟังก์ชัน แต่ Claude เหนือกว่าในการชี้ข้อสมมติที่มีข้อบกพร่อง ความเสี่ยงที่ซ่อนอยู่ และผลกระทบของการเปลี่ยนแปลง เช่น การแคชยอดคงเหลือของลูกค้า หรือคำผิดใน Terraform ที่จะทำลายและสร้างโครงสร้างพื้นฐานใหม่ รายงานฉบับสมบูรณ์ของ Claude ยาวกว่าประมาณ 10 เท่า และแม้ GPT จะมีข้อกล่าวอ้างที่ไม่ถูกต้องรวมน้อยกว่า แต่กลับสร้างข้อความที่ไม่ถูกต้องต่อจำนวนคำมากกว่าประมาณ 4 เท่า Sol มีค่าใช้จ่าย $0.91 ต่องาน เทียบกับ Haiku ที่ $1.68
แหล่งข่าว:Hacker News · AI · surgehq.ai