Bitdepth พบว่าโมเดลโอเพนซอร์สถูกกว่า 95.7% สำหรับงาน AI ประจำวัน
เริ่มตรงนี้
Bitdepth ทดลองรันงานเอเจนต์ AI ประจำวัน 5 งานบน Claude Sonnet 5.5 และบนโมเดลโอเพนซอร์ส gpt-oss-120b กับ DeepSeek V4 Pro และรายงานว่าหนึ่งเดือนของงานดังกล่าวจะมีค่าใช้จ่าย 258.53 ดอลลาร์บน Claude Sonnet 5.5 เทียบกับ 11.04 ดอลลาร์เมื่อใช้การตั้งค่าที่ถูกที่สุดที่ตอบทุกงานได้อย่างถูกต้อง ลดลง 95.7% การทดสอบทั้งหมดมีค่าใช้จ่าย 1.29 ดอลลาร์ สี่ในห้างานรันบนโมเดลโอเพนซอร์สโดยไม่มีคำตอบผิด ส่วนงานที่ห้า ซึ่งเป็นการสรุปกล่องจดหมายเข้าล้มเหลวบนโมเดลโอเพนซอร์สทั้งสองและถูกเก็บไว้บน Claude Sonnet 5.5 งานเหล่านี้เป็นงานสมมติที่เรียกครั้งเดียวและให้คะแนนคำตอบด้วยโค้ด โดยปล่อยแคชไว้ที่ค่าเริ่มต้นของแต่ละโฮสต์ Bitdepth ระบุว่ากลุ่มตัวอย่างมีขนาดเล็กและเอเจนต์จริงเรียกต่อกันเป็นลูกโซ่พร้อมประวัติที่ยาวกว่า ช่องว่างดังกล่าวอาจไม่ส่งต่อไปถึงการใช้งานจริง
สร้างจากรายงาน · อัปเดต 2 ชม. ที่แล้ว
ไทม์ไลน์รายงาน
ไล่ตามรายงานเพื่อดูเหตุการณ์นี้จากหลายด้าน
- Hacker News · AIBitdepth ทดสอบงานเอเจนต์routine 5 งาน: $258.53 บน Claude Sonnet 5.5 เทียบกับ $11.04 บนโมเดลเปิด
Bitdepth รันงานเอเจนต์routine 5 งานบน Claude Sonnet 5.5 และบน gpt-oss-120b กับ DeepSeek V4 Pro พบว่างานหนึ่งเดือนมีค่าใช้จ่าย $258.53 บน Claude Sonnet 5.5 เทียบกับ $11.04 เมื่อใช้การตั้งค่าที่ถูกที่สุดที่ตอบถูกทุกข้อ ลดลง 95.7% สี่ในห้างานย้ายได้โดยไม่มีคำตอบผิด ขณะที่ inbox digest ล้มเหลวบนโมเดลเปิดทั้งสองและถูกเก็บไว้บน Claude Sonnet 5.5 การทดสอบใช้ job แบบสมมติที่เรียกครั้งเดียวพร้อมคำตอบที่ตรวจด้วยโค้ด และผู้เขียนระบุว่าตัวอย่างมีขนาดเล็กและเอเจนต์จริงเรียกต่อกันเป็นลูกโซ่ด้วยประวัติที่ยาวกว่า
ความร้อนแรงของเหตุการณ์นี้
ยังมีการเฝ้าดูต่อเนื่องไม่พอจะวาดแนวโน้ม