ข้ามไปที่เนื้อหา
Hacker News · AI·· 14 ชม. ที่แล้วคะแนน AI38

การเปรียบเทียบเบนช์มาร์กของ Vals AI จัดอันดับโมเดล Claude, Gemini และ GPT ในงานด้านกฎหมาย การเงิน และการเขียนโค้ด

Vals AI – Compare AI models across real-world benchmarks

สรุปโดย AI

Vals AI เผยแพร่การเปรียบเทียบข้ามโมเดลบน Vals Index ซึ่งเป็นเบนช์มาร์กถ่วงน้ำหนักด้วย GDP ครอบคลุมด้านการเงิน การเขียนโค้ด กฎหมาย และภาษี โดยคะแนนสูงสุดกระจุกตัวอยู่ที่ 70.14%–71.31% โมเดลทั้งห้าที่เปรียบเทียบจาก Anthropic และ Google มีราคาอยู่ระหว่าง $2/$10 ถึง $8/$40 ต่อ 1M โทเคนอินพุต/เอาต์พุต ทั้งหมดมีหน้าต่างบริบท 1M ต้นทุนต่องานบน Vals Index อยู่ระหว่าง $7.405 ถึง $24.77

แหล่งข่าว:Hacker News · AI · vals.ai