Hacker News · AI·· 14 giờ trướcĐiểm AI38
So sánh chuẩn đánh giá Vals AI xếp hạng các mô hình Claude, Gemini và GPT trên các tác vụ pháp lý, tài chính và lập trình
Vals AI – Compare AI models across real-world benchmarks
Tóm tắt bằng AI
Vals AI đã công bố so sánh chéo giữa các mô hình trên Vals Index, một chuẩn đánh giá có trọng số GDP bao gồm tài chính, lập trình, pháp lý và thuế, với điểm số cao nhất tập trung trong khoảng 70,14%–71,31%. Năm mô hình được so sánh, từ Anthropic và Google, có giá từ $2/$10 đến $8/$40 cho mỗi 1M token đầu vào/đầu ra, tất cả đều có cửa sổ ngữ cảnh 1M. Chi phí mỗi tác vụ trên Vals Index dao động từ $7,405 đến $24,77.
Nguồn:Hacker News · AI · vals.ai