Vals AI Benchmark xếp hạng các mô hình Claude, Gemini và GPT
Bắt đầu từ đây
Vals AI đã công bố so sánh giữa các mô hình trên Vals Index, một benchmark có trọng số GDP bao gồm các tác vụ tài chính, lập trình, pháp lý và thuế. Điểm số cao nhất tập trung trong khoảng 70,14% đến 71,31%, với năm mô hình được so sánh từ Anthropic và Google có giá từ $2/$10 đến $8/$40 cho mỗi 1M token đầu vào/đầu ra, tất cả đều cung cấp cửa sổ ngữ cảnh 1M. Theo so sánh, chi phí mỗi tác vụ trên Vals Index dao động từ $7,405 đến $24,77. Chỉ số này tổng hợp hiệu suất trên bốn lĩnh vực tác vụ thành một điểm số có trọng số duy nhất.
Tạo từ các bài viết · cập nhật 14 giờ trước
Dòng thời gian bài viết
Theo các bài viết để thấy sự việc từ nhiều phía.
- Hacker News · AISo sánh chuẩn đánh giá Vals AI xếp hạng các mô hình Claude, Gemini và GPT trên các tác vụ pháp lý, tài chính và lập trình
Vals AI đã công bố so sánh chéo giữa các mô hình trên Vals Index, một chuẩn đánh giá có trọng số GDP bao gồm tài chính, lập trình, pháp lý và thuế, với điểm số cao nhất tập trung trong khoảng 70,14%–71,31%. Năm mô hình được so sánh, từ Anthropic và Google, có giá từ $2/$10 đến $8/$40 cho mỗi 1M token đầu vào/đầu ra, tất cả đều có cửa sổ ngữ cảnh 1M. Chi phí mỗi tác vụ trên Vals Index dao động từ $7,405 đến $24,77.
Độ nóng của sự việc này
- Hiện tại, trong khoảng so sánh được
- 7
- Đỉnh, trong khoảng so sánh được
- 1019 tháng 11 14:00
- Thay đổi trong 24 giờ
- –
Xu hướng so sánh cùng một nhóm người tham gia trong những giờ được quan sát liên tục, nên khoảng của nó có thể hẹp hơn số độ nóng hiện tại. Rê chuột hoặc chạm vào biểu đồ để xem độ nóng theo giờ; các phím mũi tên di chuyển qua biểu đồ.