AWS ra mắt Bảng xếp hạng Mô hình SageMaker JumpStart
Bắt đầu từ đây
AWS đã ra mắt Bảng xếp hạng Mô hình Amazon SageMaker JumpStart trong SageMaker Studio, cho phép người dùng so sánh song song các mô hình JumpStart về chất lượng, tốc độ và chi phí. Bảng xếp hạng báo cáo điểm số do AWS thực hiện trên BIG-Bench Hard, GPQA Diamond và MMLU-Pro, cùng với thời gian đến token đầu tiên, thông lượng và chi phí instance được đo lường. Khi ra mắt, bảng xếp hạng bao gồm hơn 70 mô hình từ các nhà cung cấp bao gồm Meta, Google, Qwen, IBM và Arcee, với nhiều mô hình sẽ được bổ sung theo thời gian. Không phải mọi mô hình JumpStart đều đã có điểm chuẩn, và các điểm chuẩn khi ra mắt tập trung vào LLM. Chi phí ước tính chỉ phản ánh chi phí instance SageMaker, dựa trên mức giá theo giờ theo yêu cầu cho loại instance mặc định của cấu hình. Sử dụng bảng xếp hạng yêu cầu quyền truy cập vào SageMaker Studio và quyền triển khai các mô hình JumpStart.
Tạo từ các bài viết · cập nhật 20 giờ trước
Dòng thời gian bài viết
Theo các bài viết để thấy sự việc từ nhiều phía.
- AWS Machine Learning BlogBảng xếp hạng mô hình Amazon SageMaker JumpStart ra mắt trong SageMaker Studio
AWS đã ra mắt Bảng xếp hạng mô hình Amazon SageMaker JumpStart trong SageMaker Studio, cho phép người dùng so sánh song song các mô hình JumpStart về chất lượng, tốc độ và chi phí. Bảng này báo cáo điểm số do AWS chạy trên BIG-Bench Hard, GPQA Diamond và MMLU-Pro, cùng với thời gian đến token đầu tiên, thông lượng và chi phí instance được đo lường. Khi ra mắt, bảng bao gồm hơn 70 mô hình từ các nhà cung cấp bao gồm Meta, Google, Qwen, IBM và Arcee.
Độ nóng của sự việc này
- Hiện tại, trong khoảng so sánh được
- 6
- Đỉnh, trong khoảng so sánh được
- 1019 tháng 11 08:00
- Thay đổi trong 24 giờ
- –
Xu hướng so sánh cùng một nhóm người tham gia trong những giờ được quan sát liên tục, nên khoảng của nó có thể hẹp hơn số độ nóng hiện tại. Rê chuột hoặc chạm vào biểu đồ để xem độ nóng theo giờ; các phím mũi tên di chuyển qua biểu đồ.