AWS เปิดตัว SageMaker JumpStart Model Leaderboard
เริ่มตรงนี้
AWS เปิดตัว Amazon SageMaker JumpStart Model Leaderboard ภายใน SageMaker Studio ให้ผู้ใช้เปรียบเทียบโมเดล JumpStart แบบเคียงข้างกันในด้านคุณภาพ ความเร็ว และค่าใช้จ่าย โดย Leaderboard รายงานคะแนนที่ AWS วัดได้บน BIG-Bench Hard, GPQA Diamond และ MMLU-Pro พร้อมกับเวลาถึงโทเคนแรก (time to first token) ปริมาณงาน (throughput) และค่าใช้จ่ายของอินสแตนซ์ที่วัดได้ ในวันเปิดตัวครอบคลุมโมเดลกว่า 70 รุ่นจากผู้ให้บริการ包括 Meta, Google, Qwen, IBM และ Arcee โดยจะมีเพิ่มเติมในภายหลัง ไม่ใช่ทุกโมเดล JumpStart ที่มีคะแนน benchmark ในขณะนี้ และ benchmark ที่เปิดตัวมุ่งเน้นไปที่ LLM ค่าใช้จ่ายโดยประมาณสะท้อนเฉพาะค่าใช้จ่ายอินสแตนซ์ของ SageMaker ตามอัตรารายชั่วโมงแบบ on-demand สำหรับประเภทอินสแตนซ์เริ่มต้นของการกำหนดค่า การใช้ Leaderboard ต้องมีสิทธิ์เข้าถึง SageMaker Studio และสิทธิ์ในการ deploy โมเดล JumpStart
สร้างจากรายงาน · อัปเดต 20 ชม. ที่แล้ว
ไทม์ไลน์รายงาน
ไล่ตามรายงานเพื่อดูเหตุการณ์นี้จากหลายด้าน
- AWS Machine Learning Blogกระดานผู้นำโมเดล Amazon SageMaker JumpStart เปิดตัวใน SageMaker Studio
AWS เปิดตัวกระดานผู้นำโมเดล Amazon SageMaker JumpStart ใน SageMaker Studio ให้ผู้ใช้เปรียบเทียบโมเดล JumpStart แบบเคียงข้างกันในด้านคุณภาพ ความเร็ว และค่าใช้จ่าย โดยรายงานคะแนนที่ AWS วัดเองบน BIG-Bench Hard, GPQA Diamond และ MMLU-Pro พร้อมเวลาถึงโทเคนแรก ปริมาณงานต่อหน่วยเวลา และค่าใช้จ่ายของอินสแตนซ์ที่วัดได้ เปิดตัวพร้อมโมเดลกว่า 70 รุ่นจากผู้ให้บริการ包括 Meta, Google, Qwen, IBM และ Arcee
ความร้อนแรงของเหตุการณ์นี้
- ช่วงปัจจุบันที่เทียบได้
- 6
- จุดสูงสุดในช่วงที่เทียบได้
- 1019 พฤศจิกายน 08:00
- การเปลี่ยนแปลงใน 24 ชั่วโมง
- –
แนวโน้มนี้เปรียบเทียบผู้ร่วมพูดถึงชุดเดียวกันในช่วงเวลาที่เฝ้าดูต่อเนื่อง ช่วงจึงอาจแคบกว่าคะแนนความร้อนปัจจุบัน วางเมาส์หรือแตะกราฟเพื่อดูความร้อนรายชั่วโมง กดลูกศรเพื่อเลื่อนดู