ข้ามไปที่เนื้อหา
AWS Machine Learning Blog· Dmitry Soldatkin·· 1 ชม. ที่แล้วคะแนน AI58

Amazon SageMaker AI เปิดตัวการกำหนดเส้นทางการอนุมานข้ามภูมิภาคสำหรับเอนด์พอยต์และคอมโพเนนต์การอนุมาน

Keep inference running through regional capacity shortfalls with cross-Region inference routing in Amazon SageMaker AI

สรุปโดย AI

Amazon SageMaker AI เปิดตัวการกำหนดเส้นทางการอนุมานข้ามภูมิภาค ซึ่งเป็นรีซอร์สเราเตอร์การอนุมานใหม่ที่มอบเส้นทางการเรียกใช้เดียวให้แอปพลิเคชันครอบคลุมเอนด์พอยต์และคอมโพเนนต์การอนุมานในหลายภูมิภาคและหลายบัญชีของ AWS เราเตอร์จะเลือกปลายทางในภูมิภาคของตนเองก่อน เมื่อปลายทางในท้องถิ่นล้มเหลวจะย้ายคำขอใหม่ไปยังที่อื่น และจะลองใหม่คำขอแบบเรียลไทม์เพียงครั้งเดียวเฉพาะเมื่อโมเดลยังไม่ได้ทำงาน และจะคืนทราฟฟิกกลับมาทีละน้อยหลังการกู้คืน บริการนี้พร้อมใช้งานทั่วไปในภูมิภาคเชิงพาณิชย์ของ AWS ส่วนใหญ่ ยกเว้น me-south-1 และ me-central-1 โดยไม่มีการเรียกเก็บค่าใช้จ่ายเพิ่มเติมสำหรับการกำหนดเส้นทางเอง ไม่รองรับการสตรีมการตอบกลับ และคำขอแบบเรียลไทม์ต้องเสร็จสิ้นภายในประมาณหนึ่งนาที

แหล่งข่าว:AWS Machine Learning Blog · aws.amazon.com