AWS นำการกำหนดเส้นทาง inference ข้าม Region มาใช้ใน SageMaker AI
เริ่มตรงนี้
AWS เปิดตัวการกำหนดเส้นทาง inference ข้าม Region ใน Amazon SageMaker AI เป็นทรัพยากรเราเตอร์ inference ใหม่ที่มอบเส้นทางการเรียกใช้เดียวให้แอปพลิเคชันข้าม endpoint และ inference component ในหลาย AWS Region และหลายบัญชี เราเตอร์จะเลือกปลายทางใน Region ของตัวเองก่อน ย้ายคำขอใหม่ไปที่อื่นเมื่อปลายทางในพื้นที่ล้มเหลว ลองใหม่คำขอแบบเรียลไทม์เพียงครั้งเดียวหากโมเดลไม่ได้รัน และคืนปริมาณทราฟฟิกอย่างค่อยเป็นค่อยไปหลังการกู้คืน AWS ระบุว่าฟีเจอร์นี้พร้อมใช้งานทั่วไปใน Region เชิงพาณิชย์ส่วนใหญ่ ยกเว้น me-south-1 และ me-central-1 สำหรับ inference แบบเรียลไทม์และแบบอะซิงโครนัส โดยไม่คิดค่าใช้จ่ายเพิ่มเติมสำหรับการกำหนดเส้นทางเอง ลูกค้ายังคงจ่ายตามราคามาตรฐานของ SageMaker AI สำหรับ endpoint และ inference component ที่ให้บริการคำขอ และอัตรามาตรฐานของ CloudWatch สำหรับเมตริกของเราเตอร์ ไม่รองรับการสตรีมคำตอบ และคำขอแบบเรียลไทม์ต้องเสร็จสิ้นภายในประมาณหนึ่งนาที ลูกค้าสามารถจำกัดทราฟฟิกระยะไกลใน CrossRegionTrafficConfig ของ endpoint ปลายทางที่รับ เป็นอัตราคำขอต่ออินสแตนซ์และสัดส่วนสูงสุดของความจุ endpoint ที่ทราฟฟิกระยะไกลใช้ได้ ทราฟฟิกในพื้นที่ไม่นับรวมกับขีดจำกัดนี้ ทีม Agentforce Foundation ของ Salesforce ระบุว่าได้นำการกำหนดเส้นทางนี้มาใช้เพื่อให้บริการโมเดลภายในองค์กรและโมเดลโอเพนซอร์สข้ามกว่า 30 Region และหลายร้อยบัญชี AWS โดยวางไว้ใน Internal Gateway หลังการตรวจสอบถิ่นที่อยู่ของข้อมูล เพื่อให้คำขอที่ติดแท็กถิ่นที่อยู่ยังคงถูกตรึงไว้ที่ endpoint ใน Region ของตน
สร้างจากรายงาน · อัปเดต 44 นาทีที่แล้ว
ไทม์ไลน์รายงาน
ไล่ตามรายงานเพื่อดูเหตุการณ์นี้จากหลายด้าน
- AWS Machine Learning BlogAmazon SageMaker AI เปิดตัวการกำหนดเส้นทางการอนุมานข้ามภูมิภาคสำหรับเอนด์พอยต์และคอมโพเนนต์การอนุมาน
Amazon SageMaker AI เปิดตัวการกำหนดเส้นทางการอนุมานข้ามภูมิภาค ซึ่งเป็นรีซอร์สเราเตอร์การอนุมานใหม่ที่มอบเส้นทางการเรียกใช้เดียวให้แอปพลิเคชันครอบคลุมเอนด์พอยต์และคอมโพเนนต์การอนุมานในหลายภูมิภาคและหลายบัญชีของ AWS เราเตอร์จะเลือกปลายทางในภูมิภาคของตนเองก่อน เมื่อปลายทางในท้องถิ่นล้มเหลวจะย้ายคำขอใหม่ไปยังที่อื่น และจะลองใหม่คำขอแบบเรียลไทม์เพียงครั้งเดียวเฉพาะเมื่อโมเดลยังไม่ได้ทำงาน และจะคืนทราฟฟิกกลับมาทีละน้อยหลังการกู้คืน บริการนี้พร้อมใช้งานทั่วไปในภูมิภาคเชิงพาณิชย์ของ AWS ส่วนใหญ่ ยกเว้น me-south-1 และ me-central-1 โดยไม่มีการเรียกเก็บค่าใช้จ่ายเพิ่มเติมสำหรับการกำหนดเส้นทางเอง ไม่รองรับการสตรีมการตอบกลับ และคำขอแบบเรียลไทม์ต้องเสร็จสิ้นภายในประมาณหนึ่งนาที
- AWS Machine Learning BlogSalesforce ขยายการให้บริการโมเดลระดับโลกด้วยการกำหนดเส้นทาง inference ข้าม Region ใน Amazon SageMaker AI
ทีม Agentforce Foundation ของ Salesforce นำการกำหนดเส้นทาง inference ข้าม Region ใน Amazon SageMaker AI มาใช้เพื่อให้บริการโมเดลภายในองค์กรและโมเดลโอเพนซอร์สทั่วกว่า 30 Region ทั่วโลกและบัญชี AWS หลายร้อยบัญชี เราเตอร์จะส่งแต่ละคำขอไปยัง endpoint ที่สามารถให้บริการได้ โดยย้ายทราฟฟิกออกจากปลายทางที่ได้รับผลกระทบจากข้อผิดพลาด 5xx การถูกจำกัดอัตรา (throttle) และการหมดเวลา (timeout) ซึ่งโดยทั่วไปจะเริ่มภายในประมาณหนึ่งนาที Salesforce ผสานการทำงานนี้เข้ากับ Internal Gateway หลังจากการตรวจสอบถิ่นที่อยู่ของข้อมูล ดังนั้นคำขอที่ติดแท็กถิ่นที่อยู่จะยังคงถูกตรึงไว้ที่ endpoint ใน Region ของตน
ความร้อนแรงของเหตุการณ์นี้
- ช่วงปัจจุบันที่เทียบได้
- 10
- จุดสูงสุดในช่วงที่เทียบได้
- 1020 พฤศจิกายน 03:00
- การเปลี่ยนแปลงใน 24 ชั่วโมง
- –
แนวโน้มนี้เปรียบเทียบผู้ร่วมพูดถึงชุดเดียวกันในช่วงเวลาที่เฝ้าดูต่อเนื่อง ช่วงจึงอาจแคบกว่าคะแนนความร้อนปัจจุบัน วางเมาส์หรือแตะกราฟเพื่อดูความร้อนรายชั่วโมง กดลูกศรเพื่อเลื่อนดู