ข้ามไปที่เนื้อหา
เหตุการณ์ร้อนแรงกำลังพัฒนา

AWS นำการกำหนดเส้นทาง inference ข้าม Region มาใช้ใน SageMaker AI

2 รายงาน1 แหล่งข่าวที่รายงานอัปเดต 53 นาทีที่แล้ว

เริ่มตรงนี้

ไดเจสต์ AI

AWS เปิดตัวการกำหนดเส้นทาง inference ข้าม Region ใน Amazon SageMaker AI เป็นทรัพยากรเราเตอร์ inference ใหม่ที่มอบเส้นทางการเรียกใช้เดียวให้แอปพลิเคชันข้าม endpoint และ inference component ในหลาย AWS Region และหลายบัญชี เราเตอร์จะเลือกปลายทางใน Region ของตัวเองก่อน ย้ายคำขอใหม่ไปที่อื่นเมื่อปลายทางในพื้นที่ล้มเหลว ลองใหม่คำขอแบบเรียลไทม์เพียงครั้งเดียวหากโมเดลไม่ได้รัน และคืนปริมาณทราฟฟิกอย่างค่อยเป็นค่อยไปหลังการกู้คืน AWS ระบุว่าฟีเจอร์นี้พร้อมใช้งานทั่วไปใน Region เชิงพาณิชย์ส่วนใหญ่ ยกเว้น me-south-1 และ me-central-1 สำหรับ inference แบบเรียลไทม์และแบบอะซิงโครนัส โดยไม่คิดค่าใช้จ่ายเพิ่มเติมสำหรับการกำหนดเส้นทางเอง ลูกค้ายังคงจ่ายตามราคามาตรฐานของ SageMaker AI สำหรับ endpoint และ inference component ที่ให้บริการคำขอ และอัตรามาตรฐานของ CloudWatch สำหรับเมตริกของเราเตอร์ ไม่รองรับการสตรีมคำตอบ และคำขอแบบเรียลไทม์ต้องเสร็จสิ้นภายในประมาณหนึ่งนาที ลูกค้าสามารถจำกัดทราฟฟิกระยะไกลใน CrossRegionTrafficConfig ของ endpoint ปลายทางที่รับ เป็นอัตราคำขอต่ออินสแตนซ์และสัดส่วนสูงสุดของความจุ endpoint ที่ทราฟฟิกระยะไกลใช้ได้ ทราฟฟิกในพื้นที่ไม่นับรวมกับขีดจำกัดนี้ ทีม Agentforce Foundation ของ Salesforce ระบุว่าได้นำการกำหนดเส้นทางนี้มาใช้เพื่อให้บริการโมเดลภายในองค์กรและโมเดลโอเพนซอร์สข้ามกว่า 30 Region และหลายร้อยบัญชี AWS โดยวางไว้ใน Internal Gateway หลังการตรวจสอบถิ่นที่อยู่ของข้อมูล เพื่อให้คำขอที่ติดแท็กถิ่นที่อยู่ยังคงถูกตรึงไว้ที่ endpoint ใน Region ของตน

สร้างจากรายงาน · อัปเดต 44 นาทีที่แล้ว

ไทม์ไลน์รายงาน

ไล่ตามรายงานเพื่อดูเหตุการณ์นี้จากหลายด้าน

20 พฤศจิกายน
  1. AWS Machine Learning Blog
    Amazon SageMaker AI เปิดตัวการกำหนดเส้นทางการอนุมานข้ามภูมิภาคสำหรับเอนด์พอยต์และคอมโพเนนต์การอนุมาน

    Amazon SageMaker AI เปิดตัวการกำหนดเส้นทางการอนุมานข้ามภูมิภาค ซึ่งเป็นรีซอร์สเราเตอร์การอนุมานใหม่ที่มอบเส้นทางการเรียกใช้เดียวให้แอปพลิเคชันครอบคลุมเอนด์พอยต์และคอมโพเนนต์การอนุมานในหลายภูมิภาคและหลายบัญชีของ AWS เราเตอร์จะเลือกปลายทางในภูมิภาคของตนเองก่อน เมื่อปลายทางในท้องถิ่นล้มเหลวจะย้ายคำขอใหม่ไปยังที่อื่น และจะลองใหม่คำขอแบบเรียลไทม์เพียงครั้งเดียวเฉพาะเมื่อโมเดลยังไม่ได้ทำงาน และจะคืนทราฟฟิกกลับมาทีละน้อยหลังการกู้คืน บริการนี้พร้อมใช้งานทั่วไปในภูมิภาคเชิงพาณิชย์ของ AWS ส่วนใหญ่ ยกเว้น me-south-1 และ me-central-1 โดยไม่มีการเรียกเก็บค่าใช้จ่ายเพิ่มเติมสำหรับการกำหนดเส้นทางเอง ไม่รองรับการสตรีมการตอบกลับ และคำขอแบบเรียลไทม์ต้องเสร็จสิ้นภายในประมาณหนึ่งนาที

19 พฤศจิกายน
  1. AWS Machine Learning Blog
    Salesforce ขยายการให้บริการโมเดลระดับโลกด้วยการกำหนดเส้นทาง inference ข้าม Region ใน Amazon SageMaker AI

    ทีม Agentforce Foundation ของ Salesforce นำการกำหนดเส้นทาง inference ข้าม Region ใน Amazon SageMaker AI มาใช้เพื่อให้บริการโมเดลภายในองค์กรและโมเดลโอเพนซอร์สทั่วกว่า 30 Region ทั่วโลกและบัญชี AWS หลายร้อยบัญชี เราเตอร์จะส่งแต่ละคำขอไปยัง endpoint ที่สามารถให้บริการได้ โดยย้ายทราฟฟิกออกจากปลายทางที่ได้รับผลกระทบจากข้อผิดพลาด 5xx การถูกจำกัดอัตรา (throttle) และการหมดเวลา (timeout) ซึ่งโดยทั่วไปจะเริ่มภายในประมาณหนึ่งนาที Salesforce ผสานการทำงานนี้เข้ากับ Internal Gateway หลังจากการตรวจสอบถิ่นที่อยู่ของข้อมูล ดังนั้นคำขอที่ติดแท็กถิ่นที่อยู่จะยังคงถูกตรึงไว้ที่ endpoint ใน Region ของตน

ความร้อนแรงของเหตุการณ์นี้

ช่วงปัจจุบันที่เทียบได้
10
จุดสูงสุดในช่วงที่เทียบได้
1020 พฤศจิกายน 03:00
การเปลี่ยนแปลงใน 24 ชั่วโมง
–

แนวโน้มนี้เปรียบเทียบผู้ร่วมพูดถึงชุดเดียวกันในช่วงเวลาที่เฝ้าดูต่อเนื่อง ช่วงจึงอาจแคบกว่าคะแนนความร้อนปัจจุบัน วางเมาส์หรือแตะกราฟเพื่อดูความร้อนรายชั่วโมง กดลูกศรเพื่อเลื่อนดู