Salesforce ขยายการให้บริการโมเดลระดับโลกด้วยการกำหนดเส้นทาง inference ข้าม Region ใน Amazon SageMaker AI
How Salesforce is advancing global-scale model serving with cross-Region inference routing in Amazon SageMaker AI
ทีม Agentforce Foundation ของ Salesforce นำการกำหนดเส้นทาง inference ข้าม Region ใน Amazon SageMaker AI มาใช้เพื่อให้บริการโมเดลภายในองค์กรและโมเดลโอเพนซอร์สทั่วกว่า 30 Region ทั่วโลกและบัญชี AWS หลายร้อยบัญชี เราเตอร์จะส่งแต่ละคำขอไปยัง endpoint ที่สามารถให้บริการได้ โดยย้ายทราฟฟิกออกจากปลายทางที่ได้รับผลกระทบจากข้อผิดพลาด 5xx การถูกจำกัดอัตรา (throttle) และการหมดเวลา (timeout) ซึ่งโดยทั่วไปจะเริ่มภายในประมาณหนึ่งนาที Salesforce ผสานการทำงานนี้เข้ากับ Internal Gateway หลังจากการตรวจสอบถิ่นที่อยู่ของข้อมูล ดังนั้นคำขอที่ติดแท็กถิ่นที่อยู่จะยังคงถูกตรึงไว้ที่ endpoint ใน Region ของตน
แหล่งข่าว:AWS Machine Learning Blog · aws.amazon.com