AWS Machine Learning Blog· Aswath Ram A Srinivasan·· 2 ชม. ที่แล้วคะแนน AI38
การกำหนดเส้นทางคำขอของเอเจนต์เขียนโค้ดไปยังโมเดลที่เหมาะสมบน Amazon Bedrock ด้วย NVIDIA NeMo Switchyard
Route coding agent requests to the right model on Amazon Bedrock with NVIDIA NeMo Switchyard
สรุปโดย AI
NVIDIA NeMo Switchyard ซึ่งเป็นไลบรารีโอเพนซอร์ส ช่วยให้เอเจนต์เขียนโค้ดเลือกได้ว่าโมเดลใดจะจัดการแต่ละคำขอ โดยมีการผสานรวมกับ LiteLLM ที่รองรับ Stage routing (เลือกจากโมเดลตัวเลือกสองตัวตามกิจกรรมการใช้เครื่องมือล่าสุด) และ Random routing สำหรับการแบ่งทราฟฟิกและการทดสอบ A/B ตัวอย่างหนึ่งจะติดตั้ง LiteLLM พร้อมปลั๊กอิน Switchyard บน Amazon ECS Fargate ผ่าน AWS CDK เรียกใช้โมเดลบน Amazon Bedrock และวัดต้นทุนต่องานที่แก้ไขสำเร็จเทียบกับฐานเส้นเดียวของโมเดลเดียว ตัวอย่างนี้ใช้ switchyard-server 0.3.0 และอิมเมจ LiteLLM v1.102.0 และมีไว้สำหรับการประเมินที่ไม่ใช่โปรดักชันเท่านั้น
แหล่งข่าว:AWS Machine Learning Blog · aws.amazon.com