NVIDIA NeMo Switchyard จัดเส้นทางคำขอของ coding agent ไปยังโมเดลต่างๆ บน Amazon Bedrock
เริ่มตรงนี้
NVIDIA เปิดตัว NeMo Switchyard ไลบรารีโอเพนซอร์สที่ให้ coding agent เลือกได้ว่าโมเดลใดจะจัดการแต่ละคำขอ ตาม AWS Machine Learning Blog การผสานรวมกับ LiteLLM รองรับ Stage routing ซึ่งเลือกระหว่างโมเดลตัวเลือกสองตัวโดยอิงจากกิจกรรมการใช้เครื่องมือล่าสุด และ Random routing สำหรับการแบ่งทราฟฟิกและการทดสอบ A/B ตัวอย่างหนึ่งติดตั้ง LiteLLM พร้อมปลั๊กอิน Switchyard บน Amazon ECS Fargate ผ่าน AWS CDK เรียกใช้โมเดลบน Amazon Bedrock และวัดต้นทุนต่องานที่แก้ไขสำเร็จเทียบกับฐานเส้นเดียว (single-model baselines) ตัวอย่างนี้ใช้ switchyard-server 0.3.0 และอิมเมจ LiteLLM v1.102.0 และมีไว้สำหรับการประเมินที่ไม่ใช่โปรดักชันเท่านั้น
สร้างจากรายงาน · อัปเดต 35 นาทีที่แล้ว
ไทม์ไลน์รายงาน
ไล่ตามรายงานเพื่อดูเหตุการณ์นี้จากหลายด้าน
- AWS Machine Learning Blogการกำหนดเส้นทางคำขอของเอเจนต์เขียนโค้ดไปยังโมเดลที่เหมาะสมบน Amazon Bedrock ด้วย NVIDIA NeMo Switchyard
NVIDIA NeMo Switchyard ซึ่งเป็นไลบรารีโอเพนซอร์ส ช่วยให้เอเจนต์เขียนโค้ดเลือกได้ว่าโมเดลใดจะจัดการแต่ละคำขอ โดยมีการผสานรวมกับ LiteLLM ที่รองรับ Stage routing (เลือกจากโมเดลตัวเลือกสองตัวตามกิจกรรมการใช้เครื่องมือล่าสุด) และ Random routing สำหรับการแบ่งทราฟฟิกและการทดสอบ A/B ตัวอย่างหนึ่งจะติดตั้ง LiteLLM พร้อมปลั๊กอิน Switchyard บน Amazon ECS Fargate ผ่าน AWS CDK เรียกใช้โมเดลบน Amazon Bedrock และวัดต้นทุนต่องานที่แก้ไขสำเร็จเทียบกับฐานเส้นเดียวของโมเดลเดียว ตัวอย่างนี้ใช้ switchyard-server 0.3.0 และอิมเมจ LiteLLM v1.102.0 และมีไว้สำหรับการประเมินที่ไม่ใช่โปรดักชันเท่านั้น
ความร้อนแรงของเหตุการณ์นี้
ยังมีการเฝ้าดูต่อเนื่องไม่พอจะวาดแนวโน้ม