Định tuyến yêu cầu của coding agent đến đúng mô hình trên Amazon Bedrock với NVIDIA NeMo Switchyard

NVIDIA NeMo Switchyard, một thư viện mã nguồn mở, cho phép coding agent chọn mô hình nào xử lý từng yêu cầu, với tích hợp LiteLLM hỗ trợ Stage routing (chọn giữa hai mô hình ứng viên dựa trên hoạt động công cụ gần đây) và Random routing cho phân chia lưu lượng và kiểm thử A/B. Một mẫu triển khai LiteLLM với plugin Switchyard trên Amazon ECS Fargate thông qua AWS CDK, gọi các mô hình trên Amazon Bedrock, và đo chi phí trên mỗi tác vụ được giải quyết so với các baseline một mô hình. Mẫu sử dụng switchyard-server 0.3.0 và image LiteLLM v1.102.0, và chỉ dành cho đánh giá phi sản xuất.