NVIDIA NeMo Switchyard định tuyến các yêu cầu của coding agent tới các mô hình khác nhau trên Amazon Bedrock
Bắt đầu từ đây
NVIDIA đã phát hành NeMo Switchyard, một thư viện mã nguồn mở cho phép coding agent chọn mô hình nào xử lý mỗi yêu cầu. Theo AWS Machine Learning Blog, tích hợp LiteLLM của nó hỗ trợ Stage routing, chọn giữa hai mô hình ứng viên dựa trên hoạt động công cụ gần đây, và Random routing cho việc chia lưu lượng và kiểm thử A/B. Một mẫu triển khai LiteLLM với plugin Switchyard trên Amazon ECS Fargate thông qua AWS CDK, gọi các mô hình trên Amazon Bedrock và đo chi phí trên mỗi tác vụ được giải quyết so với các baseline một mô hình. Mẫu sử dụng switchyard-server 0.3.0 và image LiteLLM v1.102.0, và chỉ dành cho đánh giá phi sản xuất.
Tạo từ các bài viết · cập nhật 35 phút trước
Dòng thời gian bài viết
Theo các bài viết để thấy sự việc từ nhiều phía.
- AWS Machine Learning BlogĐịnh tuyến yêu cầu của coding agent đến đúng mô hình trên Amazon Bedrock với NVIDIA NeMo Switchyard
NVIDIA NeMo Switchyard, một thư viện mã nguồn mở, cho phép coding agent chọn mô hình nào xử lý từng yêu cầu, với tích hợp LiteLLM hỗ trợ Stage routing (chọn giữa hai mô hình ứng viên dựa trên hoạt động công cụ gần đây) và Random routing cho phân chia lưu lượng và kiểm thử A/B. Một mẫu triển khai LiteLLM với plugin Switchyard trên Amazon ECS Fargate thông qua AWS CDK, gọi các mô hình trên Amazon Bedrock, và đo chi phí trên mỗi tác vụ được giải quyết so với các baseline một mô hình. Mẫu sử dụng switchyard-server 0.3.0 và image LiteLLM v1.102.0, và chỉ dành cho đánh giá phi sản xuất.
Độ nóng của sự việc này
Chưa đủ quan sát liên tục để vẽ xu hướng.