AWS Machine Learning Blog· Aswath Ram A Srinivasan·· 2 小時前AI 評分38
在 Amazon Bedrock 上使用 NVIDIA NeMo Switchyard 將編碼代理請求路由到正確的模型
Route coding agent requests to the right model on Amazon Bedrock with NVIDIA NeMo Switchyard
AI 導讀
NVIDIA NeMo Switchyard 是一個開源函式庫，可讓編碼代理選擇由哪個模型處理每個請求，並透過 LiteLLM 整合支援 Stage 路由（根據最近的工具活動在兩個候選模型之間選擇）以及用於流量拆分和 A/B 測試的 Random 路由。一個範例透過 AWS CDK 在 Amazon ECS Fargate 上部署帶有 Switchyard 外掛的 LiteLLM，呼叫 Amazon Bedrock 上的模型，並衡量每個已解決任務的成本，與單一模型基準進行比較。此範例使用 switchyard-server 0.3.0 和 LiteLLM v1.102.0 映像，僅供非生產環境評估使用。
來源:AWS Machine Learning Blog · aws.amazon.com