NVIDIA NeMo Switchyard 在 Amazon Bedrock 上將編碼代理請求路由至不同模型
熱點事件持續更新
NVIDIA NeMo Switchyard 在 Amazon Bedrock 上將編碼代理請求路由至不同模型
1 篇報導1 個報導來源1 小時前更新
先了解這件事
AI 綜述
NVIDIA 發布 NeMo Switchyard，這是一個開源程式庫，可讓編碼代理選擇由哪個模型處理每個請求。根據 AWS Machine Learning Blog，其 LiteLLM 整合支援 Stage routing，會依據近期的工具活動在兩個候選模型之間做選擇，以及用於流量拆分與 A/B 測試的 Random routing。 範例透過 AWS CDK 在 Amazon ECS Fargate 上部署搭載 Switchyard 外掛的 LiteLLM，呼叫 Amazon Bedrock 上的模型，並對照單一模型基準來衡量每個已解決任務的成本。此範例使用 switchyard-server 0.3.0 與 LiteLLM v1.102.0 映像，僅供非生產環境評估使用。
AI 依報導生成 · 35 分鐘前更新
最新進展11月14日 06:30
在 Amazon Bedrock 上使用 NVIDIA NeMo Switchyard 將編碼代理請求路由到正確的模型報導時間線
沿著報導，了解事件的不同側面。
11月14日
- AWS Machine Learning Blog在 Amazon Bedrock 上使用 NVIDIA NeMo Switchyard 將編碼代理請求路由到正確的模型
NVIDIA NeMo Switchyard 是一個開源函式庫，可讓編碼代理選擇由哪個模型處理每個請求，並透過 LiteLLM 整合支援 Stage 路由（根據最近的工具活動在兩個候選模型之間選擇）以及用於流量拆分和 A/B 測試的 Random 路由。一個範例透過 AWS CDK 在 Amazon ECS Fargate 上部署帶有 Switchyard 外掛的 LiteLLM，呼叫 Amazon Bedrock 上的模型，並衡量每個已解決任務的成本，與單一模型基準進行比較。此範例使用 switchyard-server 0.3.0 和 LiteLLM v1.102.0 映像，僅供非生產環境評估使用。
本事件熱度走勢
還沒有足夠的連續觀測資料，暫不繪製趨勢。