AWS Machine Learning Blog· Aswath Ram A Srinivasan·· 2 小时前AI 评分38
使用 NVIDIA NeMo Switchyard 在 Amazon Bedrock 上将编码代理请求路由到正确的模型
Route coding agent requests to the right model on Amazon Bedrock with NVIDIA NeMo Switchyard
AI 导读
NVIDIA NeMo Switchyard 是一个开源库，可让编码代理为每个请求选择由哪个模型来处理，其 LiteLLM 集成支持 Stage 路由（根据最近的工具活动在两个候选模型之间进行选择）和 Random 路由，用于流量拆分和 A/B 测试。一个示例通过 AWS CDK 在 Amazon ECS Fargate 上部署带有 Switchyard 插件的 LiteLLM，调用 Amazon Bedrock 上的模型，并对照单模型基线衡量每个已解决任务的成本。该示例使用 switchyard-server 0.3.0 和 LiteLLM v1.102.0 镜像，仅用于非生产环境评估。
来源:AWS Machine Learning Blog · aws.amazon.com