NVIDIA NeMo Switchyard 在 Amazon Bedrock 上为编码智能体的请求分配模型
热点事件持续更新
NVIDIA NeMo Switchyard 在 Amazon Bedrock 上为编码智能体的请求分配模型
1 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
NVIDIA 发布了 NeMo Switchyard，这是一个开源库，可让编码智能体为每个请求选择由哪个模型来处理。据 AWS Machine Learning Blog 介绍，其 LiteLLM 集成支持 Stage 路由（根据近期的工具活动在两个候选模型之间选择）以及用于流量拆分和 A/B 测试的 Random 路由。 一个示例通过 AWS CDK 在 Amazon ECS Fargate 上部署带 Switchyard 插件的 LiteLLM，调用 Amazon Bedrock 上的模型，并对照单模型基线衡量每个已解决任务的成本。该示例使用 switchyard-server 0.3.0 和 LiteLLM v1.102.0 镜像，仅用于非生产环境评估。
AI 根据报道生成 · 35 分钟前更新
最新进展11月14日 06:30
使用 NVIDIA NeMo Switchyard 在 Amazon Bedrock 上将编码代理请求路由到正确的模型报道时间线
沿着报道，了解事件的不同侧面。
11月14日
- AWS Machine Learning Blog使用 NVIDIA NeMo Switchyard 在 Amazon Bedrock 上将编码代理请求路由到正确的模型
NVIDIA NeMo Switchyard 是一个开源库，可让编码代理为每个请求选择由哪个模型来处理，其 LiteLLM 集成支持 Stage 路由（根据最近的工具活动在两个候选模型之间进行选择）和 Random 路由，用于流量拆分和 A/B 测试。一个示例通过 AWS CDK 在 Amazon ECS Fargate 上部署带有 Switchyard 插件的 LiteLLM，调用 Amazon Bedrock 上的模型，并对照单模型基线衡量每个已解决任务的成本。该示例使用 switchyard-server 0.3.0 和 LiteLLM v1.102.0 镜像，仅用于非生产环境评估。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。