RunAnywhere 发布面向 AWS Trainium 的开源推理引擎 TrnRT
热点事件持续更新
RunAnywhere 发布面向 AWS Trainium 的开源推理引擎 TrnRT
1 篇报道1 个报道来源8 小时前更新
先了解这件事
AI 综述
RunAnywhere 发布了 TrnRT,这是一款面向 AWS Trainium 的开源 LLM 推理引擎,可在单台 trn2.48xlarge 实例上提供兼容 OpenAI 的 API,并以 NKI megakernel 方式执行 decode。首个支持的模型是 GLM-5.3-Flash,这是一个 320B 参数的混合专家模型,激活参数 18B,采用 FP8 精度,上下文长度 1M token;RunAnywhere 表示计划支持更多开源模型。 部署需要 Docker、一台用于服务的 trn2.48xlarge,以及任意一台用于编译的 x86_64 主机,其中编译缓存必须先构建,且耗时数小时。RunAnywhere 报告称,AgentX 编码智能体在 32 个并发智能体下运行,按 spot 价格计算每百万 token 成本为 $0.040。该项目自称独立,与 AWS 无关联,也未获 AWS 认可。
AI 根据报道生成 · 8 小时前更新
最新进展11月18日 00:01
RunAnywhere 发布 TrnRT:面向 AWS Trainium 的开源 LLM 推理引擎报道时间线
沿着报道,了解事件的不同侧面。
11月18日
- Hacker News · AIRunAnywhere 发布 TrnRT:面向 AWS Trainium 的开源 LLM 推理引擎
RunAnywhere 发布了 TrnRT,这是一个开源推理引擎,可在单台 trn2.48xlarge 上提供兼容 OpenAI 的 API,并以 NKI megakernel 方式执行 decode。GLM-5.3-Flash(320B MoE、18B 激活参数、FP8、100 万 token 上下文)是首个受支持的模型,该项目报告称,AgentX 编码智能体在 32 个并发智能体下运行,按 spot 价格计算每百万 token 成本为 0.040 美元。
本事件热度走势
- 可比范围当前
- 8
- 可比范围峰值
- 1011月18日 01:00
- 近 24 小时变化
- –
02.557.510
18181818
趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。