跳到正文
Hacker News · AI·· 8 小时前AI 评分58

RunAnywhere 发布 TrnRT:面向 AWS Trainium 的开源 LLM 推理引擎

Show HN: TrnRT – An open-source LLM inference engine for AWS Trainium

AI 导读

RunAnywhere 发布了 TrnRT,这是一个开源推理引擎,可在单台 trn2.48xlarge 上提供兼容 OpenAI 的 API,并以 NKI megakernel 方式执行 decode。GLM-5.3-Flash(320B MoE、18B 激活参数、FP8、100 万 token 上下文)是首个受支持的模型,该项目报告称,AgentX 编码智能体在 32 个并发智能体下运行,按 spot 价格计算每百万 token 成本为 0.040 美元。

来源:Hacker News · AI · github.com