Hacker News · AI·· 8 小時前AI 評分58
RunAnywhere 發布 TrnRT,一款針對 AWS Trainium 的開源 LLM 推論引擎
Show HN: TrnRT – An open-source LLM inference engine for AWS Trainium
AI 導讀
RunAnywhere 發布了 TrnRT,這是一款開源推論引擎,可從單一 trn2.48xlarge 提供與 OpenAI 相容的 API,並以 NKI megakernel 執行解碼。GLM-5.3-Flash(320B MoE、18B 活躍參數、FP8、1M token 上下文)是首個支援的模型,該專案回報 AgentX 編碼代理以 32 個並行代理執行時,按現貨價格計算每百萬 token 成本為 $0.040。
來源:Hacker News · AI · github.com