跳至正文
熱點事件持續更新

RunAnywhere 發布適用於 AWS Trainium 的 TrnRT 開源推理引擎

1 篇報導1 個報導來源8 小時前更新

先了解這件事

AI 綜述

RunAnywhere 發布了 TrnRT,這是一款適用於 AWS Trainium 的開源 LLM 推理引擎,可從單一 trn2.48xlarge 執行個體提供與 OpenAI 相容的 API,並以 NKI megakernel 執行解碼。首個支援的模型是 GLM-5.3-Flash,這是一個 320B 參數的混合專家模型,具備 18B 活躍參數、FP8 精度與 1M token 上下文;RunAnywhere 表示計畫支援更多開源模型。 安裝需要 Docker、用於服務的 trn2.48xlarge,以及任何可用於編譯的 x86_64 主機,其中必須先建置編譯快取,且需耗時數小時。RunAnywhere 回報 AgentX 編碼代理在 32 個並行代理下執行,以現貨價格計每百萬 token 成本為 $0.040。該專案自稱獨立,與 AWS 無關聯,也未獲 AWS 背書。

AI 依報導生成 · 8 小時前更新

報導時間線

沿著報導,了解事件的不同側面。

11月18日
  1. Hacker News · AI
    RunAnywhere 發布 TrnRT,一款針對 AWS Trainium 的開源 LLM 推論引擎

    RunAnywhere 發布了 TrnRT,這是一款開源推論引擎,可從單一 trn2.48xlarge 提供與 OpenAI 相容的 API,並以 NKI megakernel 執行解碼。GLM-5.3-Flash(320B MoE、18B 活躍參數、FP8、1M token 上下文)是首個支援的模型,該專案回報 AgentX 編碼代理以 32 個並行代理執行時,按現貨價格計算每百萬 token 成本為 $0.040。

本事件熱度走勢

可比範圍當前
8
可比範圍峰值
1011月18日 01:00
近 24 小時變化
–

趨勢僅比較持續完整觀測到的相同主體,範圍可能小於當前熱度統計。移動指標或點擊圖表查看每小時熱度;鍵盤可用左右方向鍵切換。