Tới nội dung
Hacker News · AI·· 8 giờ trướcĐiểm AI58

RunAnywhere phát hành TrnRT, một engine suy luận LLM mã nguồn mở cho AWS Trainium

Show HN: TrnRT – An open-source LLM inference engine for AWS Trainium

Tóm tắt bằng AI

RunAnywhere đã phát hành TrnRT, một engine suy luận mã nguồn mở cung cấp API tương thích OpenAI từ một trn2.48xlarge duy nhất và chạy decode dưới dạng NKI megakernel. GLM-5.3-Flash (320B MoE, 18B active, FP8, ngữ cảnh 1M token) là mô hình đầu tiên được hỗ trợ, và dự án báo cáo các lượt chạy AgentX coding-agent với 32 agent đồng thời có chi phí $0.040 mỗi triệu token theo giá spot.

Nguồn:Hacker News · AI · github.com