Hacker News · AI·· 8 giờ trướcĐiểm AI58
RunAnywhere phát hành TrnRT, một engine suy luận LLM mã nguồn mở cho AWS Trainium
Show HN: TrnRT – An open-source LLM inference engine for AWS Trainium
Tóm tắt bằng AI
RunAnywhere đã phát hành TrnRT, một engine suy luận mã nguồn mở cung cấp API tương thích OpenAI từ một trn2.48xlarge duy nhất và chạy decode dưới dạng NKI megakernel. GLM-5.3-Flash (320B MoE, 18B active, FP8, ngữ cảnh 1M token) là mô hình đầu tiên được hỗ trợ, và dự án báo cáo các lượt chạy AgentX coding-agent với 32 agent đồng thời có chi phí $0.040 mỗi triệu token theo giá spot.
Nguồn:Hacker News · AI · github.com