RunAnywhere phát hành TrnRT, engine suy luận mã nguồn mở cho AWS Trainium
Bắt đầu từ đây
RunAnywhere đã phát hành TrnRT, một engine suy luận LLM mã nguồn mở dành cho AWS Trainium, phục vụ API tương thích OpenAI từ một instance trn2.48xlarge duy nhất và chạy decode dưới dạng megakernel NKI. Mô hình được hỗ trợ đầu tiên là GLM-5.3-Flash, một mô hình mixture-of-experts 320 tỷ tham số với 18 tỷ tham số hoạt động, độ chính xác FP8 và ngữ cảnh 1 triệu token; RunAnywhere cho biết sẽ có thêm nhiều mô hình mở trong kế hoạch. Việc thiết lập yêu cầu Docker, một trn2.48xlarge để phục vụ và bất kỳ máy chủ x86_64 nào để biên dịch, trong đó bộ nhớ đệm biên dịch phải được xây dựng trước và mất hàng giờ. RunAnywhere báo cáo các lượt chạy AgentX coding-agent với 32 agent đồng thời tốn $0.040 mỗi triệu token theo giá spot. Dự án tự mô tả là độc lập và không liên kết với AWS cũng như không được AWS chứng thực.
Tạo từ các bài viết · cập nhật 8 giờ trước
Dòng thời gian bài viết
Theo các bài viết để thấy sự việc từ nhiều phía.
- Hacker News · AIRunAnywhere phát hành TrnRT, một engine suy luận LLM mã nguồn mở cho AWS Trainium
RunAnywhere đã phát hành TrnRT, một engine suy luận mã nguồn mở cung cấp API tương thích OpenAI từ một trn2.48xlarge duy nhất và chạy decode dưới dạng NKI megakernel. GLM-5.3-Flash (320B MoE, 18B active, FP8, ngữ cảnh 1M token) là mô hình đầu tiên được hỗ trợ, và dự án báo cáo các lượt chạy AgentX coding-agent với 32 agent đồng thời có chi phí $0.040 mỗi triệu token theo giá spot.
Độ nóng của sự việc này
- Hiện tại, trong khoảng so sánh được
- 8
- Đỉnh, trong khoảng so sánh được
- 1018 tháng 11 01:00
- Thay đổi trong 24 giờ
- –
Xu hướng so sánh cùng một nhóm người tham gia trong những giờ được quan sát liên tục, nên khoảng của nó có thể hẹp hơn số độ nóng hiện tại. Rê chuột hoặc chạm vào biểu đồ để xem độ nóng theo giờ; các phím mũi tên di chuyển qua biểu đồ.