ข้ามไปที่เนื้อหา
Hacker News · AI·· 8 ชม. ที่แล้วคะแนน AI58

RunAnywhere เปิดตัว TrnRT เอนจินอนุมาน LLM โอเพนซอร์สสำหรับ AWS Trainium

Show HN: TrnRT – An open-source LLM inference engine for AWS Trainium

สรุปโดย AI

RunAnywhere เปิดตัว TrnRT เอนจินอนุมานโอเพนซอร์สที่ให้บริการ API ที่เข้ากันได้กับ OpenAI จาก trn2.48xlarge เครื่องเดียว และรัน decode เป็น NKI megakernels โดย GLM-5.3-Flash (320B MoE, 18B active, FP8, คอนเท็กซ์ 1M โทเคน) เป็นโมเดลแรกที่รองรับ และโครงการรายงานว่า AgentX coding-agent รันเอเจนต์พร้อมกัน 32 ตัวด้วยต้นทุน $0.040 ต่อล้านโทเคนที่ราคา spot

แหล่งข่าว:Hacker News · AI · github.com