Cerebras เปิดตัวโซลูชันการอนุมานแบบแยกส่วน โดยใช้ GPU ประมวลผล prefill และใช้เอนจินระดับเวเฟอร์ประมวลผล decode ให้ปริมาณงานต่อเมกะวัตต์สูงกว่า 5 เท่า
Cerebras Disaggregated Inference
Cerebras เปิดตัวการอนุมานแบบแยกส่วนซึ่งพร้อมใช้งานจริงแล้ว โดย GPU จะประมวลผลการประมวลผลพรอมป์ต์ (prefill) ขณะที่ระบบ Cerebras ประมวลผลการสร้างเอาต์พุต (decode) ในการติดตั้งใช้งานจริงที่วัดผลบน Cerebras Inference Cloud นั้น GPU AMD Instinct ประมวลผลพรอมป์ต์และระบบ CS-3 สร้างการตอบสนอง ให้ปริมาณงานต่อเมกะวัตต์สูงกว่าการกำหนดค่าแบบ CS-3 เพียงอย่างเดียวถึง 5 เท่า โดยไม่สูญเสียความเร็วในการสร้างโทเคน บริษัทกล่าวว่าแผนจะติดตั้งใช้งานแนวทางนี้ทั่วหลายร้อยเมกะวัตต์ในคลาวด์การอนุมานและ deployments ของพันธมิตรภายในสิ้นปี 2027 และเสนอสแต็กซอฟต์แวร์แบบครบวงจรหรือ SDK สำหรับ decode-only ให้แก่พันธมิตร โดยพันธมิตรช่วงเริ่มต้นใช้งานได้แก่ Amazon Web Services, Fireworks AI, Gimlet Labs และ General Compute
แหล่งข่าว:Hacker News · AI · cerebras.ai