Cerebras นำการอนุมานแบบแยกส่วนเข้าสู่การผลิตจริง
เริ่มตรงนี้
Cerebras ได้นำการอนุมานแบบแยกส่วนเข้าสู่การผลิตจริง: ในการติดตั้งบน Cerebras Inference Cloud นั้น GPU AMD Instinct จะจัดการประมวลผลพรอมต์ (prefill) ขณะที่ระบบ Cerebras CS-3 สร้างคำตอบ (decode) Cerebras กล่าวว่าการกำหนดค่านี้ให้ปริมาณงานต่อเมกะวัตต์สูงกว่าการตั้งค่าแบบ CS-3 เพียงอย่างเดียวถึง 5 เท่า โดยไม่สูญเสียความเร็วในการสร้างโทเค็น พันธมิตรในกลุ่ม early-access ซึ่งรวมถึง Amazon Web Services, Fireworks AI, Gimlet Labs และ General Compute ได้เข้าถึงโซลูชันนี้แล้ว; Cerebras เสนอสแต็กซอฟต์แวร์แบบครบวงจรหรือ SDK สำหรับ decode-only ให้แก่พวกเขา Cerebras กล่าวว่ามีแผนจะติดตั้งแนวทางนี้ครอบคลุมหลายร้อยเมกะวัตต์ในการติดตั้งบนคลาวด์อนุมานของบริษัทและการติดตั้งร่วมกับพันธมิตรภายในสิ้นปี 2027
สร้างจากรายงาน · อัปเดต
ไทม์ไลน์รายงาน
ไล่ตามรายงานเพื่อดูเหตุการณ์นี้จากหลายด้าน
- Hacker News · AICerebras เปิดตัวโซลูชันการอนุมานแบบแยกส่วน โดยใช้ GPU ประมวลผล prefill และใช้เอนจินระดับเวเฟอร์ประมวลผล decode ให้ปริมาณงานต่อเมกะวัตต์สูงกว่า 5 เท่า
Cerebras เปิดตัวการอนุมานแบบแยกส่วนซึ่งพร้อมใช้งานจริงแล้ว โดย GPU จะประมวลผลการประมวลผลพรอมป์ต์ (prefill) ขณะที่ระบบ Cerebras ประมวลผลการสร้างเอาต์พุต (decode) ในการติดตั้งใช้งานจริงที่วัดผลบน Cerebras Inference Cloud นั้น GPU AMD Instinct ประมวลผลพรอมป์ต์และระบบ CS-3 สร้างการตอบสนอง ให้ปริมาณงานต่อเมกะวัตต์สูงกว่าการกำหนดค่าแบบ CS-3 เพียงอย่างเดียวถึง 5 เท่า โดยไม่สูญเสียความเร็วในการสร้างโทเคน บริษัทกล่าวว่าแผนจะติดตั้งใช้งานแนวทางนี้ทั่วหลายร้อยเมกะวัตต์ในคลาวด์การอนุมานและ deployments ของพันธมิตรภายในสิ้นปี 2027 และเสนอสแต็กซอฟต์แวร์แบบครบวงจรหรือ SDK สำหรับ decode-only ให้แก่พันธมิตร โดยพันธมิตรช่วงเริ่มต้นใช้งานได้แก่ Amazon Web Services, Fireworks AI, Gimlet Labs และ General Compute
ความร้อนแรงของเหตุการณ์นี้
ยังมีการเฝ้าดูต่อเนื่องไม่พอจะวาดแนวโน้ม