ข้ามไปที่เนื้อหา
เหตุการณ์ร้อนแรงกำลังพัฒนา

Cerebras นำการอนุมานแบบแยกส่วนเข้าสู่การผลิตจริง

1 รายงาน1 แหล่งข่าวที่รายงานอัปเดต 49 นาทีที่แล้ว

เริ่มตรงนี้

ไดเจสต์ AI

Cerebras ได้นำการอนุมานแบบแยกส่วนเข้าสู่การผลิตจริง: ในการติดตั้งบน Cerebras Inference Cloud นั้น GPU AMD Instinct จะจัดการประมวลผลพรอมต์ (prefill) ขณะที่ระบบ Cerebras CS-3 สร้างคำตอบ (decode) Cerebras กล่าวว่าการกำหนดค่านี้ให้ปริมาณงานต่อเมกะวัตต์สูงกว่าการตั้งค่าแบบ CS-3 เพียงอย่างเดียวถึง 5 เท่า โดยไม่สูญเสียความเร็วในการสร้างโทเค็น พันธมิตรในกลุ่ม early-access ซึ่งรวมถึง Amazon Web Services, Fireworks AI, Gimlet Labs และ General Compute ได้เข้าถึงโซลูชันนี้แล้ว; Cerebras เสนอสแต็กซอฟต์แวร์แบบครบวงจรหรือ SDK สำหรับ decode-only ให้แก่พวกเขา Cerebras กล่าวว่ามีแผนจะติดตั้งแนวทางนี้ครอบคลุมหลายร้อยเมกะวัตต์ในการติดตั้งบนคลาวด์อนุมานของบริษัทและการติดตั้งร่วมกับพันธมิตรภายในสิ้นปี 2027

สร้างจากรายงาน · อัปเดต

ไทม์ไลน์รายงาน

ไล่ตามรายงานเพื่อดูเหตุการณ์นี้จากหลายด้าน

18 พฤศจิกายน
  1. Hacker News · AI
    Cerebras เปิดตัวโซลูชันการอนุมานแบบแยกส่วน โดยใช้ GPU ประมวลผล prefill และใช้เอนจินระดับเวเฟอร์ประมวลผล decode ให้ปริมาณงานต่อเมกะวัตต์สูงกว่า 5 เท่า

    Cerebras เปิดตัวการอนุมานแบบแยกส่วนซึ่งพร้อมใช้งานจริงแล้ว โดย GPU จะประมวลผลการประมวลผลพรอมป์ต์ (prefill) ขณะที่ระบบ Cerebras ประมวลผลการสร้างเอาต์พุต (decode) ในการติดตั้งใช้งานจริงที่วัดผลบน Cerebras Inference Cloud นั้น GPU AMD Instinct ประมวลผลพรอมป์ต์และระบบ CS-3 สร้างการตอบสนอง ให้ปริมาณงานต่อเมกะวัตต์สูงกว่าการกำหนดค่าแบบ CS-3 เพียงอย่างเดียวถึง 5 เท่า โดยไม่สูญเสียความเร็วในการสร้างโทเคน บริษัทกล่าวว่าแผนจะติดตั้งใช้งานแนวทางนี้ทั่วหลายร้อยเมกะวัตต์ในคลาวด์การอนุมานและ deployments ของพันธมิตรภายในสิ้นปี 2027 และเสนอสแต็กซอฟต์แวร์แบบครบวงจรหรือ SDK สำหรับ decode-only ให้แก่พันธมิตร โดยพันธมิตรช่วงเริ่มต้นใช้งานได้แก่ Amazon Web Services, Fireworks AI, Gimlet Labs และ General Compute

ความร้อนแรงของเหตุการณ์นี้

ยังมีการเฝ้าดูต่อเนื่องไม่พอจะวาดแนวโน้ม