ข้ามไปที่เนื้อหา

สาขาเทคโนโลยี

วิศวกรรมการใช้งาน ล่าสุด

ทำให้โมเดลรันเร็วขึ้นและถูกลง: การเร่งความเร็วการประมวลผล หน่วยความจำและต้นทุน การให้บริการโมเดล และการเลือกโครงสร้างพื้นฐาน

81 รายการคัดสรร51 รายการใน 30 วันที่ผ่านมาเก็บไว้ 801 รายการ

อัปเดต 18 พฤศจิกายน 11:07

วิศวกรรมการใช้งาน · คัดสรร · หน้า 5

21 กรกฎาคม 2023วันศุกร์รายการ 81–81 จากทั้งหมด 81
  1. Cursor Changelog62

    Cursor วิเคราะห์ต้นทุนและความหน่วงในการอนุมานของ Llama-2-70B เทียบกับ GPT-3.5

    Cursor วัดการอนุมานของ Llama-2-70B บน GPU A100 ขนาด 80 GB จำนวน 2 ตัว และพบว่าถูกกว่า GPT-3.5 เกิน 3 เท่าสำหรับโทเค็นพรอมป์ต์ แต่แพงกว่ามากสำหรับโทเค็นที่สร้างขึ้นเมื่อขนาดแบตช์เล็ก การประมวลผลพรอมป์ต์มีต้นทุนประมาณ $0.00042 ต่อ 1K โทเค็น เทียบกับ $0.0015 ของ GPT-3.5 ขณะที่การสร้างโทเค็นมีต้นทุนถึง $0.066 ต่อ 1K โทเค็นที่ขนาดแบตช์ 1 และเข้าใกล้ราคาของ GPT-3.5 เฉพาะที่ขนาดแบตช์ใหญ่ซึ่งทำให้เวลาถึงโทเค็นแรกยาวนานหลายวินาที Cursor แนะนำให้ใช้โมเดลโอเพนซอร์สสำหรับงานที่เน้นพรอมป์ต์ เช่น การจำแนกประเภทและการจัดอันดับใหม่ และใช้ API แบบปิดสำหรับงานที่เน้นการสร้างข้อความ

    ทำไมเรื่องนี้สำคัญ: ข้อมูลต้นทุนและความหน่วงที่วัดโดย Cursor แสดงให้เห็นว่าเมื่อใดที่การโฮสต์ Llama-2-70B ด้วยตนเองดีกว่า GPT-3.5 และเมื่อใดที่ไม่ดีกว่า ซึ่งเป็นกรอบการทำงานที่นำกลับมาใช้ซ้ำได้สำหรับการตัดสินใจให้บริการโมเดลโอเพนซอร์ส