ข้ามไปที่เนื้อหา
เหตุการณ์ร้อนแรงกำลังพัฒนา

ทดสอบประสิทธิภาพ llama.cpp v1.0 บน RTX 3090: ได้ประโยชน์เฉพาะการประมวลผลแบบขนานและการถอดรหัสเชิงคาดการณ์

1 รายงาน1 แหล่งข่าวที่รายงานอัปเดต 1 ชม. ที่แล้ว

เริ่มตรงนี้

ไดเจสต์ AI

Homebrew Server Club ทดสอบประสิทธิภาพ llama.cpp v1.0.0 (บิลด์ 12359) เทียบกับบิลด์ก่อน v1 (12199) บน RTX 3090 และพบว่าความเร็วในการร้องขอครั้งเดียวไม่เปลี่ยนแปลง โดยต่างกันภายใน 2% การร้องขอแบบขนานสี่รายการให้ข้อความต่อวินาทีเพิ่มขึ้น 14% กับโมเดล 9B และเพิ่มขึ้น 22% กับโมเดล 27B และการถอดรหัสเชิงคาดการณ์ด้วย MTP heads ทำให้โมเดล 27B เร็วขึ้น 52–55% การเพิ่มความเร็วนี้ต้องใช้ GPU NVIDIA RTX ซีรีส์ 30 (Ampere) หรือใหม่กว่า ดังนั้นผู้ใช้การ์ด NVIDIA รุ่นเก่า การ์ด AMD หรือ Mac ไม่ควรคาดหวังผลนี้ บันทึกการทดสอบระบุว่าผู้ใช้คนเดียวที่แชทโดยไม่ใช้การถอดรหัสเชิงคาดการณ์จะไม่เห็นความเร็วที่เพิ่มขึ้น ดังนั้นการอัปเดตจึงรอได้ v1.0 ลบแฟล็ก --defrag-thold ออก ซึ่งต้องนำออกจากคำสั่ง และกำหนดให้ต้องใช้ API key สำหรับเครื่องมือหรือ MCP servers บนที่อยู่ที่ไม่ใช่ loopback Ollama 0.40.16 ยังคงจัดส่งบิลด์ llama.cpp เวอร์ชันเก่ากว่า

สร้างจากรายงาน · อัปเดต 1 ชม. ที่แล้ว

ล่าสุด15 พฤศจิกายน 00:30
ทดสอบประสิทธิภาพ llama.cpp v1.0 บน RTX 3090: เร็วขึ้นสูงสุด 55% ด้วย speculative decoding

ไทม์ไลน์รายงาน

ไล่ตามรายงานเพื่อดูเหตุการณ์นี้จากหลายด้าน

15 พฤศจิกายน
  1. Hacker News · AI
    ทดสอบประสิทธิภาพ llama.cpp v1.0 บน RTX 3090: เร็วขึ้นสูงสุด 55% ด้วย speculative decoding

    การทดสอบจริงของ llama.cpp v1.0.0 (บิลด์ 12359) เทียบกับบิลด์ก่อน v1 บน RTX 3090 พบว่าความเร็วในการร้องขอเดี่ยวยังคงเท่าเดิมภายใน 2% ขณะที่การร้องขอแบบขนานสี่รายการสร้างข้อความต่อวินาทีได้มากขึ้น 14% ด้วยโมเดล 9B และมากขึ้น 22% ด้วยโมเดล 27B ส่วน speculative decoding ด้วย MTP heads ทำให้โมเดล 27B เร็วขึ้น 52 ถึง 55% และผลประโยชน์เหล่านี้ต้องใช้การ์ด NVIDIA RTX ซีรีส์ 30 ขึ้นไป การอัปเดตนี้ลบแฟล็ก --defrag-thold และกำหนดให้ต้องใช้ API key สำหรับ tools หรือ MCP servers บนที่อยู่ที่ไม่ใช่ loopback และ Ollama 0.40.16 ยังคงมาพร้อมกับบิลด์ llama.cpp ที่เก่ากว่า

ความร้อนแรงของเหตุการณ์นี้

ยังมีการเฝ้าดูต่อเนื่องไม่พอจะวาดแนวโน้ม