ทดสอบประสิทธิภาพ llama.cpp v1.0 บน RTX 3090: เร็วขึ้นสูงสุด 55% ด้วย speculative decoding

การทดสอบจริงของ llama.cpp v1.0.0 (บิลด์ 12359) เทียบกับบิลด์ก่อน v1 บน RTX 3090 พบว่าความเร็วในการร้องขอเดี่ยวยังคงเท่าเดิมภายใน 2% ขณะที่การร้องขอแบบขนานสี่รายการสร้างข้อความต่อวินาทีได้มากขึ้น 14% ด้วยโมเดล 9B และมากขึ้น 22% ด้วยโมเดล 27B ส่วน speculative decoding ด้วย MTP heads ทำให้โมเดล 27B เร็วขึ้น 52 ถึง 55% และผลประโยชน์เหล่านี้ต้องใช้การ์ด NVIDIA RTX ซีรีส์ 30 ขึ้นไป การอัปเดตนี้ลบแฟล็ก --defrag-thold และกำหนดให้ต้องใช้ API key สำหรับ tools หรือ MCP servers บนที่อยู่ที่ไม่ใช่ loopback และ Ollama 0.40.16 ยังคงมาพร้อมกับบิลด์ llama.cpp ที่เก่ากว่า