llama.cpp v1.0 được đánh giá trên RTX 3090: nhanh hơn tới 55% nhờ giải mã suy đoán

Một bài kiểm tra thực tế llama.cpp v1.0.0 (bản dựng 12359) so với bản dựng trước v1 trên RTX 3090 cho thấy tốc độ một yêu cầu đơn không đổi trong phạm vi 2%, trong khi bốn yêu cầu song song tạo ra lượng văn bản mỗi giây nhiều hơn 14% với mô hình 9B và nhiều hơn 22% với mô hình 27B. Giải mã suy đoán với các đầu MTP giúp mô hình 27B nhanh hơn 52 đến 55%, và mức tăng này yêu cầu card NVIDIA RTX dòng 30 trở lên. Bản cập nhật loại bỏ cờ --defrag-thold và yêu cầu API key cho các công cụ hoặc máy chủ MCP trên địa chỉ không phải loopback, và Ollama 0.40.16 vẫn phát hành bản dựng llama.cpp cũ hơn.