Đánh giá hiệu năng llama.cpp v1.0 trên RTX 3090: chỉ cải thiện ở xử lý song song và giải mã suy đoán
Bắt đầu từ đây
Homebrew Server Club đã đánh giá hiệu năng llama.cpp v1.0.0 (bản dựng 12359) so với bản trước v1 (12199) trên RTX 3090 và nhận thấy tốc độ xử lý một yêu cầu đơn lẻ không thay đổi, chênh lệch trong khoảng 2%. Bốn yêu cầu song song tạo ra lượng văn bản mỗi giây nhiều hơn 14% với mô hình 9B và nhiều hơn 22% với mô hình 27B, và giải mã suy đoán với các đầu MTP giúp mô hình 27B nhanh hơn 52–55%. Các cải thiện này yêu cầu GPU NVIDIA RTX dòng 30 (Ampere) trở lên, nên người dùng card NVIDIA cũ hơn, card AMD hoặc Mac không nên kỳ vọng có được. Bài kiểm tra lưu ý rằng một người dùng đơn lẻ trò chuyện mà không dùng giải mã suy đoán sẽ không thấy tăng tốc, nên việc cập nhật có thể chờ. v1.0 loại bỏ cờ --defrag-thold, cờ này phải được bỏ khỏi các lệnh, và yêu cầu khóa API cho các công cụ hoặc máy chủ MCP trên các địa chỉ không phải loopback. Ollama 0.40.16 vẫn phát hành bản dựng llama.cpp cũ hơn.
Tạo từ các bài viết · cập nhật 1 giờ trước
Dòng thời gian bài viết
Theo các bài viết để thấy sự việc từ nhiều phía.
- Hacker News · AIllama.cpp v1.0 được đánh giá trên RTX 3090: nhanh hơn tới 55% nhờ giải mã suy đoán
Một bài kiểm tra thực tế llama.cpp v1.0.0 (bản dựng 12359) so với bản dựng trước v1 trên RTX 3090 cho thấy tốc độ một yêu cầu đơn không đổi trong phạm vi 2%, trong khi bốn yêu cầu song song tạo ra lượng văn bản mỗi giây nhiều hơn 14% với mô hình 9B và nhiều hơn 22% với mô hình 27B. Giải mã suy đoán với các đầu MTP giúp mô hình 27B nhanh hơn 52 đến 55%, và mức tăng này yêu cầu card NVIDIA RTX dòng 30 trở lên. Bản cập nhật loại bỏ cờ --defrag-thold và yêu cầu API key cho các công cụ hoặc máy chủ MCP trên địa chỉ không phải loopback, và Ollama 0.40.16 vẫn phát hành bản dựng llama.cpp cũ hơn.
Độ nóng của sự việc này
Chưa đủ quan sát liên tục để vẽ xu hướng.