llama.cpp v1.0 在 RTX 3090 上實測：推測解碼最高快 55%

在 RTX 3090 上對 llama.cpp v1.0.0（build 12359）與 v1 之前的版本進行實測，發現單一請求的速度在 2% 以內沒有變化，而四個並行請求在 9B 模型上每秒產生的文字量多出 14%，在 27B 模型上多出 22%。搭配 MTP heads 的推測解碼讓 27B 模型快了 52% 到 55%，而這些增益需要 NVIDIA RTX 30 系列或更新的顯示卡。此次更新移除了 --defrag-thold 旗標，並要求對非 loopback 位址上的工具或 MCP 伺服器提供 API 金鑰，而 Ollama 0.40.16 仍搭載較舊的 llama.cpp 版本。