llama.cpp v1.0 在 RTX 3090 上实测：投机解码最高提速 55%

在 RTX 3090 上对 llama.cpp v1.0.0（build 12359）与 v1 之前的版本进行实测对比发现，单请求速度变化在 2% 以内，而四个并行请求下，9B 模型每秒生成的文本量增加 14%，27B 模型增加 22%。使用 MTP 头的投机解码让 27B 模型提速 52% 至 55%，这些收益需要 NVIDIA RTX 30 系列或更新的显卡。此次更新移除了 --defrag-thold 参数，并要求在非回环地址上使用工具或 MCP 服务器时提供 API 密钥，此外 Ollama 0.40.16 仍附带较旧的 llama.cpp 构建。