llama.cpp v1.0 在 RTX 3090 上實測：僅在並行與推測解碼上有提升
先了解這件事
Homebrew Server Club 在 RTX 3090 上將 llama.cpp v1.0.0（build 12359）與 v1 之前的版本（12199）進行對比測試，發現單一請求的速度在 2% 以內沒有變化。四個並行請求下，9B 模型每秒產出的文字量增加 14%，27B 模型增加 22%；而搭配 MTP 頭的推測解碼讓 27B 模型快了 52–55%。 這些提升需要 NVIDIA RTX 30 系列（Ampere）或更新的 GPU，因此較舊 NVIDIA 顯卡、AMD 顯卡或 Mac 的使用者不應期待有同樣效果。測試指出，單一使用者聊天且未啟用推測解碼時看不到加速，因此可以晚點再更新。 v1.0 移除了 --defrag-thold 旗標，必須從指令中刪除；並且在非 loopback 位址上使用工具或 MCP 伺服器時需要 API 金鑰。Ollama 0.40.16 仍搭載較舊的 llama.cpp 版本。
AI 依報導生成 · 1 小時前更新
報導時間線
沿著報導，了解事件的不同側面。
- Hacker News · AIllama.cpp v1.0 在 RTX 3090 上實測：推測解碼最高快 55%
在 RTX 3090 上對 llama.cpp v1.0.0（build 12359）與 v1 之前的版本進行實測，發現單一請求的速度在 2% 以內沒有變化，而四個並行請求在 9B 模型上每秒產生的文字量多出 14%，在 27B 模型上多出 22%。搭配 MTP heads 的推測解碼讓 27B 模型快了 52% 到 55%，而這些增益需要 NVIDIA RTX 30 系列或更新的顯示卡。此次更新移除了 --defrag-thold 旗標，並要求對非 loopback 位址上的工具或 MCP 伺服器提供 API 金鑰，而 Ollama 0.40.16 仍搭載較舊的 llama.cpp 版本。
本事件熱度走勢
還沒有足夠的連續觀測資料，暫不繪製趨勢。