llama.cpp v1.0 在 RTX 3090 上基准测试：仅在并行和投机解码上有提升
热点事件持续更新
llama.cpp v1.0 在 RTX 3090 上基准测试：仅在并行和投机解码上有提升
1 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
Homebrew Server Club 在 RTX 3090 上对 llama.cpp v1.0.0（build 12359）与 v1 之前的构建（12199）进行了基准测试，发现单请求速度在 2% 以内保持不变。四个并行请求在 9B 模型上每秒生成的文本量多出 14%，在 27B 模型上多出 22%，而使用 MTP 头的投机解码使 27B 模型快了 52–55%。 这些提升需要 NVIDIA RTX 30 系列（Ampere）或更新的 GPU，因此较旧的 NVIDIA 显卡、AMD 显卡或 Mac 的用户不应期待这些提升。测试指出，单个用户在不使用投机解码的情况下聊天不会看到加速，因此更新可以等待。 v1.0 移除了 --defrag-thold 标志，必须从命令中删除，并且对非回环地址上的工具或 MCP 服务器要求 API 密钥。Ollama 0.40.16 仍然附带较旧的 llama.cpp 构建。
AI 根据报道生成 · 1 小时前更新
最新进展11月15日 00:30
llama.cpp v1.0 在 RTX 3090 上实测：投机解码最高提速 55%报道时间线
沿着报道，了解事件的不同侧面。
11月15日
- Hacker News · AIllama.cpp v1.0 在 RTX 3090 上实测：投机解码最高提速 55%
在 RTX 3090 上对 llama.cpp v1.0.0（build 12359）与 v1 之前的版本进行实测对比发现，单请求速度变化在 2% 以内，而四个并行请求下，9B 模型每秒生成的文本量增加 14%，27B 模型增加 22%。使用 MTP 头的投机解码让 27B 模型提速 52% 至 55%，这些收益需要 NVIDIA RTX 30 系列或更新的显卡。此次更新移除了 --defrag-thold 参数，并要求在非回环地址上使用工具或 MCP 服务器时提供 API 密钥，此外 Ollama 0.40.16 仍附带较旧的 llama.cpp 构建。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。