跳到正文
Hacker News · AI·· 3 小时前AI 评分34

Linux 上 LM Studio 与 Ollama 对比:相同 Qwen3.5 GGUF 文件在 RTX 3090 上的基准测试

LM Studio vs. Ollama on Linux: same model files, measured on an RTX 3090

AI 导读

一项基于 Docker 的测试在一块 RTX 3090 上对比了 LM Studio 和 Ollama 运行相同的 Qwen3.5 9B 与 27B GGUF 文件,并通过 SHA-256 校验。在单请求生成中,Ollama 在 9B 模型上约快 10%,在 27B 上快 5%;而在四个并发的 27B 请求下,LM Studio 达到 90.2 tokens/s,Ollama 为 33.1 tokens/s。LM Studio 的官方 Docker 镜像仅支持 CPU,因此使用 GPU 需要不受支持的步骤。

来源:Hacker News · AI · homebrewserver.club