跳到正文
热点事件持续更新

在 Linux 上用 RTX 3090 对 LM Studio 与 Ollama 进行基准测试

1 篇报道1 个报道来源3 小时前更新

先了解这件事

AI 综述

在单块 RTX 3090 上进行的基于 Docker 的测试对比了 LM Studio 与 Ollama 运行相同的 Qwen3.5 9B 和 27B GGUF 文件,并通过 SHA-256 校验。在单请求生成中,Ollama 在 9B 模型上约快 10%,在 27B 上快 5%;而在四个并发的 27B 请求下,LM Studio 达到 90.2 tokens/s,Ollama 为 33.1 tokens/s。 这一对比存在若干注意事项。LM Studio 的应用为闭源,其 Docker 镜像 lmstudio/llmster-preview 被标记为技术预览版,并注明“在 x86 系统上仅支持 CPU”;测试者表示,因此使用 GPU 需要不受支持的步骤,且 LM Studio 不支持这种配置。自 2025 年 7 月起,根据其条款,LM Studio 对家庭及内部商业用途免费。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月14日
  1. Hacker News · AI
    Linux 上 LM Studio 与 Ollama 对比:相同 Qwen3.5 GGUF 文件在 RTX 3090 上的基准测试

    一项基于 Docker 的测试在一块 RTX 3090 上对比了 LM Studio 和 Ollama 运行相同的 Qwen3.5 9B 与 27B GGUF 文件,并通过 SHA-256 校验。在单请求生成中,Ollama 在 9B 模型上约快 10%,在 27B 上快 5%;而在四个并发的 27B 请求下,LM Studio 达到 90.2 tokens/s,Ollama 为 33.1 tokens/s。LM Studio 的官方 Docker 镜像仅支持 CPU,因此使用 GPU 需要不受支持的步骤。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。