跳至正文
Hacker News · AI·· 3 小時前AI 評分34

LM Studio 與 Ollama 在 Linux 上的對比:相同 Qwen3.5 GGUF 檔案於 RTX 3090 上的基準測試

LM Studio vs. Ollama on Linux: same model files, measured on an RTX 3090

AI 導讀

一項基於 Docker 的測試在同一張 RTX 3090 上比較了 LM Studio 與 Ollama 執行相同的 Qwen3.5 9B 與 27B GGUF 檔案,並以 SHA-256 驗證。在單一請求生成方面,Ollama 在 9B 模型上約快 10%,在 27B 上約快 5%;而 LM Studio 在四個並行的 27B 請求下達到 90.2 tokens/s,Ollama 則為 33.1 tokens/s。LM Studio 的官方 Docker 映像檔僅支援 CPU,因此使用 GPU 需要不受支援的步驟。

來源:Hacker News · AI · homebrewserver.club