跳至正文
熱點事件持續更新

在 Linux 上以 RTX 3090 對 LM Studio 與 Ollama 進行基準測試

1 篇報導1 個報導來源3 小時前更新

先了解這件事

AI 綜述

在單張 RTX 3090 上進行的 Docker 測試比較了 LM Studio 與 Ollama 執行相同的 Qwen3.5 9B 與 27B GGUF 檔案,並以 SHA-256 驗證。在單一請求生成方面,Ollama 在 9B 模型上約快 10%,在 27B 上約快 5%;而在四個並行的 27B 請求下,LM Studio 達到 90.2 tokens/s,Ollama 則為 33.1 tokens/s。 這項比較附帶若干注意事項。LM Studio 的應用程式為閉源,其 Docker 映像檔 lmstudio/llmster-preview 被標示為技術預覽版,並註明「在 x86 系統上僅支援 CPU」;測試者表示,因此使用 GPU 需要未受支援的步驟,且 LM Studio 並不支援此種設定。自 2025 年 7 月起,依其條款,LM Studio 對家庭與企業內部使用免費。

AI 依報導生成 · 2 小時前更新

報導時間線

沿著報導,了解事件的不同側面。

11月14日
  1. Hacker News · AI
    LM Studio 與 Ollama 在 Linux 上的對比:相同 Qwen3.5 GGUF 檔案於 RTX 3090 上的基準測試

    一項基於 Docker 的測試在同一張 RTX 3090 上比較了 LM Studio 與 Ollama 執行相同的 Qwen3.5 9B 與 27B GGUF 檔案,並以 SHA-256 驗證。在單一請求生成方面,Ollama 在 9B 模型上約快 10%,在 27B 上約快 5%;而 LM Studio 在四個並行的 27B 請求下達到 90.2 tokens/s,Ollama 則為 33.1 tokens/s。LM Studio 的官方 Docker 映像檔僅支援 CPU,因此使用 GPU 需要不受支援的步驟。

本事件熱度走勢

還沒有足夠的連續觀測資料,暫不繪製趨勢。