vLLM Blog· vLLM-Omni team·· 2 天前精選AI 評分64
vLLM-Omni 在 Vera Rubin 上對 MiniMax H3-Image 進行基準測試:0.87 秒生成 4K 影像,每小時 6,115 張影像
H3-Image Day-0 Support: 4K in 0.87s with Vera Rubin
AI 導讀
vLLM-Omni 將 MiniMax H3-Image 帶到 NVIDIA Vera Rubin,並測得在四張 GPU 上進行原生 4096×4096 文字轉圖像的中位延遲為 0.87 秒,另在獨立吞吐配置下達到每小時 6,115 張影像。H3-Image 是一個開放權重的文字轉圖像與編輯模型,結合 Qwen3-VL 編碼器、33.1B 稠密 DiT 與影像 VAE,以六個取樣步驟處理這兩項任務,並支援最多 16 張參考影像。團隊報告了 MXFP8 DiT GEMM、Ulysses SP4、AdaLN 快取,以及一項將解碼時間從 2.635 秒縮短至 0.213 秒的 VAE 解碼變更,並列出 AMD、Intel、華為昇騰與摩爾線程硬體的配置方案。
推薦理由
vLLM-Omni 的基準測試顯示 MiniMax H3-Image 在 Vera Rubin 上以不到一秒的 4K 延遲運行,並附有各硬體配置與服務經濟性的成本模型。
來源:vLLM Blog · vllm.ai