律師將八張 V100 的私人 AI 伺服器升級，以 4-bit 執行 DeepSeek V4.1 Flash 的 80% 工作負載

一名律師在八張二手 Nvidia V100 GPU 上運行私人 AI 伺服器，將約 80% 的 DeepSeek V4.1 Flash 法律工作負載從 2-bit 提升到 4-bit NVFP4 精度，並加裝 1TB 記憶體與一張 RTX 3090。程式碼輸出從每秒 160–215 個 token 降至 150–180 個，但先前困擾新組建的當機問題已經消失；該律師將其歸因於電源供應器不良，而非 PCIe。 這套配置是法律工作雲端推論的自架替代方案，在原生支援該格式之前的硬體上，以部分吞吐量換取更高精度。

AI 依報導生成 · 13 分鐘前更新

還沒有足夠的連續觀測資料，暫不繪製趨勢。