律师将八卡 V100 私有 AI 服务器升级，以 4-bit 精度运行 80% 的 DeepSeek V4.1 Flash 负载

一名律师在八块二手 Nvidia V100 GPU 上运行私有 AI 服务器，将约 80% 的 DeepSeek V4.1 Flash 法律工作负载从 2-bit 提升到 4-bit NVFP4 精度，并增加了 1TB 内存和一块 RTX 3090。代码输出从每秒 160–215 个 token 降至 150–180 个 token，但新配置此前出现的崩溃已经消失；该律师将其归因于电源（PSU）故障，而非 PCIe 问题。 这套配置是法律工作中云端推理的自托管替代方案，在不支持该格式原生支持的旧硬件上，以部分吞吐量换取更高精度。

AI 根据报道生成 · 13 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。