Hacker News · AI·· 42 分钟前AI 评分20
律师将八卡V100私有AI服务器升级，以4位NVFP4精度运行80%的DeepSeek V4.1 Flash
Lawyer upgrades eight-V100 private AI server to run 80% of DeepSeek v4.1 Flash
AI 导读
一名律师在由八块二手Nvidia V100 GPU驱动的私有AI服务器上，将其DeepSeek V4.1 Flash法律工作负载中约80%的部分从2位精度迁移至4位NVFP4精度，并新增1TB内存和一块RTX 3090。代码输出从每秒160–215个token降至150–180个token，但新配置遭遇的崩溃问题已消失，罪魁祸首很可能是电源而非PCIe。
来源:Hacker News · AI · tomshardware.com