Hacker News · AI·· 42 นาทีที่แล้วคะแนน AI20
ทนายความอัปเกรดเซิร์ฟเวอร์ AI ส่วนตัว V100 แปดตัวเพื่อรัน DeepSeek V4.1 Flash 80% ที่ 4-bit NVFP4
Lawyer upgrades eight-V100 private AI server to run 80% of DeepSeek v4.1 Flash
สรุปโดย AI
ทนายความที่ใช้งานเซิร์ฟเวอร์ AI ส่วนตัวบน GPU Nvidia V100 มือสองแปดตัว ย้ายภาระงานด้านกฎหมายของ DeepSeek V4.1 Flash ประมาณ 80% จากความแม่นยำ 2-bit ไปเป็น 4-bit NVFP4 พร้อมเพิ่ม RAM 1TB และ RTX 3090 ผลลัพธ์โค้ดลดลงจาก 160–215 เหลือ 150–180 โทเคนต่อวินาที แต่การแครชที่เกิดกับบิลด์ใหม่หายไปแล้ว โดย PSU ที่มีปัญหาไม่ใช่ PCIe น่าจะเป็นสาเหตุ
แหล่งข่าว:Hacker News · AI · tomshardware.com