ทนายความอัปเกรดเซิร์ฟเวอร์ AI ส่วนตัวแปด V100 เพื่อรัน 80% ของ DeepSeek V4.1 Flash ที่ 4-bit
เริ่มตรงนี้
ทนายความที่รันเซิร์ฟเวอร์ AI ส่วนตัวบน GPU Nvidia V100 มือสองแปดตัว ย้ายภาระงานด้านกฎหมายของ DeepSeek V4.1 Flash ประมาณ 80% จากความแม่นยำ 2-bit ไปเป็น 4-bit NVFP4 พร้อมเพิ่ม RAM 1TB และ RTX 3090 ความเร็วในการสร้างโค้ดลดลงจาก 160–215 เหลือ 150–180 โทเคนต่อวินาที แต่การแครชที่ส่งผลกระทบต่อบิลด์ใหม่นั้นหายไปแล้ว ทนายความระบุว่าเกิดจาก PSU ที่มีปัญหา ไม่ใช่ PCIe การตั้งค่านี้เป็นทางเลือกที่โฮสต์เองแทนการอนุมานบนคลาวด์สำหรับงานกฎหมาย โดยแลกกับทรูพุตบางส่วนเพื่อความแม่นยำที่สูงขึ้นบนฮาร์ดแวร์ที่เก่ากว่าการรองรับรูปแบบนี้โดย-native
สร้างจากรายงาน · อัปเดต 12 นาทีที่แล้ว
ไทม์ไลน์รายงาน
ไล่ตามรายงานเพื่อดูเหตุการณ์นี้จากหลายด้าน
- Hacker News · AIทนายความอัปเกรดเซิร์ฟเวอร์ AI ส่วนตัว V100 แปดตัวเพื่อรัน DeepSeek V4.1 Flash 80% ที่ 4-bit NVFP4
ทนายความที่ใช้งานเซิร์ฟเวอร์ AI ส่วนตัวบน GPU Nvidia V100 มือสองแปดตัว ย้ายภาระงานด้านกฎหมายของ DeepSeek V4.1 Flash ประมาณ 80% จากความแม่นยำ 2-bit ไปเป็น 4-bit NVFP4 พร้อมเพิ่ม RAM 1TB และ RTX 3090 ผลลัพธ์โค้ดลดลงจาก 160–215 เหลือ 150–180 โทเคนต่อวินาที แต่การแครชที่เกิดกับบิลด์ใหม่หายไปแล้ว โดย PSU ที่มีปัญหาไม่ใช่ PCIe น่าจะเป็นสาเหตุ
ความร้อนแรงของเหตุการณ์นี้
ยังมีการเฝ้าดูต่อเนื่องไม่พอจะวาดแนวโน้ม