ข้ามไปที่เนื้อหา
#DeepSeek
วันนี้13 พฤศจิกายนวันศุกร์1 รายการ
  1. Hacker News · AI85

    การวิเคราะห์ทางนิติวิทยาศาสตร์เชื่อมโยงโมเดลจีนระดับแนวหน้า 6 รุ่นกับ GPU NVIDIA Blackwell ที่ถูกควบคุมการส่งออก

    การวิเคราะห์ทางนิติวิทยาศาสตร์ของ Unemployment Labs ต่อน้ำหนักโมเดลที่เผยแพร่พบว่าโมเดล 6 รุ่นจาก DeepSeek, Moonshot AI, MiniMax และ Ant Group ถูกเริ่มต้นบนฮาร์ดแวร์ NVIDIA Blackwell ขณะที่โมเดลรุ่นก่อนหน้าจากแล็บเดียวกันตรงกับ Hopper วิธีการนี้กู้คืน random seed และเลย์เอาต์เธรดของแต่ละโมเดลจากน้ำหนักที่เก็บรักษาไว้ และผู้เขียนกล่าวว่าการจับคู่ถูกทำซ้ำบนชิป H100, B300 และ GB200 จริง รายงานประเมินว่าแต่ละการฝึกอบรมต้องใช้ GPU Blackwell ประมาณ 500 ถึง 3,000 ตัวเป็นเวลาสองถึงสามเดือน และระบุว่าหลักฐานไม่ได้ยืนยันว่าชิปตั้งอยู่ที่ใดหรือมีการละเมิดมาตรการควบคุมการส่งออกหรือไม่

    ทำไมเรื่องนี้สำคัญ: รายงานได้มาซึ่งหลักฐานฮาร์ดแวร์จากน้ำหนักโมเดลที่เผยแพร่เพียงอย่างเดียว โดยเสนอวิธีการที่ทำซ้ำได้สำหรับการติดตามว่า GPU ใดเป็นผู้เริ่มต้นโมเดล โดยไม่ต้องพึ่งพาการรั่วไหล

12 พฤศจิกายนวันพฤหัสบดี
  1. OpenRouter Announcements28

    วิธี Benchmark LLMs: คู่มือการให้คะแนนด้วยโค้ดจาก OpenRouter

    OpenRouter เผยแพร่คู่มือสำหรับการ benchmark LLMs ด้วยอินพุตของแอปพลิเคชันของคุณเอง ให้คะแนนเอาต์พุตด้วยโค้ด และเปรียบเทียบความแม่นยำ ค่าใช้จ่ายที่เรียกเก็บ และเวลาที่ใช้ในการร้องขอ บนงานสังเคราะห์ 60 งาน GPT-6.1 Sol ผ่าน 180/180 ครั้งจากการทำซ้ำสามรอบ ขณะที่ DeepSeek มีค่าใช้จ่ายในการตอบสนองต่ำที่สุดที่ 180 ครั้งผ่าน 157 ครั้ง ความสอดคล้องกับอันดับสาธารณะอยู่ในระดับต่ำ โดยมีสหสัมพันธ์สเปียร์แมนที่ 0.109

  2. vLLM Blog72

    vLLM ให้บริการ DeepSeek-V4.1-Flash บน Vera Rubin NVL72 ด้วยปริมาณงาน吞吐 58 เท่าของ GB300 NVL72

    vLLM รายงานการให้บริการ DeepSeek-V4.1-Flash บนตู้แร็ค NVIDIA Vera Rubin NVL72 เพียงตู้เดียวที่ 1.7M โทเคน/วินาที ต่อ GPU และ 387 โทเคน/วินาที ต่อผู้ใช้ คิดเป็น 58 เท่าของ GB300 NVL72 โดยพุ่งสูงสุดที่ 2.52M โทเคน/วินาที และ 1,810 โทเคน/วินาทีสำหรับผู้ใช้รายเดียว ผลตอบแทนเหล่านี้มาจากเคอร์เนลที่สร้างใหม่สำหรับโดเมนหน่วยความจำแยกส่วนและเทนเซอร์คอร์ FP4 ของ Rubin เส้นทางการถอดรหัส TP8 เฉพาะทาง และพูล KV และ Engram ทั่วทั้งแร็คที่แชร์ผ่าน NVLink ด้วยการรวมคำนำหน้า (prefix) ทั่วทั้งแร็คและการกำหนดเส้นทางตามภาระงานของ Dynamo อัตราการเข้าถึงคำนำหน้าจึงคงอยู่ที่ 96.5-97% แม้ในสภาวะที่มีการทำงานพร้อมกันสูง

    ทำไมเรื่องนี้สำคัญ: โพสต์ที่สามของ vLLM เกี่ยวกับ DeepSeek-V4.1-Flash อธิบายรายละเอียดว่าเคอร์เนลเฉพาะสำหรับ Rubin และการรวมหน่วยความจำทั่วทั้งแร็คช่วยเพิ่มปริมาณงาน吞吐ได้ 58 เท่าเมื่อเทียบกับ GB300 NVL72 ซึ่งเป็นข้อมูลอ้างอิงที่เป็นรูปธรรมสำหรับการปรับแต่งการให้บริการในระดับขนาดใหญ่