ข้ามไปที่เนื้อหา
#ข้อมูล / การเทรน
3 พฤศจิกายนวันอังคาร
  1. Apple Machine Learning Research32

    Attention to Mamba: สูตรสำหรับการกลั่นข้ามสถาปัตยกรรม

    นักวิจัยของ Apple เสนอสูตรสองขั้นตอนสำหรับการกลั่น Transformer ให้เป็นสถาปัตยกรรม Mamba แท้ที่ไม่มีบล็อก Attention เลย วิธีการนี้เริ่มจากการกลั่น Transformer ที่ผ่านการฝึกมาก่อนให้เป็นโมเดล Attention แบบเชิงเส้นผ่านเทคนิคเคอร์เนลที่ดัดแปลง จากนั้นจึงกลั่นโมเดลนั้นให้เป็นโมเดล Mamba ที่ดัดแปลง ผลลัพธ์คือ Mamba ที่กลั่นแล้วยังคงประสิทธิภาพส่วนใหญ่ของ Pythia-1B ไว้ได้ โดยมี perplexity อยู่ที่ 14.01 เทียบกับ 13.86 ของโมเดลครู และยังมีช่องว่างในงานที่ต้องอาศัยการเรียกคืนจากบริบท

2 พฤศจิกายนวันจันทร์
  1. SemiAnalysis58

    SemiAnalysis เปิดตัว GDPx benchmark สำหรับความสามารถของ agentic frontier ในโดเมนมูลค่าสูง

    SemiAnalysis เปิดตัว GDPx ซึ่งเป็น benchmark ที่ครอบคลุมการออกแบบชิป ความปลอดภัยไซเบอร์ ชีววิทยา การเงิน กฎหมาย การซื้อขายเชิงปริมาณ RSI การออกแบบฮาร์ดแวร์ วัสดุศาสตร์ alignment และวิศวกรรมซอฟต์แวร์ สร้างขึ้นร่วมกับพันธมิตรด้านสภาพแวดล้อม RL เฉพาะทาง 14 ราย แม้แต่โมเดลที่ดีที่สุดก็ได้คะแนนเพียง 12% โดย Opus 5.5 ชนะด้านการซื้อขายเชิงปริมาณ ฮาร์ดแวร์ และการออกแบบชิป Gemini 4 Carbon นำในด้านชีววิทยาและวิศวกรรมซอฟต์แวร์ และ GPT-6 Astra เป็นผู้นำในด้าน RSI และวัสดุศาสตร์ ทุกงานรันในสภาพแวดล้อมจำลองที่สมจริง เช่น ห้องดีล private equity ที่มีไฟล์ประมาณ 4,000 ไฟล์ หรือ cyber range แบบหลายบริการที่ใช้งานจริง ต่างจาก GDPval ของ OpenAI ซึ่ง SemiAnalysis โต้แย้งว่าป้อนบริบทให้เกินไปและขาดสภาพแวดล้อม

1 พฤศจิกายนวันอาทิตย์
  1. Sakana AI Blog40

    Sakana AI Symposium: Jürgen Schmidhuber พูดถึงอดีตและอนาคตของ AI การผลักดันของญี่ปุ่นสู่โมเดลภาษา World Models และ Physical AI

    Sakana AI จัดงานสัมมนา "From World Models to Real-World AI" ที่โตเกียวเมื่อวันที่ 26 ตุลาคม 2026 โดย Jürgen Schmidhuber ที่ปรึกษาวิทยาศาสตร์ระดับหัวหน้าได้กล่าวปาฐกถาหลัก และ Sakana AI ประกาศว่าจะพัฒนาโมเดลภาษาที่ผ่านการฝึกอบรมล่วงหน้าของตนเองในชื่อ Sakana Sawara (ชื่อชั่วคราว) โดยโมเดลขนาดเล็กตัวแรก Sawara Small (ชื่อชั่วคราว) มีแผนจะเปิดตัวในฤดูใบไม้ผลิปี 2027 หากการพัฒนาดำเนินไปอย่างราบรื่น งานนี้มีผู้เข้าร่วมมากกว่า 400 คน และยังมีการสนทนาระหว่าง Schmidhuber กับ David Ha ซีอีโออีกด้วย

  2. Recode China AI22

    CXMT บุกตลาด HBM3E, Unitree รายได้ไตรมาส 3 เพิ่มขึ้น 70% และหุ้นจีนร่วง

    CXMT รายงานกำไรสุทธิไตรมาส 3 ที่ 5.44 หมื่นล้านหยวน และรายได้ 1.1871 แสนล้านหยวน เพิ่มขึ้น 613.2% เมื่อเทียบปีต่อปี ขณะที่ Reuters ระบุว่าบริษัทได้ส่งตัวอย่าง HBM3E ให้กับนักออกแบบชิปในประเทศ โดยวางแผนผลิตแบบจำกัดภายในสองเดือนแม้ผลผลิตจะอยู่ที่เพียง 20–30% ผลประกอบการครั้งแรกหลังเข้าตลาดของ Unitree พบรายได้ไตรมาส 3 เพิ่มขึ้น 69.9% เป็น 665 ล้านหยวน ขณะที่การใช้จ่ายด้านวิจัยเพิ่มขึ้นราว 250% Moonshot เปิดตัว Kimi K3.1 Pro พร้อมหน้าต่างบริบทหนึ่งล้านโทเคน จากนั้นขอโทษเรื่องการจำกัดอัตราการใช้งานและคืนโควต้ารายเดือนหนึ่งในสี่ให้กับผู้สมัครสมาชิก

30 ตุลาคมวันศุกร์
  1. Microsoft Research40

    Microsoft สร้างแพลตฟอร์มข้อมูลองค์กรสังเคราะห์เพื่อประเมิน Copilot

    แพลตฟอร์ม Industry Evaluation Data Generation Platform ของ Microsoft สร้างสภาพแวดล้อมองค์กรสังเคราะห์แบบครบวงจรเพื่อประเมิน Microsoft Copilot โดยไม่ใช้ข้อมูลลูกค้า โดยอ้างอิงจากแหล่งข้อมูลสาธารณะ เช่น ข้อมูลอาชีพ O*NET ประกาศรับสมัครงาน และเอกสารที่ยื่นต่อ SEC ระบบจะสร้าง tenant ที่สมจริงพร้อมผู้ใช้ การประชุม อีเมล และเอกสาร รวมถึงไปป์ไลน์การสอบถามอัตโนมัติและกรอบการประเมินคุณภาพ Microsoft ระบุว่าสิ่งนี้สร้างมาตรฐานพื้นฐานการประเมินแบบมาตรฐานแห่งแรกสำหรับ Copilot

  2. ChinaTalk38

    ครึ่งหนึ่งของพลังประมวลผล AI ของจีนถูกใช้ไปกับงานไร้คุณภาพจริงหรือ?

    ข้อกล่าวอ้างที่แพร่กระจายอย่างกว้างขวางว่า 55% ของโทเค็น AI ของจีนถูกใช้ไปกับละครสั้นและการสร้างวิดีโอ ซึ่ง traced ไปยังการประชุมนักลงทุนในเดือนมิถุนายนของ COL Group ได้รับการโต้แย้งจาก ByteDance ซึ่งระบุว่าการสร้างวิดีโอคิดเป็นเพียงประมาณ 10% ของพลังประมวลผลของบริษัทเอง และจาก People's Daily มากกว่า 90% ของละครสั้นขนาดเล็กประมาณ 430,000 เรื่องที่เผยแพร่ในช่วงแปดเดือนแรกของปี 2026 เป็นผลงานที่ผลิตด้วย AI และคลิป 720p ความยาวห้าวินาทีบน Seedance ของ ByteDance มีต้นทุนประมาณ 100,000 โทเค็น

  3. Microsoft Research22

    Microsoft Research Focus Edition #97: ForkPilot, CABRA, TeleTune และการใช้ AI ในการทำงาน

    Microsoft Research Focus Edition #97 นำเสนอ ForkPilot ซึ่งเป็นกรอบงานเอเจนต์ที่พัฒนาตนเองได้ โดยทำผลงานได้เทียบเท่าวิธีการที่ดีที่สุดที่มีอยู่ พร้อมลดความต้องการในการประมวลผล AI ลงได้ถึง 59% ในหกเกณฑ์มาตรฐาน ฉบับนี้ยังครอบคลุม CABRA กรอบงานที่แสดงให้เห็นว่าเอเจนต์เขียนโค้ดยังคงเข้าใจฐานโค้ดที่ไม่คุ้นเคยได้ยาก และ TeleTune ซึ่งเรียนรู้ทักษะที่นำกลับมาใช้ซ้ำได้จากบันทึกกิจกรรมของผู้ใช้ นอกจากนี้ยังตรวจสอบกิจกรรมใน Copilot Chat ซึ่งการแก้ไขเอกสารมีสัดส่วนเกิน 20% ของกิจกรรมที่จำแนกได้

  4. Amazon Science38

    เร่งความเร็ว LLM สำหรับแอปพลิเคชันท่องเที่ยว: Medusa ผสาน knowledge distillation

    การผสาน knowledge distillation เข้ากับเฟรมเวิร์ก Medusa ช่วยให้นักเรียน TinyLlama ขนาด 1.1B พารามิเตอร์มีคุณภาพทัดเทียมกับครู Llama-3.1 ขนาด 70B พารามิเตอร์ ขณะที่ทำงานเร็วขึ้น 10 ถึง 20 เท่าในต้นทุนต่ำกว่าหนึ่งในสาม การทำงานร่วมกับ Booking.com ใน AI Trip Planner, Smart Filters และการสร้างคำอธิบายที่พัก ไปป์ไลน์นี้ปิดช่องว่างคุณภาพได้กว่า 90% และเพิ่มความเร็วได้อีก 2 ถึง 3.6 เท่าจาก Medusa heads

29 ตุลาคมวันพฤหัสบดี
  1. Meta Engineering Blog40

    Meta Andromeda: เอนจินดึงโฆษณารุ่นใหม่ของ Meta แตะ 1 พันล้านโฆษณาต่อวินาที

    Meta เผยรายละเอียด Andromeda รุ่นถัดไป ซึ่งเป็นเอนจินดึงโฆษณาเฉพาะบุคคล ที่ให้คะแนนโฆษณากว่าหนึ่งพันล้านรายการต่อวินาทีในการใช้งานจริง เพิ่มปริมาณงานขึ้น 100 เท่าเมื่อเทียบกับระบบในปี 2024 สถาปัตยกรรมใหม่นำ mixture-of-experts ที่ได้แรงบันดาลใจจาก LLM มาใช้ในการดึงข้อมูล เข้าใกล้ประสิทธิภาพของโมเดลระดับการจัดอันดับด้วย FLOPs ตอนอนุมานน้อยลงราว 300 เท่า โดยประมวลผลโฆษณากว่าหมื่นล้านรายการต่อวินาทีบน GPU NVIDIA GH200 เพียงตัวเดียว ตั้งแต่ปี 2025 Andromeda ช่วยเพิ่มอัตราการแปลงบน Facebook ขึ้น 2.4%

  2. Preferred Networks News40

    กลุ่มเซ็นรินและ Preferred Networks จับมือเป็นพันธมิตรทางธุรกิจและทุน เพื่อผสานข้อมูลภูมิสารสนเทศเข้ากับ AI

    Zenrin, Zenrin DataCom และ Preferred Networks ได้ลงนามในข้อตกลงพันธมิตรทางธุรกิจและทุน โดยบริษัทในกลุ่มเซ็นรินได้จองซื้อหุ้นจากการจัดสรรหุ้นเพิ่มทุนให้บุคคลภายนอกของ PFN พันธมิตรจะนำข้อมูลภูมิสารสนเทศที่อัปเดตอย่างต่อเนื่อง รวมถึงบันทึกการเปลี่ยนแปลงเชิงประวัติศาสตร์ มารวมกับเทคโนโลยี AI เชิงสร้างสรรค์ AI เชิงกายภาพ และการรับรู้พื้นที่ 3 มิติของ PFN เพื่อสร้างโมเดล AI ที่เข้าใจและคาดการณ์การเปลี่ยนแปลงในโลกจริง โดยกลุ่มเป้าหมายเริ่มต้น ได้แก่ ภาครัฐ อสังหาริมทรัพย์ ค้าปลีกและการกระจายสินค้า มุ่งเป้าไปที่การพยากรณ์ความต้องการ การเลือกทำเลร้านค้า การวางผังเมือง การป้องกันภัยพิบัติ และการจำลองโลจิสติกส์

  3. Figma Blog58

    Figma ฝึกโมเดลแก้ไขงานออกแบบที่เชี่ยวชาญ Figma ได้อย่างไร

    Figma อธิบายรายละเอียดว่าฝึกโมเดลแก้ไขงานออกแบบของบริษัทเองสำหรับเอเจนต์ Figma ได้อย่างไร โดยเริ่มจากการปรับแต่งแบบมีผู้สอน (supervised fine-tuning) ด้วยคำขอแก้ไขแบบสังเคราะห์ที่แสดงในรูปแบบไฟล์ดั้งเดิมของ Figma และตรวจสอบด้วยการตรวจสอบแบบกำหนดผลได้แน่นอน (deterministic checks) และโมเดลผู้ตัดสินด้านภาพ (visual model judges)

28 ตุลาคมวันพุธ
  1. Ai2 · Allen Institute for AI40

    นักวิจัยปรับใช้ olmOCR 2 กับคลังเอกสารทางประวัติศาสตร์และโบราณคดีอย่างไร

    นักวิจัยกำลังปรับใช้โมเดล olmOCR 2 แบบเปิดของ Ai2 เพื่อถอดความคลังเอกสารทางประวัติศาสตร์และโบราณคดี นักประวัติศาสตร์ Maurice Casey สร้าง ArtificeOCR ซึ่งรัน olmOCR 2 ในเครื่องร่วมกับ Tropy เพื่อทำให้คลังภาพเอกสารของเขาค้นหาได้ด้วยคีย์เวิร์ด ขณะที่โครงการ CENTURIA ของ TU Wien ปรับแต่ง olmOCR 2 ด้วย LoRA บนระเบียนที่ทำคำอธิบายประกอบ 57 รายการ ลดข้อผิดพลาดในการถอดความบนระเบียนทดสอบ 450 รายการจาก 15.58% เหลือ 1.11%

  2. Google Research58

    กรอบงาน sleep ของ Google Research ช่วยให้ LLM รวมความรู้ใหม่ได้โดยไม่ลืมความรู้เดิมอย่างรุนแรง

    Google Research ได้นำเสนอกรอบงาน sleep สำหรับการเรียนรู้อย่างต่อเนื่อง ซึ่งสลับระหว่างการโต้ตอบแบบแอคทีฟกับการรวมความจำแบบออฟไลน์ ทำให้ LLM ดูดซับข้อเท็จจริงใหม่เข้าสู่พารามิเตอร์ Mixture-of-Experts ที่ขยายเพิ่ม แทนที่จะสูญเสียความรู้เดิม วิธีการนี้ผสานการขยายพารามิเตอร์ การกลั่นแบบ on-policy ด้วยการเลียนแบบที่อิงการเรียนรู้แบบเสริมกำลัง และขั้นตอน dreaming ที่สร้างและกรองตัวอย่างการฝึกแบบสังเคราะห์ ผู้เขียนรายงานว่าการลดลงของประสิทธิภาพเกือบเป็นศูนย์ในการแปลอย่างต่อเนื่องสำหรับภาษาที่ไม่เคยเห็น เช่น ภาษาแมนจูและภาษากาลามัง การขยายขนาดเกือบสมบูรณ์แบบถึง 10M โทเค็นบน BABILong ผลลัพธ์ 48.9% สำหรับงานเดี่ยวและ 46.2% สำหรับ CPT ในการincorporation ข้อเท็จจริงจาก SQuAD และ 79.2%, 69.0% และ 46.1% บน AIME 24/25 และ HMMT 25

  3. Meta AI Research Blog30

    Meta สนับสนุนการวิจัย AI ในมหาวิทยาลัยห้าแห่งของสหรัฐฯ เพื่อเร่งความก้าวหน้าทางการแพทย์และวิทยาศาสตร์

    Meta ให้การสนับสนุนการวิจัยในมหาวิทยาลัยห้าแห่งของสหรัฐฯ ได้แก่ Caltech, Ohio State University College of Medicine, Louisiana State University, Indiana University และ UTHealth Houston ด้วยการเข้าถึงโมเดล Muse ล่าสุด ความร่วมมือจากนักวิจัย และเงินทุน นักวิจัยจะใช้ Muse Spark Open, Muse Wonder, Muse Spark, Muse Glimmer แบบ open-weight ขนาด 30B รวมถึง SAM, V-JEPA, DINO, UMA และ SeamlessM4T โครงการครอบคลุมสาขาการแพทย์ ฟิสิกส์ เคมี ชีววิทยา วิทยาการคอมพิวเตอร์ และคณิตศาสตร์ โดยมหาวิทยาลัยยังคงควบคุมข้อมูลผู้ป่วยและข้อมูลทางคลินิกทั้งหมด

27 ตุลาคมวันอังคาร
  1. Ai2 · Allen Institute for AI58

    งานวิจัยของ Ai2 ทดสอบว่า LLMs สามารถตัดสินความใหม่ของแนวคิดการวิจัยได้อย่างน่าเชื่อถือหรือไม่

    Ai2 เผยแพร่ Old Ideas, Novel Problems ซึ่งเป็นงานวิจัยและ benchmark ที่ทดสอบว่า LLMs ประเมินความใหม่ของแนวคิดการวิจัยได้อย่างน่าเชื่อถือเพียงใด พร้อมกับข้อมูล โค้ด และ pipeline สำหรับสร้างชุดการประเมินใหม่ จากการทดสอบผู้ตัดสินหกราย ได้แก่ GPT-5.1, GPT-5.2, GPT-5.4, Claude Sonnet 4.5, Claude Opus 4.5 และ Claude Opus 4.6 การเปลี่ยนแปลง prompt เล็กน้อยทำให้ความแม่นยำเปลี่ยนไปมากกว่า 50 เปอร์เซ็นต์บนแนวคิดที่สร้างโดย AI และ baseline แบบ prompted Claude Opus 4.6 อย่างง่ายได้คะแนน macro-F1 0.854 ที่ราคา $2.59 เทียบกับ 0.642 ที่ $30.66 สำหรับ Idea Novelty Checker และ 0.772 ที่ $82.05 สำหรับ AI Scientist ของ Sakana AI

  2. Redwood Research22

    Redwood Research เสนอให้เร่งความสามารถในการให้เหตุผลเชิงแนวคิดของ AI

    Redwood Research เสนอว่าความสามารถในการให้เหตุผลเชิงแนวคิดของ AI ซึ่งเป็นงานอย่างปรัชญาที่ไม่มีคำตอบที่ตรวจสอบได้ ควรได้รับการเร่งพัฒนาแบบแตกต่าง เนื่องจากงานวิจัยและพัฒนา AI และการยึดครองนั้นพึ่งพาการให้เหตุผลประเภทนี้น้อยกว่ามาก ทีมงานกล่าวว่าเทคนิคการดึงความสามารถพื้นฐานและการฝึกขนาดเล็กสามารถทำให้โมเดลดีขึ้นได้สามถึงสิบสองเดือนในเกณฑ์วัดการให้เหตุผลเชิงแนวคิดหลักของตน และระบุว่าขณะนี้พื้นที่นี้ถูกละเลยและได้รับการลงทุนน้อยเกินไปจากชุมชนความปลอดภัยของ AI

  3. Epoch AI · Gradient Updates58

    Epoch AI ทดสอบ AI ด้วยงานวิจัยของตัวเอง โมเดลชั้นนำได้ 65% และล้มเหลวทั้งหมด

    Epoch AI ขยายความพยายามก่อนหน้านี้ในการทำงานอัตโนมัติของนักวิจัยอาวุโสให้เป็น Epoch Automation Reports โดยประเมิน AI ในงานจริงของ Epoch เช่น การออกแบบกราฟิกและการวางแผนการวิจัย เทียบกับมาตรฐานเดียวกับที่ใช้กับพนักงานมนุษย์ 1 และ GPT-6 Astra ได้คะแนนเฉลี่ย 65% ตามเกณฑ์ แต่คะแนน 65% ยังถือว่างานล้มเหลว เนื่องจากทุกผลงานที่ส่งมาจะถูกปฏิเสธหรือแก้ไขหากเป็นมนุษย์ที่ทำ

  4. Anthropic Research65

    Anthropic รายงานความคืบหน้าเบื้องต้นในการใช้ Claude เร่งการพัฒนายา

    ทีมวิทยาศาสตร์ชีวภาพของ Anthropic ใช้เวลาหลายเดือนทำงานร่วมกับบริษัทพัฒนายา 6 แห่ง รวมถึง Bristol Myers Squibb, Generate Biomedicines และ Divergence Labs พร้อมทั้งดำเนินโครงการค้นพบยาของตนเอง เพื่อทดสอบว่า Claude สามารถเร่งการพัฒนายาได้ที่จุดใด ผลลัพธ์เบื้องต้นที่รายงานรวมถึงการออกแบบของ Generate ที่สั้นกว่าฉบับมาตรฐานราว 70% ซึ่งทำให้เซลล์ภูมิคุ้มกันสร้างตัวรับได้มากขึ้นประมาณ 10 เท่า และการออกแบบแอนติบอดีราว 35,000 แบบที่สร้างขึ้นโดยอัตโนมัติเป็นส่วนใหญ่ให้กับ Divergence ภายในเวลาประมาณหนึ่งเดือน Anthropic ระบุว่างานนี้ยังอยู่ในขั้นพรีคลินิกเป็นส่วนใหญ่ และวางแผนขยายการใช้ Claude ไปสู่การทดลองทางคลินิกเมื่อโครงการต่าง ๆ ก้าวหน้าไป

    ทำไมเรื่องนี้สำคัญ: รายงานโดยละเอียดฉบับแรกของ Anthropic เกี่ยวกับการฝัง Claude ในโครงการยาจริงแสดงให้เห็นว่าโมเดลช่วยได้ที่จุดใดและยังคงด้อยที่จุดใดในความร่วมมือกับพันธมิตรทั้ง 6 ราย

24 ตุลาคมวันเสาร์
  1. SemiAnalysis60

    SemiAnalysis ทดสอบสแต็กการเทรน PyTorch แบบเนทีฟของ Amazon Trainium3 และโปรไฟเลอร์ Neuron Explorer

    ทีมวิศวกรของ SemiAnalysis ทดสอบแร็ค Trainium3 บนสแต็ก TorchTitan และ TorchNeuron และพบว่าประสบการณ์ PyTorch แบบเนทีฟดีขึ้นอย่างมากเมื่อเทียบกับวิธี PyTorch/XLA แบบเดิม แม้ยังมีบั๊กและเวลาคอมไพล์ที่นานอยู่ การเทรน Qwen3-32B บนชิป Trainium2 จำนวน 16 ตัวทำได้ 14,156 โทเคนต่อวินาที ที่ MFU 30.47% ในโหมดคอมไพล์ ซึ่งเพิ่มขึ้น 1.28 เท่าเมื่อเทียบกับโหมด eager ขณะที่สูตร gpt-oss 20B ใช้เวลา 27 นาที 17 วินาทีในการคอมไพล์ ทีมยังจัดให้ Neuron Explorer เป็นโปรไฟเลอร์ชั้นนำของอุตสาหกรรม เหนือกว่าเครื่องมือของ Nvidia และ AMD และรายงานว่า Trainium3 ผ่าน 89 จาก 96 กรณีทดสอบ FlexAttention

23 ตุลาคมวันศุกร์
  1. Ai2 · Allen Institute for AI31

    LitPivot: ระบบของ Ai2 ช่วยนักวิจัยปรับเปลี่ยนแนวคิดการวิจัยผ่านวรรณกรรม

    นักวิจัยจาก Ai2 และมหาวิทยาลัยเพนซิลเวเนียสร้าง LitPivot ระบบที่จัดระเบียบบทความที่ค้นคืนได้ตามแง่มุมของข้อเสนอการวิจัยที่กำลังแก้ไข และแนะนำการปรับปรุงที่อ้างอิงวรรณกรรม ในการศึกษากับนักวิจัย 17 คน ผู้เชี่ยวชาญในสาขาประเมินว่าแนวคิดที่พัฒนาด้วย LitPivot มีพื้นฐานจากวรรณกรรมที่ดีกว่าแนวคิดที่สร้างด้วยโปรแกรมแก้ไขข้อความและเครื่องมือแชต AI ผู้เข้าร่วมยังรายงานว่าแนวคิดที่ปรับปรุงแล้วมีความแปลกใหม่และมีประโยชน์มากกว่า และ LitPivot จะถูกนำเสนอที่ UIST 2026

  2. Amazon Science38

    วิทยาศาสตร์เบื้องหลัง TorchNeuron แบ็กเอนด์ PyTorch ใหม่ของ Amazon สำหรับชิป AWS Trainium

    Amazon เปิดตัว TorchNeuron แบ็กเอนด์ PyTorch โอเพนซอร์สที่แปลงโค้ด PyTorch เป็นการดำเนินการที่รันได้บนระบบ AWS Trainium โดยแทบไม่ต้องแก้ไขโค้ดหรือไม่ต้องแก้เลย โดยเพิ่มโหมด eager แบบปรับตัวที่ต้องเลือกเปิดใช้ ซึ่งจัดกลุ่มและคอมไพล์การดำเนินการเพื่อประสิทธิภาพใกล้เคียงโหมดคอมไพล์ พร้อมแคช NEFF หลายระดับ บริการคอมไพล์ที่ใช้ร่วมกันช่วยลดเวลาถึงขั้นตอนเทรนแรกได้ประมาณหนึ่งในสามในการทดสอบ LLM แบบ 64 โปรเซส ทีม Annapurna ปรับแต่งและวัดประสิทธิภาพโดยใช้โมเดลตัวแทน 841 โมเดลที่กลั่นกรองจากโมเดลโอเพนซอร์สหลายแสนโมเดล

22 ตุลาคมวันพฤหัสบดี
  1. Modal Blog71

    Modal เปิดตัว Spindle เซิร์ฟเวอร์ฝึกโมเดลโอเพนซอร์สที่เข้ากันได้กับ Tinker

    Modal เปิดตัว Spindle เซิร์ฟเวอร์ฝึกโมเดลโอเพนซอร์สที่เข้ากันได้กับ Tinker ซึ่งทำงานในเวิร์กสเปซ Modal ของลูกค้า ช่วยให้ทีมปรับแต่งสแตกได้เองและจ่ายตามเวลา GPU แทนการจ่ายตามโทเคน Spindle รองรับการฝึกแบบ full-parameter และ multi-LoRA ข้ามโมเดลโอเพนซอร์สต่างๆ และ Modal รายงานว่าการแชร์เทรนเนอร์เดียวให้ไคลเอนต์ 8 รายช่วยลดต้นทุนต่อ 1M โทเคนเอาต์พุตได้สูงสุดถึง 80% เมื่อเทียบกับ Tinker ในงาน DAPO-math GRPO Modal ระบุว่า Spindle ยังอยู่ในช่วงเบต้า และวางตำแหน่งไว้ระหว่างไลบรารีการฝึก Dojo และคลัสเตอร์พริมิทีฟระดับพื้นฐาน

    ทำไมเรื่องนี้สำคัญ: เซิร์ฟเวอร์ Spindle โอเพนซอร์สของ Modal มอบทางเลือกที่เข้ากันได้กับ Tinker ให้ทีมต่างๆ โดยแลกการคิดราคาต่อโทเคนเป็นการจ่ายตามเวลา GPU พร้อมรายงานว่าการแชร์ multi-LoRA ช่วยลดต้นทุนได้สูงสุดถึง 80%

  2. Ai2 · Allen Institute for AI58

    Ai2 เปิดตัวโมเดล embedding ดาวเทียม OlmoEarth v1.3 พร้อม embedding ทั่วโลกที่คำนวณล่วงหน้าและเบราว์เซอร์ explorer

    Ai2 เปิดตัว OlmoEarth v1.3 โมเดล embedding ดาวเทียมที่เปลี่ยนข้อมูลอนุกรมเวลาจาก Sentinel-1, Sentinel-2 และ Landsat ตลอดหนึ่งปีให้เป็นเวกเตอร์ 128 มิติหนึ่งตัวต่อพิกเซลขนาด 10 เมตร โดย 64 มิติแรกสามารถใช้เป็น embedding ขนาดเล็กกว่าได้ Ai2 คำนวณ embedding รายปีล่วงหน้าสำหรับทั้งโลกและเผยแพร่บน Source Cooperative และ embedding 128 มิติของมันได้คะแนนสูงสุดในการประเมิน 20 จาก 27 รายการเมื่อเทียบกับ AlphaEarth Foundations และ Tessera v2 รวมถึงเกณฑ์มาตรฐานพืชเขตร้อนใหม่ชื่อ PLANTEUR การเปิดตัวยังรวมถึง OlmoEarth Embeddings Explorer เครื่องมือเบราว์เซอร์ที่ไม่ต้องลงชื่อเข้าใช้สำหรับเปรียบเทียบปี ค้นหาสถานที่ที่คล้ายกัน และฝึกตัวจำแนกขนาดเล็กได้ทันที โดยมีข้อมูลทั่วโลกปี 2025, 2024 และ 2023 และปี 2017 ถึง 2022 ครอบคลุมบางประเทศ น้ำหนัก ข้อมูลพรีเทรน และโค้ดเป็นโอเพนซอร์ส

  3. inclusionAI Models58

    inclusionAI เปิดตัว Ling-3.0-flash-Sante โมเดล MoE เฉพาะทางด้านการแพทย์ขนาด 124B

    inclusionAI เปิดตัว Ling-3.0-flash-Sante โมเดลเฉพาะทางด้านการแพทย์ที่สร้างบน Ling-3.0-flash มีพารามิเตอร์รวม 124B และพารามิเตอร์ที่ใช้งานต่อโทเคน 5.1B โดยเผยแพร่ weights บน Hugging Face และ ModelScope ใช้สถาปัตยกรรม hybrid-linear MoE ที่ผสม Kimi Delta Attention, gated MLA และ sparse MoE layers ฝึกถึง 256K โทเคน และเปิดโหมด thinking เป็นค่าเริ่มต้นพร้อมรองรับ tool calling ผ่านเฟรมเวิร์ก serving ที่เข้ากันได้ บริษัทระบุว่าเป็นโมเดลเพื่อการวิจัย ไม่ใช่อุปกรณ์ทางการแพทย์ และผลลัพธ์ต้องไม่ใช้แทนคำแนะนำ การวินิจฉัย หรือการรักษาทางการแพทย์จากผู้เชี่ยวชาญ

  4. Microsoft Research64

    Microsoft Research และผู้ร่วมเขียนพิสูจน์ข้อสันนิษฐาน KLS ที่มีอายุ 31 ปี

    นักวิจัย Microsoft Xinzhi Zhang และผู้ร่วมเขียนได้พิสูจน์ข้อสันนิษฐาน Kannan-Lovász-Simonovits (KLS) ซึ่งเป็นปัญหาที่เปิดอยู่มา 31 ปีในเรขาคณิตมิติสูง โดยแสดงให้เห็นว่าขอบเขตดังกล่าวคงอยู่ด้วยค่าคงที่สากลที่ไม่ขึ้นกับมิติ การพิสูจน์นี้เกิดขึ้นจากกระบวนการเอเจนต์ที่มนุษย์กำกับดูแล ซึ่งเอเจนต์ AI สำรวจแนวทางที่เป็นไปได้มากกว่า 100 แนวทาง ขณะที่นักวิจัยตัดทิ้งและเปลี่ยนทิศทางการค้นหา และความพยายามแบบไม่มีคำแนะนำแยกต่างหากด้วยโมเดลชั้นนำภายใต้งบโทเค็นที่เทียบเคียงกันนั้นไม่ประสบผลสำเร็จ มีการพิสูจน์อีกสองชิ้นปรากฏขึ้นในวันเดียวกัน และต่อมาได้มีการเผยแพร่การทำให้เป็นรูปแบบ Lean 4

    ทำไมเรื่องนี้สำคัญ: ปัญหาที่เปิดอยู่มา 31 ปีในเรขาคณิตมิติสูงได้รับการแก้ไขผ่านการค้นหาแบบเอเจนต์ที่มนุษย์กำกับดูแลเหนือแนวทางที่เป็นไปได้ราว 100 แนวทาง โดยมีการพิสูจน์อิสระและการทำให้เป็นรูปแบบ Lean เป็นการยืนยัน

  5. Anthropic Newsroom28

    Anthropic เปิดรับสมัครนักวิจัยรับเชิญด้านวิทยาศาสตร์ชีวภาพ

    Anthropic ขอเชิญนักวิจัยหลักและกลุ่มวิจัยของพวกเขาจากสถาบันการศึกษา องค์กรไม่แสวงหากำไร และห้องปฏิบัติการของรัฐบาลให้สมัครเข้าร่วมโครงการนักวิจัยรับเชิญระยะเวลา 8–12 สัปดาห์ โดยใช้ Claude ในด้านต่างๆ เช่น ชีววิทยามนุษย์เชิงสาเหตุ ชีววิทยาโมเลกุลเชิงโครงสร้างและเชิงคำนวณ เคมีเภสัชภัณฑ์ การค้นพบยา และวิทยาศาสตร์คลินิก Anthropic จะให้บริการโมเดลและเครื่องมือของตนโดยไม่มีค่าใช้จ่าย และผลลัพธ์จะถูกเผยแพร่พร้อมข้อมูลและโค้ดแบบโอเพนซอร์ส โดยนักวิจัยยังคงสิทธิ์ในข้อมูลของตน การรับสมัครเปิดประมาณ 14 วัน ผู้ที่ได้รับคัดเลือกจะได้รับแจ้งทางอีเมลประมาณ 14 วันหลังปิดรับสมัคร

21 ตุลาคมวันพุธ
  1. Modal Blog58

    Modal เปิดตัว Dojo ไลบรารีสำหรับการฝึก LLM ระดับโปรดักชัน

    Modal เปิดตัว Modal Dojo ไลบรารีสำหรับการฝึกที่มาพร้อมบล็อกการสร้าง สูตรสำเร็จรูปที่ปรับแต่งแล้ว และแดชบอร์ดสำหรับการสังเกตการณ์ สำหรับการฝึกหลังการฝึก (post-training) LLM ระดับโปรดักชัน โดยต่อยอดจากเฟรมเวิร์กโอเพนซอร์ส Miles และ Slime รองรับโมเดลตั้งแต่ครึ่งพันล้านถึงหลายล้านล้านพารามิเตอร์ และมี API และ CLI ที่เอเจนต์สามารถสั่งการเพื่อเริ่มและดีบักการรันได้ Modal ระบุว่า Axiom Bio ใช้มันเพื่อขยายไปสู่การรัน DeepSeek V4.1 Flash ที่บริบท 64k บน B300 จำนวน 64 ตัว และ Afterquery ฝึก Kimi และ DeepSeek ที่ความยาวบริบท 256k

  2. Apple Machine Learning Research26

    TEAL: การเรียนรู้เชิงรุกที่มีประสิทธิภาพในระดับโทเคนสำหรับการแบ่งส่วนความหมายแบบงบประมาณต่ำ

    นักวิจัยจาก Apple (ร่วมกับ University of Waterloo) นำเสนอ TEAL ซึ่งเป็นกรอบการเรียนรู้เชิงรุกระดับพิกเซลกรอบแรกที่สร้างบนตัวแทน ViT ที่ถูกแช่แข็ง โดยเลือกผู้สมัครที่หลากหลายโดยตรงบนโครงข่ายโทเคนดั้งเดิมผ่านกลยุทธ์ MaxHerding สองระดับพร้อมการปรับแต่งความไม่แน่นอนตาม margin ด้วยพิกเซลที่มีป้ายกำกับเพียงหนึ่งพิกเซลต่อภาพ TEAL เอาชนะ baseline ที่แข็งแกร่งที่สุดได้ถึง +24.36 mIoU บน CamVid, Cityscapes, ADE20K และ Pascal Context โดยเข้าถึงประสิทธิภาพสูงถึง 97% ของการเรียนรู้แบบมีผู้สอนเต็มรูปแบบด้วยเพียง 10 px

20 ตุลาคมวันอังคาร
  1. Google Developers Blog60

    Google นำ TorchTitan มาเชื่อมต่อกับ TorchTPU และเผยแพร่คู่มือปรับแต่งโมเดลสำหรับ TPU

    Google ได้เผยแพร่ TPU fork ของ TorchTitan จาก Meta ที่รันการฝึก PyTorch บน Cloud TPU ผ่าน backend torch.device("tpu") แบบเนทีฟของ TorchTPU พร้อมเคอร์เนลแบบ TPU-native และ playbook การปรับแต่งทีละขั้นตอน บน TPU v7x (Ironwood) Llama 3 405B รักษา MFU ประมาณ 57% ตั้งแต่ 128 ถึง 1,024 ชิป, Qwen3 235B ทำได้ 32.42% MFU บนสไลซ์ 1,024 ชิปหนึ่งสไลซ์ และ FLUX.1 ทำได้ 19.4% MFU บน 1,024 ชิปที่ประสิทธิภาพ weak-scaling 93% ฟอร์กอยู่ที่ https://github.com/google-pytorch/torchtitan/ และ Transformers modeling backend พร้อม agent onboarding skill ขยายเทรนเนอร์เดียวกันไปยังเช็กพอยต์อื่นๆ

    ทำไมเรื่องนี้สำคัญ: Google ร่วมมือกับ Meta ในการพอร์ต TorchTitan ไปยัง TPU พร้อมเส้นทางการปรับแต่งทีละระดับตั้งแต่ FLUX.1 ถึง Qwen3 235B และตัวเลข MFU ซึ่งใช้เป็นข้อมูลอ้างอิงให้ทีม PyTorch ประเมินความเป็นไปได้ของการฝึกบน TPU

17 ตุลาคมวันเสาร์
  1. Google Research71

    Google Research อธิบาย VERID และเวิร์กโฟลว์เอเจนต์แบบ closed-loop สำหรับห้องปฏิบัติการเปียกอัตโนมัติ

    Google Research อธิบายโครงการสามโครงการที่มุ่งเชื่อมโยงเอเจนต์ AI เข้ากับการทดลองในห้องปฏิบัติการเปียกจริง รวมถึงกรอบงาน VERID ซึ่งเป็นดิจิทัลทวินเชิงความหมายของ workcell ในห้องปฏิบัติการที่สร้างบนกรอบงานโอเพนซอร์ส PyLabRobot ติดตามเลย์เอาต์ของ deck ปริมาตรของ well และจำนวนทิป และทดลองรันโปรโตคอลแบบ dry-run ก่อนการดำเนินการจริง

    ทำไมเรื่องนี้สำคัญ: Google Research อธิบายโครงการสามโครงการที่เชื่อมต่อเอเจนต์ AI เข้ากับฮาร์ดแวร์ห้องปฏิบัติการเปียกจริง แสดงให้เห็นว่าการจำลองแบบ dry-run และการทดลองแบบ closed-loop ช่วยให้เอเจนต์แก้ไขกฎการออกแบบของตนเองได้อย่างไร

  2. Big Technology42

    ซีอีโอ Rivian RJ Scaringe: หุ่นยนต์กำลังพัฒนารวดเร็วกว่าที่คุณคิดมาก

    RJ Scaringe ซีอีโอของ Rivian กล่าวว่าความก้าวหน้าของหุ่นยนต์จะ "เร็ว เร็ว เร็ว และเร็วมาก" กว่าที่โลกคาดการณ์ โดยอ้างถึงหุ่นยนต์ที่ปัจจุบันเรียนรู้ทักษะกว้างๆ ที่สามารถนำไปใช้ทั่วไปได้ผ่านโมเดลที่อิง transformer สตาร์ทอัพ Mind Robotics ที่เขาก่อตั้งในปี 2025 ระดมทุนได้ 1 พันล้านดอลลาร์เพื่อสร้างหุ่นยนต์อุตสาหกรรมแบบสองแขนที่ขายให้ผู้ผลิต และฝึกฝนเทคโนโลยีนี้ภายในโรงงานของ Rivian

15 ตุลาคมวันพฤหัสบดี
  1. Mistral AI71

    Mistral เปิดตัว Timestral โมเดลพื้นฐานอนุกรมเวลา ขึ้นแท่นอันดับหนึ่งใน GIFT-Eval, TIME และ fev-bench

    Mistral เปิดตัว Timestral ครอบครัวโมเดลพื้นฐานอนุกรมเวลาชุดแรกของบริษัท มีสี่ขนาดตั้งแต่ 5M ถึง 209M พารามิเตอร์ โมเดลที่ใหญ่ที่สุดครองอันดับหนึ่งในสามเบนช์มาร์กสาธารณะหลักทั้ง GIFT-Eval, TIME และ fev-bench ในกลุ่มโมเดลพรีเทรนแบบ zero-shot จากเช็กพอยต์เดียวโดยไม่ใช้เอนเซมเบิล โดยใช้สองในสามของพารามิเตอร์เมื่อเทียบกับสุดยอดของงานก่อนหน้า Timestral สร้างพยากรณ์หลายตัวแปรแบบความน่าจะเป็นด้วย 21 ควอนไทล์ รองรับตัวแปรร่วมแบบอดีตเท่านั้นและแบบอนาคตที่ทราบค่า ทำงานบน CPU โดยไม่ต้องใช้ GPU และใช้งานได้ผ่าน Mistral Forge สำหรับการปรับแต่ง พร้อมเผยแพร่ที่เก็บ GitHub และรายงานทางเทคนิคภายใต้สัญญาอนุญาต MIT ดัดแปลง

    ทำไมเรื่องนี้สำคัญ: ครอบครัวโมเดลพื้นฐานอนุกรมเวลาชุดแรกของ Mistral อ้างว่าครองอันดับสูงสุดแบบ zero-shot ใน GIFT-Eval, TIME และ fev-bench ด้วยเช็กพอยต์ 209M พารามิเตอร์ มอบข้อมูลอ้างอิงการแลกเปลี่ยนระหว่างขนาดกับความแม่นยำสำหรับงานพยากรณ์

  2. Goodfire Research62

    บทความวิจัยของ Goodfire อ้างว่าโครงข่ายประสาทเทียมนั้นสะอาดอยู่แล้ว และ superposition ถูกตีความผิด

    นักวิจัยของ Goodfire อ้างว่าหลักฐานตามแบบฉบับของ polysemanticity และ superposition ในโครงข่ายประสาทเทียมนั้นถูกตีความผิด และสิ่งที่ดูเหมือนการบรรจุแบบสุ่มนั้นแท้จริงแล้วส่วนใหญ่เป็น motif ที่เขาเรียกว่า recursive generalization การฝึก InceptionV1 ใหม่ด้วยการปรับปรุงสถาปัตยกรรมตามปกติโดยไม่เปลี่ยนขนาดโมเดลหรือข้อมูลฝึก ทำให้ 99-100% ของนิวรอนในเลเยอร์สุดท้ายตีความได้ง่าย และการตรวจสอบเบื้องต้นของ Qwen3-32B ประเมินว่าประมาณ 90% ของขั้วนิวรอนมีหน้าที่หลักอย่างหนึ่ง บทความสรุปว่าโครงข่ายใช้หลักการเรียนรู้เดียวไม่ใช่สองหลัก ดังนั้นการตีความจึงสามารถดำเนินการโดยการศึกษานิวรอนและวงจรโดยตรงแทนที่จะฝึกโมเดลแยกส่วนเช่น sparse autoencoder ก่อน

    ทำไมเรื่องนี้สำคัญ: การตีความหลักฐาน polysemanticity ตามแบบฉบับของสาขานี้ใหม่จากมุมมองของผู้วิจัยเอง โดยอ้างว่าโครงข่าย generalize แบบเวียนเกิดแทนที่จะบรรจุแนวคิดที่ไม่เกี่ยวข้องกัน ซึ่งจะทำให้การศึกษาเชิงกลไกโดยตรงเป็นไปได้

13 ตุลาคมวันอังคาร
  1. Modal Blog58

    Modal ทดสอบ RL sampler แบบ mixed-precision และ mixed-accelerator บน Qwen3.6-35B-A3B

    Modal เทรน Qwen3.6-35B-A3B ด้าน agentic coding โดยกระจาย sampler ไปยัง accelerator หกประเภท (B200, B300, H100, H200, A100, RTX PRO 6000) ที่ความแม่นยำ NVFP4, FP8 และ BF16 ป้อนเข้า trainer แบบ BF16 หนึ่งตัวบน B200 GRPO แบบธรรมดาล้มเหลวทั้งบน sampler แบบผสมและแบบ homogeneous แต่เมื่อเพิ่ม masked importance sampling พร้อม score centering ไม่ว่าจะมีหรือไม่มี top-p mask replay ก็เทรนได้เสถียรจนจบและไปถึง SWE-bench Pro V2 pass@4 เทียบเท่า sampler แบบ homogeneous โดยมีต้นทุน sampler ต่อการอัปเดตต่ำลงราว 15% sampler แบบผสมทำงานด้วยค่า KL เฉลี่ยระหว่าง sampler กับ trainer สูงเป็น 4.7 เท่าของการตั้งค่าแบบ homogeneous และผู้เขียนโต้ว่าเสถียรภาพขึ้นอยู่กับการรักษาความคลาดเคลื่อนให้มีขอบเขตจำกัด มากกว่าการทำให้ต่ำ

  2. Amazon Science75

    นักวิจัยของ Amazon Web Services เสนอวิธีการ priming เพื่อแปลง Transformer ที่ผ่านการฝึกมาแล้วให้เป็นโมเดลแบบ hybrid state space โดยไม่ต้องฝึกใหม่ทั้งหมด

    นักวิจัยของ Amazon Web Services นำเสนอ priming ซึ่งเป็นวิธีการที่นำน้ำหนักของ Transformer ที่ผ่านการฝึกมาแล้วกลับมาใช้ เพื่อลดต้นทุนการฝึกโมเดลสถาปัตยกรรมแบบ hybrid state space ก่อนการใช้งานลงได้มากกว่า 99% โดยใช้โควต้าโทเคนสำหรับการฝึกของโมเดลต้นทางน้อยกว่า 0.5% ในการเปรียบเทียบแบบควบคุม Gated KalmaNet มีประสิทธิภาพเหนือกว่า Gated DeltaNet และ Mamba-2 และโมเดล hybrid ขนาด 32B ที่ใช้ GKA มีผลลัพธ์เทียบเท่า Transformer ต้นทางบนเกณฑ์วัดด้านการให้เหตุผล ขณะที่ถอดรหัสได้เร็วขึ้นถึงสองเท่าเมื่อมีบริบท 128,000 โทเคน ทีมงานได้เผยแพร่โมเดล hybrid ที่ผ่านการ priming ขนาด 8B และ 32B โค้ดสำหรับการฝึก เคอร์เนล Triton และปลั๊กอินสำหรับให้บริการผ่าน vLLM ภายใต้สัญญาอนุญาต Apache 2.0

    ทำไมเรื่องนี้สำคัญ: นักวิจัยของ Amazon Web Services แสดงให้เห็นว่าการนำน้ำหนักของ Transformer ที่ผ่านการฝึกมาแล้วกลับมาใช้สามารถลดต้นทุนการฝึกสถาปัตยกรรมแบบ hybrid ได้มากกว่า 99% ทำให้การเปรียบเทียบชั้น state space แบบควบคุมเป็นเรื่องที่ทำได้จริง

10 ตุลาคมวันเสาร์
  1. Epoch AI · Gradient Updates65

    InnovationEval ของ Epoch AI พบว่า frontier agents ทำได้เพียง 15% ของผลตอบแทนที่ SDPO ได้ในการวิจัยและพัฒนาปัญญาประดิษฐ์อัตโนมัติ

    6 Sol และ Fable 5 ค้นพบเทคนิคหลังการฝึกใหม่ที่เป็นนวัตกรรมเทียบได้กับ Self-Distillation Policy Optimization (SDPO) ได้อย่างอิสระ โดยแต่ละตัวได้รับ GPU 3,000 ชั่วโมงในแซนด์บ็อกซ์ที่ไม่มีอินเทอร์เน็ต วิธีการของ 6 Sol ซึ่งส่วนใหญ่คัดลอกมาจากงานก่อนหน้า ทำได้เพียง 15% ของผลตอบแทนที่ SDPO ได้หลังจากปรับตามความเร็วในการฝึกที่ช้ากว่า ขณะที่เทคนิคของ Fable 5 ไม่สามารถปรับปรุงประสิทธิภาพได้

9 ตุลาคมวันศุกร์
  1. Epoch AI · Gradient Updates22

    สรุปข่าว Epoch ประจำวันที่ 8 ตุลาคม 2026: ประมาณการจำนวน AI Agent, ต้นทุน AI ที่ลดลง และความเสี่ยงด้านชิปของจีน

    Epoch AI ประเมินว่าชิป AI ที่จัดส่งจนถึงปี 2027 อาจรองรับ frontier-model agent พร้อมกันได้ราว 30 ถึง 170 ล้านตัว หรือเกือบ 2 พันล้านตัวหากรันบนโมเดลที่ถูกกว่า งานวิจัยยังพบว่าต้นทุนของระดับประสิทธิภาพ AI ที่คงที่ลดลงประมาณ 47% ต่อไตรมาสในช่วงสามปี หรือราว 13 เท่าต่อปี นอกจากนี้ Epoch ยังประเมินว่าความเสี่ยงของจีนต่อการชะงักงันของอุปทานเซมิคอนดักเตอร์เป็น 2.7 เท่าของสหรัฐฯ

8 ตุลาคมวันพฤหัสบดี
  1. Zyphra Research36

    Zyphra Research: การจับคู่ผู้เชี่ยวชาญช่วยลดการสื่อสารในการฝึกโมเดล MoE ล่วงหน้า

    Zyphra Research แสดงให้เห็นว่าเส้นทางการเลือกผู้เชี่ยวชาญของ MoE มีโครงสร้างชัดเจน โดยผู้เชี่ยวชาญที่ถูกเลือกพร้อมกันมีความสัมพันธ์กันภายในเลเยอร์เดียวกัน และการเลือกผู้เชี่ยวชาญของโทเคนหนึ่งสามารถทำนายเส้นทางการเลือกในเลเยอร์ถัดไปได้ การใช้ประโยชน์จากสิ่งนี้ผ่านการจัดวางผู้เชี่ยวชาญที่สัมพันธ์กันและการสลับโทเคนช่วยลดเวลาการสื่อสารแบบ all-to-all ได้สูงสุดถึง 2.63 เท่า และปรับปรุงเวลาต่อขั้นตอนการฝึกแบบ end-to-end ได้สูงสุดถึง 1.41 เท่าในการทดลองกับ Megatron-LM บน GPU MI300X โดยไม่เปลี่ยนสถาปัตยกรรมหรือการตัดสินใจเลือกเส้นทาง

  2. Waymo Blog30

    การศึกษาโดย Waymo: คนขับที่ไม่มีแอลกอฮอล์ในร่างกายยังเผชิญความเสี่ยงต่อการเสียชีวิตจากอุบัติเหตุกลางคืนสูงเกือบ 4 เท่า

    งานวิจัยที่ผ่านการตรวจสอบโดยผู้เชี่ยวชาญของ Waymo พบว่าแม้แต่คนขับที่ไม่มีแอลกอฮอล์ในร่างกายเลยก็ยังเผชิญความเสี่ยงต่อการเสียชีวิตจากอุบัติเหตุกลางคืนสูงกว่าช่วงกลางวัน 3.1 ถึง 3.9 เท่า และการกำจัดคนขับที่เมาแอลกอฮอล์ออกไปช่วยลดการมีส่วนเกี่ยวข้องกับอุบัติเหตุเสียชีวิตในเมืองโดยเฉลี่ยลง 23% จาก 1.42 เหลือ 1.10 ต่อ 100 ล้านไมล์ การศึกษาที่สองซึ่งวิเคราะห์กรณีเสียชีวิต 37,654 กรณีในฐานข้อมูล FARS ปี 2023 แสดงให้เห็นว่าเพียง 8.2% เท่านั้นที่เกี่ยวข้องกับปัจจัยด้านพฤติกรรมของมนุษย์เพียงอย่างเดียว Waymo มองว่าผลการค้นพบนี้สนับสนุนแนวทาง Safe System Approach และสนับสนุนการ benchmarking การขับขี่อัตโนมัติเทียบกับพื้นฐานมนุษย์ที่มี BAC เป็นศูนย์

3 ตุลาคมวันเสาร์
  1. Epoch AI · Gradient Updates58

    Epoch AI: กำลังประมวลผลที่สร้างขึ้นในอีกสองปีข้างหน้าอาจรันเอเจนต์ AI ได้หลายร้อยล้านตัว

    Epoch AI ประเมินว่ากำลังประมวลผล AI ที่ผลิตขึ้นในอีกสองปีข้างหน้าอาจรองรับเอเจนต์ที่ทำงานพร้อมกันได้ตั้งแต่สิบถึงหลายร้อยล้านตัวเมื่อใช้โมเดลที่เก่งที่สุดในปัจจุบัน หรือหลายพันล้านตัวเมื่อใช้โมเดลที่ถูกกว่า การวิเคราะห์นี้ใช้การคาดการณ์การจัดส่ง HBM ตั้งแต่ปี 2025 ถึง 2027 นับ GPU เทียบเท่า GB300 และพบว่าเอเจนต์ระดับสูงสุดที่ทำงานไม่หยุดอาจให้ชั่วโมงทำงานรายสัปดาห์เทียบเท่าพนักงานเต็มเวลาประมาณ 140 ล้านถึง 700 ล้านคน ขณะที่เกณฑ์วัดของ DeepSeek V4 Pro บ่งชี้ว่าเอเจนต์ที่ทำงานพร้อมกันได้มีประมาณ 1.9 พันล้านตัว รายงานระบุว่าความไม่แน่นอนหลักคืออุปสงค์จะเติบโตเร็วพอที่จะรองรับการสร้างโครงสร้างพื้นฐานนี้ หรือจะทำให้มีเอเจนต์ล้นตลาด