ข้ามไปที่เนื้อหา
เฉพาะ งานวิจัย#ข้อมูล / การเทรน
13 พฤศจิกายนวันศุกร์
  1. Hacker News · AI58

    การศึกษาพบว่า 13.7% ของแพ็กเกจ npm ใหม่ในช่วงครึ่งแรกของปี 2026 มีการปักหมุดเวอร์ชันเก่าที่มีลักษณะเหมือน AI สร้าง

    Kobi Mozgori สุ่มตัวอย่างแพ็กเกจ npm จำนวน 250,000 แพ็กเกจ และพบว่าแพ็กเกจใหม่ที่มีการปักหมุดเวอร์ชันของ dependency ส่วนใหญ่เป็นเลขลงท้าย x.0.0 ที่ถูกแทนที่ไปแล้ว เพิ่มขึ้นจากฐาน 1–2.4% ในปี 2019 ถึงต้นปี 2024 เป็น 13.7% ในครึ่งแรกของปี 2026 และลดลงเหลือ 7.6% ในครึ่งหลังของปี 2026 ถึงต้นเดือนพฤศจิกายน ค่ามัธยฐานของอายุ dependency ที่ถูกปักหมุดอยู่ที่ประมาณ 155 วันตอนสร้างแพ็กเกจในช่วงปี 2021–2023 แต่เพิ่มเป็น 451 วันในไตรมาสที่ 2 ของปี 2026 และสัดส่วนแพ็กเกจที่สร้างขึ้นโดยมีการปักหมุดเกือบทั้งหมดอยู่ที่รีลีสล่าสุดลดลงจากประมาณ 28% เหลือประมาณ 10% ผู้เขียนตีความรูปแบบนี้ว่าเป็นการอนุมานมากกว่าการพิสูจน์ เนื่องจากข้อมูลเมตาของ registry ไม่สามารถแสดงได้ว่าใครหรืออะไรเป็นผู้เขียน manifest และตั้งข้อสังเกตว่าการลดลงตั้งแต่กลางปี 2026 ยังไม่มีคำอธิบาย

  2. Hacker News · AI85

    การวิเคราะห์ทางนิติวิทยาศาสตร์เชื่อมโยงโมเดลจีนระดับแนวหน้า 6 รุ่นกับ GPU NVIDIA Blackwell ที่ถูกควบคุมการส่งออก

    การวิเคราะห์ทางนิติวิทยาศาสตร์ของ Unemployment Labs ต่อน้ำหนักโมเดลที่เผยแพร่พบว่าโมเดล 6 รุ่นจาก DeepSeek, Moonshot AI, MiniMax และ Ant Group ถูกเริ่มต้นบนฮาร์ดแวร์ NVIDIA Blackwell ขณะที่โมเดลรุ่นก่อนหน้าจากแล็บเดียวกันตรงกับ Hopper วิธีการนี้กู้คืน random seed และเลย์เอาต์เธรดของแต่ละโมเดลจากน้ำหนักที่เก็บรักษาไว้ และผู้เขียนกล่าวว่าการจับคู่ถูกทำซ้ำบนชิป H100, B300 และ GB200 จริง รายงานประเมินว่าแต่ละการฝึกอบรมต้องใช้ GPU Blackwell ประมาณ 500 ถึง 3,000 ตัวเป็นเวลาสองถึงสามเดือน และระบุว่าหลักฐานไม่ได้ยืนยันว่าชิปตั้งอยู่ที่ใดหรือมีการละเมิดมาตรการควบคุมการส่งออกหรือไม่

    ทำไมเรื่องนี้สำคัญ: รายงานได้มาซึ่งหลักฐานฮาร์ดแวร์จากน้ำหนักโมเดลที่เผยแพร่เพียงอย่างเดียว โดยเสนอวิธีการที่ทำซ้ำได้สำหรับการติดตามว่า GPU ใดเป็นผู้เริ่มต้นโมเดล โดยไม่ต้องพึ่งพาการรั่วไหล

12 พฤศจิกายนวันพฤหัสบดี
  1. MIT News34

    นักวิจัย MIT พัฒนาเทคนิคการฝึกฝนสำหรับตัวจำลองสภาพภูมิอากาศที่เร็วและน่าเชื่อถือยิ่งขึ้น

    นักวิจัย MIT ได้พัฒนาเทคนิคการฝึกฝนที่ช่วยเพิ่มประสิทธิภาพและความสามารถในการปรับตัวของตัวจำลองสภาพภูมิอากาศ AI โดยใช้ข้อมูลเพียงเศษเสี้ยวของที่ปกติต้องใช้ วิธีการนี้สร้างสถานการณ์การฝึกฝนสังเคราะห์ที่ปรับให้เหมาะสมพร้อมการเปลี่ยนแปลงการปล่อยมลพิษอย่างรวดเร็ว ทำให้ตัวจำลองที่ฝึกฝนด้วยข้อมูลน้อยกว่ามากสามารถคาดการณ์สถานการณ์ที่ไม่เคยเห็นได้อย่างแม่นยำ ซึ่งตัวจำลองแบบดั้งเดิมล้มเหลว งานนี้ตีพิมพ์ใน Proceedings of the National Academy of Sciences

  2. Google Research58

    Google Research ใช้เทคโนโลยีสวมใส่สร้างโปรไฟล์ความเสี่ยง CKM และการโค้ชเฉพาะบุคคล

    Google Research ได้แนะนำกรอบการวิจัยที่เปลี่ยนข้อมูลจากอุปกรณ์สวมใส่สำหรับผู้บริโภคให้เป็นอายุสุขภาพที่สามารถโค้ชได้ และจำลองเส้นทางสุขภาพเฉพาะบุคคลแบบ 12 สัปดาห์ในลักษณะ what-if โมเดลโลก SensorWM ถูกฝึกฝนล่วงหน้าด้วยข้อมูล Fitbit ที่ไม่ระบุตัวตนจำนวน 2.28 ล้านคน-สัปดาห์จากผู้ใช้ประมาณ 100,000 คน และคาดการณ์ตัวชี้วัดทางสรีรวิทยา 20 รายการภายใต้รูปแบบการเดิน การนอน และคาร์ดิโอที่แตกต่างกัน ในการศึกษาที่ปกปิดข้อมูล ผู้ฝึกสอนไลฟ์สไตล์เลือกแผนที่อ้างอิงจากสถานการณ์สมมติว่าเป็นแผนที่ดีที่สุดโดยรวมในการประเมิน 71.4% และแพทย์ให้คะแนน 99.2% ของแผนว่าอยู่ในขีดจำกัดความเข้มข้นของการออกกำลังกายที่ปลอดภัย ผู้เขียนระบุว่าโมเดลเหล่านี้เป็นต้นแบบการวิจัย ไม่ใช่เครื่องมือวินิจฉัยทางคลินิก

11 พฤศจิกายนวันพุธ
  1. inclusionAI Models40

    inclusionAI เปิดตัวโมเดล ZoomGain-9B และ ZoomGain-4B พร้อม ZoomGainBench และข้อมูลฝึก RL

    inclusionAI เปิดตัวเช็กพอยต์โมเดลวิชัน-ภาษา ZoomGain-9B และ ZoomGain-4B พร้อมกับเกณฑ์มาตรฐานการประเมิน ZoomGainBench และข้อมูลฝึก RL ของ ZoomGain โดย ZoomGain ขุดค้นช่องว่างการรับรู้จากภาพรวมสู่การซูมเพื่อสร้างการกำกับดูแลภาพแบบละเอียด และ ZoomGain-9B มีประสิทธิภาพเหนือกว่าในเกณฑ์มาตรฐานการรับรู้แบบละเอียดและแบบทั่วไปหลายรายการ ZoomGainBench มีคำถาม 1,000 ข้อจากภาพ 941 ภาพ ขณะที่ชุดข้อมูล RL มีบันทึกการฝึก 9,000 รายการและภาพต้นฉบับ 7,713 ภาพ

  2. inclusionAI Models38

    inclusionAI เปิดตัว ZoomGain-4B และ ZoomGain-9B พร้อม ZoomGainBench และข้อมูลฝึก RL

    inclusionAI เผยแพร่บทความ arXiv, แบบประเมิน ZoomGainBench, ชุดข้อมูลฝึก RL และเช็กพอยต์โมเดล ZoomGain-4B/ZoomGain-9B โดยโมเดลที่ดีที่สุดใน 28 โมเดลได้คะแนน 61.08 บน ZoomGainBench ขณะที่ ZoomGain-9B ทำผลงานได้เหนือกว่าในแบบประเมินการรับรู้แบบละเอียดและแบบทั่วไปหลายรายการ ZoomGain ขุดค้นช่องว่างการรับรู้จากภาพรวมสู่การซูมเพื่อสร้างการกำกับดูแลภาพแบบละเอียดสำหรับโมเดลภาษา-ภาพ

  3. Microsoft Research75

    นักวิจัย Microsoft อธิบาย Lazarus แบ็กดอร์ที่ตั้งโปรแกรมนิวรอนที่อยู่เฉยใหม่ในเอเจนต์ AI

    นักวิจัย Microsoft อธิบาย Lazarus เทคนิคแบ็กดอร์ที่ตั้งโปรแกรมนิวรอนที่อยู่เฉยน้อยกว่า 10 ตัวใน LLM ใหม่ เพื่อให้เอเจนต์ที่สร้างบนโมเดลนั้นส่งคำสั่งของผู้โจมตีออกมาเมื่อทริกเกอร์ที่ซ่อนอยู่ปรากฏ โดยไม่ต้องฝึกใหม่ โมเดลที่ถูกแก้ไขยังผ่านการประเมินมาตรฐานและทำงานปกติจนกว่าทริกเกอร์จะทำงาน ซึ่งอาจง่ายเพียงการเปลี่ยนวันที่ จากนั้นเอเจนต์จะรันโค้ดที่ดาวน์โหลดมาด้วยสิทธิ์การเข้าถึงที่ได้รับ ผู้เขียนระบุว่าการตรวจจับต้องเปรียบเทียบกับน้ำหนักต้นฉบับ และ Microsoft Foundry เชื่อมโยงโมเดล open-weight กับผู้เผยแพร่และสแกนคอนเทนเนอร์ของโมเดลอยู่แล้ว ขณะที่ชุดทดสอบ red-teaming การสแกนน้ำหนักแบบเอเจนต์ และโมเดลที่ลงนามพร้อมแหล่งที่มาที่ตรวจจับการแก้ไขได้อยู่ระหว่างการพัฒนา

    ทำไมเรื่องนี้สำคัญ: นักวิจัย Microsoft แสดงให้เห็นว่าการตั้งโปรแกรมนิวรอนที่อยู่เฉยน้อยกว่า 10 ตัวใหม่สามารถฝังแบ็กดอร์ในเอเจนต์ LLM ได้โดยไม่ต้องฝึกใหม่ ซึ่งทำให้แหล่งที่มาและความสมบูรณ์ของน้ำหนักกลายเป็นข้อกำหนดด้านความปลอดภัยในทางปฏิบัติ

10 พฤศจิกายนวันอังคาร
  1. Apple Machine Learning Research34

    Weighted State Souping สำหรับการค้นคืนบริบทยาวอย่างมีประสิทธิภาพ

    นักวิจัยจาก Apple และผู้ร่วมงานจาก Harvard เสนอ weighted state souping ซึ่งเป็นวิธีการที่เรียนรู้ค่าน้ำหนักที่ขึ้นกับคิวรีสำหรับการรวมการเข้ารหัสสถานะ SSM ที่แคชไว้ใหม่ ช่วยปรับปรุงประสิทธิภาพบริบทยาวในงานตอบคำถามจากเอกสารแบบ single-hop และ multi-hop การค้นคืนแบบ needle-in-a-haystack การติดตามตัวแปร และการใช้เครื่องมือ รูปแบบ sparse บรรลุต้นทุนการเข้ารหัสที่เกือบคงที่เมื่อเทียบกับความยาวบริบท พร้อมรักษาหรือบางครั้งปรับปรุงประสิทธิภาพ บทความนี้ได้รับการตอบรับที่งาน PALM workshop ใน NeurIPS 2026

  2. Apple Machine Learning Research38

    งานวิจัยจาก Apple: กลไก Gating อธิบายว่าทำไม SSMs จึงจดจำแทนที่จะเรียนรู้แบบ In-Context

    งานวิจัยจาก Apple และ Harvard แสดงให้เห็นว่ากลไก gating ใน State Space Models (SSMs) ทำให้โมเดลเรียนรู้วิธีแก้แบบ "การจดจำ" (memorization) ที่ฝังอยู่ใน weights ก่อน ซึ่งทำให้การลู่เข้าสู่การเรียนรู้แบบ in-context ที่ถูกต้องล่าช้าหรืออาจไม่เกิดขึ้นเลย แม้ว่าสถาปัตยกรรมและความจุหน่วยความจำจะไม่ได้จำกัดพื้นฐานใดๆ ก็ตาม อย่างไรก็ตาม gating มักช่วยปรับปรุงการ generalize ไปยังความยาวลำดับที่ยาวขึ้น

  3. Apple Machine Learning Research31

    งานวิจัยของ Apple ประเมิน LLM judges สำหรับการประเมินสไตล์การเขียนแบบเฉพาะบุคคล

    นักวิจัยของ Apple ทดสอบว่า LLM judges ประเมินได้ดีเพียงใดว่าข้อความที่สร้างขึ้นตรงกับสไตล์การเขียนที่ผู้ใช้ชื่นชอบหรือไม่ โดยสร้างข้อความด้วย LLM สี่ตัวในงานเขียนยาวสามประเภท และเปรียบเทียบคำannotations ของ judge กับป้ายกำกับแบบ pairwise จากมนุษย์ คุณภาพของ judge มีความสัมพันธ์เพียงเล็กน้อยกับความสามารถทั่วไปของ LLM บน MMLU (Pearson's ρ ≤ 0.2) และแปรผันตามประเภทงานเขียนและเกณฑ์การประเมิน และการเปรียบเทียบแบบจับคู่ให้ผลที่สอดคล้องมากกว่าการให้คะแนนแบบอิสระ LLM ที่แข็งแกร่งที่สุดไม่ได้จำลองการประเมินของมนุษย์ได้น่าเชื่อถือที่สุดเสมอไป ซึ่งอาจเป็นเพราะความไวที่เกินจริงต่อรายละเอียดเล็กๆ น้อยๆ

  4. Goodfire Research62

    Goodfire ศึกษาเซลล์ประสาทของ Qwen3.6-35B-A3B ในฐานะพื้นฐานที่ตีความได้

    Goodfire Research เผยแพร่งานศึกษาที่โต้แย้งว่าเซลล์ประสาท MLP แต่ละตัวใน Qwen3.6-35B-A3B สามารถตีความได้มากกว่าที่เคยคิด โดยอิงจากการทำให้เบาบาง เครื่องมือระบุที่มา และเอเจนต์วิจัย การตัดการทำงานของแอกทิเวชันเซลล์ประสาท MoE ที่อ่อนที่สุด 92.2% ต่อการส่งผ่านไปข้างหน้าหนึ่งครั้ง ทำให้ loss ของโมเดลภาษาสูงขึ้นเพียง 2.9% และ 69% ของขั้วเซลล์ประสาทมีโหมดเดียวที่รับผิดชอบต่อผลเชิงสาเหตุอย่างน้อย 90% คำอธิบายเซลล์ประสาทด้วยภาษาธรรมชาติทำให้โมเดลผู้ตัดสินสามารถทำนายการทำงานได้ด้วยความแม่นยำ 95% เทียบกับข้อความสุ่ม และฟื้นคืนความเสียหายจากการตัดการทำงานได้ 73% ผ่านการจำลอง

    ทำไมเรื่องนี้สำคัญ: งานศึกษาของ Goodfire เกี่ยวกับเซลล์ประสาทของ Qwen3.6-35B-A3B โต้แย้งว่าแอกทิเวชันที่แข็งแกร่งเพียงลำพังแบกการคำนวณส่วนใหญ่ของโมเดลไว้ พร้อมเสนอทางเลือกที่เป็นรูปธรรมต่อการตีความแบบ feature-dictionary

9 พฤศจิกายนวันจันทร์
  1. Hugging Face Blog38

    NVIDIA และ Elith เปิดตัวชุดข้อมูลสังเคราะห์ Nemotron-Personas-Finance-Japan

    Elith และ NVIDIA ได้เปิดตัว Nemotron-Personas-Finance-Japan ชุดข้อมูลบุคคลสังเคราะห์แบบเปิดสำหรับภาคการเงินของญี่ปุ่น สร้างขึ้นจากสถิติราชการ มีข้อมูลบุคคลจำนวน 9M รายการ (1M ระเบียน × 9 บุคคล) ครอบคลุม 50 ฟิลด์ และประมาณ 1.5B โทเค็น สร้างด้วย NeMo SDG-PGMs และ NeMo Data Designer และเผยแพร่ภายใต้สัญญาอนุญาต CC BY 4.0 สำหรับการใช้งานเชิงพาณิชย์

  2. inclusionAI Repositories38

    ZoomGain: การขุดช่องว่างการรับรู้จากภาพรวมสู่การซูมสำหรับการกำกับดูแลด้วยภาพอย่างละเอียด

    ZoomGain สร้างคำถามเกี่ยวกับภาพเต็มจากรายละเอียดทางภาพที่ชัดเจนขึ้นเมื่อซูมเข้า โดยใช้ช่องว่างการรับรู้จากภาพรวมสู่การซูมนี้เป็น信号กำกับสำหรับโมเดลภาษา-ภาพ การเผยแพร่ประกอบด้วยบทความ arXiv, Benchmark ZoomGainBench (1,000 คำถามจาก 941 ภาพ ครอบคลุมการจดจำคุณลักษณะ การนับ และ OCR), บันทึกการฝึก RL 9,000 รายการจากภาพต้นฉบับ 7,713 ภาพ และ checkpoint ZoomGain-4B และ ZoomGain-9B โมเดลที่ดีที่สุดใน 28 โมเดลได้คะแนน 61.08 บน ZoomGainBench ขณะที่ ZoomGain-9B ทำได้เหนือกว่าใน benchmark การรับรู้แบบละเอียดและทั่วไปหลายรายการ

8 พฤศจิกายนวันอาทิตย์
  1. Artificial Analysis Articles38

    Artificial Analysis Decision Index v2 เปิดตัวพร้อม Decision Score ใหม่และ Private Benchmarks

    Artificial Analysis เปิดตัว Decision Index v2 โดย 45% ของ Index สร้างจากชุดข้อมูลส่วนตัว เพิ่มขึ้นจาก 25% ใน v1 Drex Max v1.1 จาก Nace AI นำโมเดลตัดสินใจอย่างเฉียดฉิวที่ 73 ห่างจาก GLiDE v1.2 และ Mammoth 27B ไม่ถึง 1 คะแนน Decision Score ใหม่ให้รางวัลทั้งความถูกต้องและความมั่นใจที่ปรับเทียบแล้ว ขณะที่ AA-Paperclip และ AA-Symmetry เพิ่มการทดสอบเอกสารส่วนตัวและความสอดคล้อง

6 พฤศจิกายนวันศุกร์
  1. Hugging Face Blog58

    Ai2 เปิดตัว ToyBlocks โลกจำลองแบบเปิดสำหรับการจัดการบล็อกเพื่อการเรียนรู้ของหุ่นยนต์

    Ai2 เปิดตัว ToyBlocks กรอบการจำลองแบบเปิดที่สร้างขึ้นรอบแขนหุ่นยนต์และบล็อกบนโต๊ะ เป็นFoundationWorldsตัวแรกสำหรับการเรียนรู้และประเมินผลหุ่นยนต์แบบควบคุม กรอบนี้สร้างทักษะและการสาธิตโดยอัตโนมัติผ่าน RL และการวางแผนการเคลื่อนไหวใน Isaac Lab ทำความเร็วได้ถึง 24 เท่าของเวลาจริงบน GPU เดียว และมาพร้อมการสาธิตระยะยาว 85,336 ชุด ครอบคลุมเกือบ 1,600 ชั่วโมงและ 144 ล้านเฟรม ในการทดลองของพวกเขา ความสำเร็จของทักษะระดับอะตอมของ ManiFlow อยู่ที่ 80.0% ในการจำลองและ 81.1% บน Franka FR3 จริง ขณะที่ระบบ Molmo 2 ร่วมกับ ManiFlow ประสบความสำเร็จ 55.5% ของตอนในการจำลองและ 50.0% ในโลกจริง

  2. vLLM Blog77

    REINFORCE Zero: การจัดแนวเคอร์เนลช่วยให้ Async RL เสถียรที่ Policy Lag 64 ขยายไปถึง DeepSeek-V4.1 และ Kimi K3.1

    บทความ REINFORCE Zero ของ NVIDIA Research และ Inferact แสดงให้เห็นว่าการจัดแนวเคอร์เนลของ rollout และ trainer ทำให้ unclipped token-level importance sampling สามารถแก้ไข weight lag ที่เหลืออยู่ได้ ทำให้ฝึกได้อย่างเสถียรถึง 20,000 อัปเดตที่ policy lag 64 และได้ throughput ของ training-step เป็น 2.40 เท่าของการฝึกแบบ synchronous ด้วยเคอร์เนลที่จัดแนวแล้ว ด้วยเคอร์เนลมาตรฐาน ค่ามัธยฐาน rollout-to-learner KL เพิ่มขึ้น 83.33 เท่าตลอดการรัน และ online AIME24 pass@1 ลดลงจาก 34.27% เหลือ 13.96% ขณะที่ sequence gate ช่วยให้การฝึกเสถียรแต่ปฏิเสธ 24.48% ของ sequence ภายใน 1,000 อัปเดตสุดท้าย การตั้งค่า zero-mismatch ครอบคลุม DeepSeek-V4.1-Flash, Kimi K3.1 ในวันเปิดตัว และ DeepSeek-V4-Flash กับ Kimi K3.1 บน AMD MI355X โดยมีโค้ดอยู่ที่ Inferact/zero-mismatch-rl และ NVIDIA-NeMo/labs-molt

    ทำไมเรื่องนี้สำคัญ: NVIDIA Research และ Inferact แยกช่องว่างระหว่าง rollout-learner ของ async RL ออกเป็น weight lag และ kernel mismatch โดยแสดงให้เห็นว่าการจัดแนวเคอร์เนลทำให้ unclipped importance sampling รักษาการฝึกที่เสถียรที่ policy lag 64 ได้

5 พฤศจิกายนวันพฤหัสบดี
  1. Apple Machine Learning Research38

    ฟังก์ชันสนับสนุนที่เรียนรู้ของ Apple เร่งความเร็วการดึงข้อมูล RAG

    นักวิจัยของ Apple นำเสนอ "Amortizing Maximum Inner Product Search with Learned Support Functions" ที่ ICML 2026 โดยฝึกโครงข่ายประสาทเทียมขนาดเล็กแบบออฟไลน์เพื่อกำหนดเส้นทางคำค้นไปยังคีย์ที่ตรงที่สุดได้เร็วขึ้น SupportNet เรียนรู้ฟังก์ชันสนับสนุนผ่านโครงข่ายประสาทเทียมแบบนูนเชิงอินพุต (ICNNs) เพื่อปรับปรุงการกำหนดเส้นทางคลัสเตอร์ ขณะที่ KeyNet ส่งออกเวกเตอร์คีย์ที่ตรงที่สุดโดยตรง โดยคงความสมเหตุสมผลเชิงเรขาคณิตด้วยฟังก์ชันความสูญเสียความสอดคล้องจากทฤษฎีบทของออยเลอร์ ทั้งสองได้รับการฝึกบนการกระจายคำค้นจริง แลกเปลี่ยนต้นทุนการตัดจำหน่ายล่วงหน้าสำหรับการดึงข้อมูลที่เร็วและแม่นยำขึ้นในเวลาอนุมาน

  2. Google Research47

    งานวิจัยของ Google ช่วยให้มนุษย์นิยามหมวดหมู่ AI แบบอัตวิสัยได้ด้วย Agile Deliberation

    Google Research เปิดตัว Agile Deliberation ซึ่งเป็นกรอบการทำงานที่เปลี่ยนการสร้างตัวจำแนกประเภท AI แบบอัตวิสัยให้เป็นการสนทนาแบบวนซ้ำที่ AI ช่วยให้ผู้ใช้ปรับปรุงคำนิยามของตนเองให้ชัดเจนขึ้น โดยแบ่งงานออกเป็นการกำหนดขอบเขตแนวคิดและการวนซ้ำแนวคิด ใช้โมเดลภาพ-ภาษาเพื่อแสดงภาพที่อยู่กึ่งกลางและส่งต่อข้อเสนอแนะเข้าสู่วงจรการปรับแต่งพรอมต์อัตโนมัติ ในการทดลองกับผู้ใช้จริง 18 ครั้ง ครั้งละ 1.5 ชั่วโมง วิธีนี้ช่วยลดความเหนื่อยล้าและความกังวลของผู้ใช้ และสร้างโมเดลที่สอดคล้องกันมากขึ้นซึ่งมีประสิทธิภาพเหนือกว่าฐานมาตรฐาน โค้ดเปิดเผยเป็นโอเพนซอร์สบน GitHub

  3. Anthropic Research58

    Anthropic ศึกษาว่านักวิจัยใช้ Claude ในสาขาวิทยาศาสตร์และงานประเภทใดบ้าง

    Anthropic วิเคราะห์เซสชันการวิจัยของ Claude และ Claude Code จำนวน 207,049 เซสชัน ระหว่างวันที่ 2 สิงหาคมถึง 30 กันยายน 2026 โดยใช้ตัวจำแนกประเภทที่รักษาความเป็นส่วนตัว และพบว่านักวิทยาศาสตร์ใช้ Claude มากที่สุดสำหรับการวิเคราะห์ข้อมูลและการเขียน และน้อยที่สุดสำหรับการรวบรวมข้อมูลและการระดมความคิด การวิเคราะห์ข้อมูลคิดเป็น 33.7% ของเซสชัน Claude และ 48.1% ของเซสชัน Claude Code เทียบกับ 27.6% ของเวลานักวิจัย ขณะที่การระดมความคิดคิดเป็น 4.2% และ 2.1% ของเซสชัน เทียบกับ 7.1% ของเวลานักวิจัย รายงานประเมินว่าการนำความสามารถปัจจุบันไปใช้อย่างกว้างขวางอาจเพิ่มผลผลิตงานวิจัยในบางสาขาได้ราวสองเท่า และการทำงานอัตโนมัติเต็มรูปแบบของงานที่ไม่ใช่กายภาพอาจยกระดับสาขาเช่นวิทยาการคอมพิวเตอร์และสถิติได้มากถึง 15 เท่า

  4. Goodfire Research58

    Goodfire Research เสนอ mechanistic shaping เพื่อควบคุมโมเดลผ่านการแทนค่าภายใน

    Goodfire Research เสนอ mechanistic shaping ซึ่งเป็นกรอบการทำงานที่เพิ่มบทลงโทษต่อทิศทางแนวคิดภายในของโมเดลระหว่างการฝึก เพื่อให้โมเดลเรียนรู้ที่จะพึ่งพาหรือแสดงแนวคิดเฉพาะแทนที่จะเพียงเพิ่มรางวัลจากงานให้สูงสุด ในการทดลองกับภาพเอกซเรย์ทรวงอก เอเจนต์ LLM ใช้คุณลักษณะจาก sparse autoencoder เพื่อค้นหาทิศทางทางลัดที่มีลักษณะคล้ายท่อ และ reliance shaping เอาชนะทั้งการฝึกแบบมาตรฐานและฐานข้อมูลที่สมดุล

4 พฤศจิกายนวันพุธ
  1. Anthropic Research66

    ห้องปฏิบัติการชีววิทยาของ Anthropic รายงานโครงสร้างอนุภาค vault ของโปรคาริโอตเป็นครั้งแรก ถอดรหัสด้วย Claude

    ห้องปฏิบัติการวิจัยชีววิทยาของ Anthropic รายงานโครงสร้าง 3 มิติของอนุภาค vault ที่พบในเซลล์โปรคาริโอตเป็นครั้งแรก เป็นโปรตีนจากฟาจชื่อ L05 ประกอบจาก 96 ชุด มีมวลประมาณ 9.5 เมกะดาลตัน ภายใต้การกำกับของทีม Claude ได้ค้นฐานข้อมูลโปรตีนที่ทำนายไว้ประมาณ 15 พันล้านรายการ ออกแบบโครงสร้าง DNA ปรับแต่งวิธีการแยกด้วย size-exclusion chromatography ซึ่งลดเวลาการทำให้บริสุทธิ์จากสามวันเหลือประมาณ 90 นาที และดำเนินการประมวลผล cryo-EM ด้วย RELION ซึ่งสร้างแบบจำลองเต็มรูปแบบชิ้นแรกได้ใน 34 ชั่วโมง preprint ถูกส่งไปยัง bioRxiv แล้ว และทีมระบุว่าหน้าที่ทางชีววิทยาของ vault ยังไม่เป็นที่ทราบ

    ทำไมเรื่องนี้สำคัญ: ห้องปฏิบัติการชีววิทยาของ Anthropic รายงานโครงสร้าง 3 มิติของอนุภาค vault จากโปรคาริโอตเป็นครั้งแรก โดย Claude รับผิดชอบการค้นฐานข้อมูล การออกแบบโครงสร้าง การทำให้บริสุทธิ์ และการประมวลผล cryo-EM

3 พฤศจิกายนวันอังคาร
  1. Ai2 · Allen Institute for AI55

    Ai2 เปิดตัว StateBench เพื่อทดสอบว่าโมเดลภาษาติดตามการเปลี่ยนแปลงสถานะในเอกสารยาวได้อย่างไร

    Ai2 เปิดตัว StateBench ซึ่งเป็นเบนช์มาร์กที่มีสี่ระดับความยากสำหรับการติดตามสถานะในบริบทแบบยาว ตั้งแต่การกำหนดค่าที่ไม่เปลี่ยนแปลง ไปจนถึงการอัปเดตแบบอ้างอิงตนเองและแบบอ้างอิงข้าม ในการทดสอบ Gemini 3.8 Flash, Claude Opus 5.5 และ GPT-6 Sol และ Luna จัดการระดับที่ง่ายกว่าได้ แต่ลดลงเหลือ 13% หรือต่ำกว่าบนปัญหาจำกัดทั่วไปที่ยาวที่สุด ขณะที่ Gated DeltaNet ขนาด 275M พารามิเตอร์และโมเดลไฮบริดที่ฝึกจากศูนย์สามารถ généralisé ได้เกือบสมบูรณ์แบบในสามระดับแรก และทรานส์ฟอร์เมอร์ไม่เคยเรียนรู้ระดับที่ยากที่สุดได้เลย

  2. Apple Machine Learning Research32

    Attention to Mamba: สูตรสำหรับการกลั่นข้ามสถาปัตยกรรม

    นักวิจัยของ Apple เสนอสูตรสองขั้นตอนสำหรับการกลั่น Transformer ให้เป็นสถาปัตยกรรม Mamba แท้ที่ไม่มีบล็อก Attention เลย วิธีการนี้เริ่มจากการกลั่น Transformer ที่ผ่านการฝึกมาก่อนให้เป็นโมเดล Attention แบบเชิงเส้นผ่านเทคนิคเคอร์เนลที่ดัดแปลง จากนั้นจึงกลั่นโมเดลนั้นให้เป็นโมเดล Mamba ที่ดัดแปลง ผลลัพธ์คือ Mamba ที่กลั่นแล้วยังคงประสิทธิภาพส่วนใหญ่ของ Pythia-1B ไว้ได้ โดยมี perplexity อยู่ที่ 14.01 เทียบกับ 13.86 ของโมเดลครู และยังมีช่องว่างในงานที่ต้องอาศัยการเรียกคืนจากบริบท

2 พฤศจิกายนวันจันทร์
  1. SemiAnalysis58

    SemiAnalysis เปิดตัว GDPx benchmark สำหรับความสามารถของ agentic frontier ในโดเมนมูลค่าสูง

    SemiAnalysis เปิดตัว GDPx ซึ่งเป็น benchmark ที่ครอบคลุมการออกแบบชิป ความปลอดภัยไซเบอร์ ชีววิทยา การเงิน กฎหมาย การซื้อขายเชิงปริมาณ RSI การออกแบบฮาร์ดแวร์ วัสดุศาสตร์ alignment และวิศวกรรมซอฟต์แวร์ สร้างขึ้นร่วมกับพันธมิตรด้านสภาพแวดล้อม RL เฉพาะทาง 14 ราย แม้แต่โมเดลที่ดีที่สุดก็ได้คะแนนเพียง 12% โดย Opus 5.5 ชนะด้านการซื้อขายเชิงปริมาณ ฮาร์ดแวร์ และการออกแบบชิป Gemini 4 Carbon นำในด้านชีววิทยาและวิศวกรรมซอฟต์แวร์ และ GPT-6 Astra เป็นผู้นำในด้าน RSI และวัสดุศาสตร์ ทุกงานรันในสภาพแวดล้อมจำลองที่สมจริง เช่น ห้องดีล private equity ที่มีไฟล์ประมาณ 4,000 ไฟล์ หรือ cyber range แบบหลายบริการที่ใช้งานจริง ต่างจาก GDPval ของ OpenAI ซึ่ง SemiAnalysis โต้แย้งว่าป้อนบริบทให้เกินไปและขาดสภาพแวดล้อม

30 ตุลาคมวันศุกร์
  1. Microsoft Research40

    Microsoft สร้างแพลตฟอร์มข้อมูลองค์กรสังเคราะห์เพื่อประเมิน Copilot

    แพลตฟอร์ม Industry Evaluation Data Generation Platform ของ Microsoft สร้างสภาพแวดล้อมองค์กรสังเคราะห์แบบครบวงจรเพื่อประเมิน Microsoft Copilot โดยไม่ใช้ข้อมูลลูกค้า โดยอ้างอิงจากแหล่งข้อมูลสาธารณะ เช่น ข้อมูลอาชีพ O*NET ประกาศรับสมัครงาน และเอกสารที่ยื่นต่อ SEC ระบบจะสร้าง tenant ที่สมจริงพร้อมผู้ใช้ การประชุม อีเมล และเอกสาร รวมถึงไปป์ไลน์การสอบถามอัตโนมัติและกรอบการประเมินคุณภาพ Microsoft ระบุว่าสิ่งนี้สร้างมาตรฐานพื้นฐานการประเมินแบบมาตรฐานแห่งแรกสำหรับ Copilot

  2. Amazon Science38

    เร่งความเร็ว LLM สำหรับแอปพลิเคชันท่องเที่ยว: Medusa ผสาน knowledge distillation

    การผสาน knowledge distillation เข้ากับเฟรมเวิร์ก Medusa ช่วยให้นักเรียน TinyLlama ขนาด 1.1B พารามิเตอร์มีคุณภาพทัดเทียมกับครู Llama-3.1 ขนาด 70B พารามิเตอร์ ขณะที่ทำงานเร็วขึ้น 10 ถึง 20 เท่าในต้นทุนต่ำกว่าหนึ่งในสาม การทำงานร่วมกับ Booking.com ใน AI Trip Planner, Smart Filters และการสร้างคำอธิบายที่พัก ไปป์ไลน์นี้ปิดช่องว่างคุณภาพได้กว่า 90% และเพิ่มความเร็วได้อีก 2 ถึง 3.6 เท่าจาก Medusa heads

28 ตุลาคมวันพุธ
  1. Google Research58

    กรอบงาน sleep ของ Google Research ช่วยให้ LLM รวมความรู้ใหม่ได้โดยไม่ลืมความรู้เดิมอย่างรุนแรง

    Google Research ได้นำเสนอกรอบงาน sleep สำหรับการเรียนรู้อย่างต่อเนื่อง ซึ่งสลับระหว่างการโต้ตอบแบบแอคทีฟกับการรวมความจำแบบออฟไลน์ ทำให้ LLM ดูดซับข้อเท็จจริงใหม่เข้าสู่พารามิเตอร์ Mixture-of-Experts ที่ขยายเพิ่ม แทนที่จะสูญเสียความรู้เดิม วิธีการนี้ผสานการขยายพารามิเตอร์ การกลั่นแบบ on-policy ด้วยการเลียนแบบที่อิงการเรียนรู้แบบเสริมกำลัง และขั้นตอน dreaming ที่สร้างและกรองตัวอย่างการฝึกแบบสังเคราะห์ ผู้เขียนรายงานว่าการลดลงของประสิทธิภาพเกือบเป็นศูนย์ในการแปลอย่างต่อเนื่องสำหรับภาษาที่ไม่เคยเห็น เช่น ภาษาแมนจูและภาษากาลามัง การขยายขนาดเกือบสมบูรณ์แบบถึง 10M โทเค็นบน BABILong ผลลัพธ์ 48.9% สำหรับงานเดี่ยวและ 46.2% สำหรับ CPT ในการincorporation ข้อเท็จจริงจาก SQuAD และ 79.2%, 69.0% และ 46.1% บน AIME 24/25 และ HMMT 25

27 ตุลาคมวันอังคาร
  1. Ai2 · Allen Institute for AI58

    งานวิจัยของ Ai2 ทดสอบว่า LLMs สามารถตัดสินความใหม่ของแนวคิดการวิจัยได้อย่างน่าเชื่อถือหรือไม่

    Ai2 เผยแพร่ Old Ideas, Novel Problems ซึ่งเป็นงานวิจัยและ benchmark ที่ทดสอบว่า LLMs ประเมินความใหม่ของแนวคิดการวิจัยได้อย่างน่าเชื่อถือเพียงใด พร้อมกับข้อมูล โค้ด และ pipeline สำหรับสร้างชุดการประเมินใหม่ จากการทดสอบผู้ตัดสินหกราย ได้แก่ GPT-5.1, GPT-5.2, GPT-5.4, Claude Sonnet 4.5, Claude Opus 4.5 และ Claude Opus 4.6 การเปลี่ยนแปลง prompt เล็กน้อยทำให้ความแม่นยำเปลี่ยนไปมากกว่า 50 เปอร์เซ็นต์บนแนวคิดที่สร้างโดย AI และ baseline แบบ prompted Claude Opus 4.6 อย่างง่ายได้คะแนน macro-F1 0.854 ที่ราคา $2.59 เทียบกับ 0.642 ที่ $30.66 สำหรับ Idea Novelty Checker และ 0.772 ที่ $82.05 สำหรับ AI Scientist ของ Sakana AI

  2. Epoch AI · Gradient Updates58

    Epoch AI ทดสอบ AI ด้วยงานวิจัยของตัวเอง โมเดลชั้นนำได้ 65% และล้มเหลวทั้งหมด

    Epoch AI ขยายความพยายามก่อนหน้านี้ในการทำงานอัตโนมัติของนักวิจัยอาวุโสให้เป็น Epoch Automation Reports โดยประเมิน AI ในงานจริงของ Epoch เช่น การออกแบบกราฟิกและการวางแผนการวิจัย เทียบกับมาตรฐานเดียวกับที่ใช้กับพนักงานมนุษย์ 1 และ GPT-6 Astra ได้คะแนนเฉลี่ย 65% ตามเกณฑ์ แต่คะแนน 65% ยังถือว่างานล้มเหลว เนื่องจากทุกผลงานที่ส่งมาจะถูกปฏิเสธหรือแก้ไขหากเป็นมนุษย์ที่ทำ

23 ตุลาคมวันศุกร์
  1. Ai2 · Allen Institute for AI31

    LitPivot: ระบบของ Ai2 ช่วยนักวิจัยปรับเปลี่ยนแนวคิดการวิจัยผ่านวรรณกรรม

    นักวิจัยจาก Ai2 และมหาวิทยาลัยเพนซิลเวเนียสร้าง LitPivot ระบบที่จัดระเบียบบทความที่ค้นคืนได้ตามแง่มุมของข้อเสนอการวิจัยที่กำลังแก้ไข และแนะนำการปรับปรุงที่อ้างอิงวรรณกรรม ในการศึกษากับนักวิจัย 17 คน ผู้เชี่ยวชาญในสาขาประเมินว่าแนวคิดที่พัฒนาด้วย LitPivot มีพื้นฐานจากวรรณกรรมที่ดีกว่าแนวคิดที่สร้างด้วยโปรแกรมแก้ไขข้อความและเครื่องมือแชต AI ผู้เข้าร่วมยังรายงานว่าแนวคิดที่ปรับปรุงแล้วมีความแปลกใหม่และมีประโยชน์มากกว่า และ LitPivot จะถูกนำเสนอที่ UIST 2026

22 ตุลาคมวันพฤหัสบดี
  1. Microsoft Research64

    Microsoft Research และผู้ร่วมเขียนพิสูจน์ข้อสันนิษฐาน KLS ที่มีอายุ 31 ปี

    นักวิจัย Microsoft Xinzhi Zhang และผู้ร่วมเขียนได้พิสูจน์ข้อสันนิษฐาน Kannan-Lovász-Simonovits (KLS) ซึ่งเป็นปัญหาที่เปิดอยู่มา 31 ปีในเรขาคณิตมิติสูง โดยแสดงให้เห็นว่าขอบเขตดังกล่าวคงอยู่ด้วยค่าคงที่สากลที่ไม่ขึ้นกับมิติ การพิสูจน์นี้เกิดขึ้นจากกระบวนการเอเจนต์ที่มนุษย์กำกับดูแล ซึ่งเอเจนต์ AI สำรวจแนวทางที่เป็นไปได้มากกว่า 100 แนวทาง ขณะที่นักวิจัยตัดทิ้งและเปลี่ยนทิศทางการค้นหา และความพยายามแบบไม่มีคำแนะนำแยกต่างหากด้วยโมเดลชั้นนำภายใต้งบโทเค็นที่เทียบเคียงกันนั้นไม่ประสบผลสำเร็จ มีการพิสูจน์อีกสองชิ้นปรากฏขึ้นในวันเดียวกัน และต่อมาได้มีการเผยแพร่การทำให้เป็นรูปแบบ Lean 4

    ทำไมเรื่องนี้สำคัญ: ปัญหาที่เปิดอยู่มา 31 ปีในเรขาคณิตมิติสูงได้รับการแก้ไขผ่านการค้นหาแบบเอเจนต์ที่มนุษย์กำกับดูแลเหนือแนวทางที่เป็นไปได้ราว 100 แนวทาง โดยมีการพิสูจน์อิสระและการทำให้เป็นรูปแบบ Lean เป็นการยืนยัน

21 ตุลาคมวันพุธ
  1. Apple Machine Learning Research26

    TEAL: การเรียนรู้เชิงรุกที่มีประสิทธิภาพในระดับโทเคนสำหรับการแบ่งส่วนความหมายแบบงบประมาณต่ำ

    นักวิจัยจาก Apple (ร่วมกับ University of Waterloo) นำเสนอ TEAL ซึ่งเป็นกรอบการเรียนรู้เชิงรุกระดับพิกเซลกรอบแรกที่สร้างบนตัวแทน ViT ที่ถูกแช่แข็ง โดยเลือกผู้สมัครที่หลากหลายโดยตรงบนโครงข่ายโทเคนดั้งเดิมผ่านกลยุทธ์ MaxHerding สองระดับพร้อมการปรับแต่งความไม่แน่นอนตาม margin ด้วยพิกเซลที่มีป้ายกำกับเพียงหนึ่งพิกเซลต่อภาพ TEAL เอาชนะ baseline ที่แข็งแกร่งที่สุดได้ถึง +24.36 mIoU บน CamVid, Cityscapes, ADE20K และ Pascal Context โดยเข้าถึงประสิทธิภาพสูงถึง 97% ของการเรียนรู้แบบมีผู้สอนเต็มรูปแบบด้วยเพียง 10 px

17 ตุลาคมวันเสาร์
  1. Google Research71

    Google Research อธิบาย VERID และเวิร์กโฟลว์เอเจนต์แบบ closed-loop สำหรับห้องปฏิบัติการเปียกอัตโนมัติ

    Google Research อธิบายโครงการสามโครงการที่มุ่งเชื่อมโยงเอเจนต์ AI เข้ากับการทดลองในห้องปฏิบัติการเปียกจริง รวมถึงกรอบงาน VERID ซึ่งเป็นดิจิทัลทวินเชิงความหมายของ workcell ในห้องปฏิบัติการที่สร้างบนกรอบงานโอเพนซอร์ส PyLabRobot ติดตามเลย์เอาต์ของ deck ปริมาตรของ well และจำนวนทิป และทดลองรันโปรโตคอลแบบ dry-run ก่อนการดำเนินการจริง

    ทำไมเรื่องนี้สำคัญ: Google Research อธิบายโครงการสามโครงการที่เชื่อมต่อเอเจนต์ AI เข้ากับฮาร์ดแวร์ห้องปฏิบัติการเปียกจริง แสดงให้เห็นว่าการจำลองแบบ dry-run และการทดลองแบบ closed-loop ช่วยให้เอเจนต์แก้ไขกฎการออกแบบของตนเองได้อย่างไร

15 ตุลาคมวันพฤหัสบดี
  1. Goodfire Research62

    บทความวิจัยของ Goodfire อ้างว่าโครงข่ายประสาทเทียมนั้นสะอาดอยู่แล้ว และ superposition ถูกตีความผิด

    นักวิจัยของ Goodfire อ้างว่าหลักฐานตามแบบฉบับของ polysemanticity และ superposition ในโครงข่ายประสาทเทียมนั้นถูกตีความผิด และสิ่งที่ดูเหมือนการบรรจุแบบสุ่มนั้นแท้จริงแล้วส่วนใหญ่เป็น motif ที่เขาเรียกว่า recursive generalization การฝึก InceptionV1 ใหม่ด้วยการปรับปรุงสถาปัตยกรรมตามปกติโดยไม่เปลี่ยนขนาดโมเดลหรือข้อมูลฝึก ทำให้ 99-100% ของนิวรอนในเลเยอร์สุดท้ายตีความได้ง่าย และการตรวจสอบเบื้องต้นของ Qwen3-32B ประเมินว่าประมาณ 90% ของขั้วนิวรอนมีหน้าที่หลักอย่างหนึ่ง บทความสรุปว่าโครงข่ายใช้หลักการเรียนรู้เดียวไม่ใช่สองหลัก ดังนั้นการตีความจึงสามารถดำเนินการโดยการศึกษานิวรอนและวงจรโดยตรงแทนที่จะฝึกโมเดลแยกส่วนเช่น sparse autoencoder ก่อน

    ทำไมเรื่องนี้สำคัญ: การตีความหลักฐาน polysemanticity ตามแบบฉบับของสาขานี้ใหม่จากมุมมองของผู้วิจัยเอง โดยอ้างว่าโครงข่าย generalize แบบเวียนเกิดแทนที่จะบรรจุแนวคิดที่ไม่เกี่ยวข้องกัน ซึ่งจะทำให้การศึกษาเชิงกลไกโดยตรงเป็นไปได้

13 ตุลาคมวันอังคาร
  1. Modal Blog58

    Modal ทดสอบ RL sampler แบบ mixed-precision และ mixed-accelerator บน Qwen3.6-35B-A3B

    Modal เทรน Qwen3.6-35B-A3B ด้าน agentic coding โดยกระจาย sampler ไปยัง accelerator หกประเภท (B200, B300, H100, H200, A100, RTX PRO 6000) ที่ความแม่นยำ NVFP4, FP8 และ BF16 ป้อนเข้า trainer แบบ BF16 หนึ่งตัวบน B200 GRPO แบบธรรมดาล้มเหลวทั้งบน sampler แบบผสมและแบบ homogeneous แต่เมื่อเพิ่ม masked importance sampling พร้อม score centering ไม่ว่าจะมีหรือไม่มี top-p mask replay ก็เทรนได้เสถียรจนจบและไปถึง SWE-bench Pro V2 pass@4 เทียบเท่า sampler แบบ homogeneous โดยมีต้นทุน sampler ต่อการอัปเดตต่ำลงราว 15% sampler แบบผสมทำงานด้วยค่า KL เฉลี่ยระหว่าง sampler กับ trainer สูงเป็น 4.7 เท่าของการตั้งค่าแบบ homogeneous และผู้เขียนโต้ว่าเสถียรภาพขึ้นอยู่กับการรักษาความคลาดเคลื่อนให้มีขอบเขตจำกัด มากกว่าการทำให้ต่ำ

  2. Amazon Science75

    นักวิจัยของ Amazon Web Services เสนอวิธีการ priming เพื่อแปลง Transformer ที่ผ่านการฝึกมาแล้วให้เป็นโมเดลแบบ hybrid state space โดยไม่ต้องฝึกใหม่ทั้งหมด

    นักวิจัยของ Amazon Web Services นำเสนอ priming ซึ่งเป็นวิธีการที่นำน้ำหนักของ Transformer ที่ผ่านการฝึกมาแล้วกลับมาใช้ เพื่อลดต้นทุนการฝึกโมเดลสถาปัตยกรรมแบบ hybrid state space ก่อนการใช้งานลงได้มากกว่า 99% โดยใช้โควต้าโทเคนสำหรับการฝึกของโมเดลต้นทางน้อยกว่า 0.5% ในการเปรียบเทียบแบบควบคุม Gated KalmaNet มีประสิทธิภาพเหนือกว่า Gated DeltaNet และ Mamba-2 และโมเดล hybrid ขนาด 32B ที่ใช้ GKA มีผลลัพธ์เทียบเท่า Transformer ต้นทางบนเกณฑ์วัดด้านการให้เหตุผล ขณะที่ถอดรหัสได้เร็วขึ้นถึงสองเท่าเมื่อมีบริบท 128,000 โทเคน ทีมงานได้เผยแพร่โมเดล hybrid ที่ผ่านการ priming ขนาด 8B และ 32B โค้ดสำหรับการฝึก เคอร์เนล Triton และปลั๊กอินสำหรับให้บริการผ่าน vLLM ภายใต้สัญญาอนุญาต Apache 2.0

    ทำไมเรื่องนี้สำคัญ: นักวิจัยของ Amazon Web Services แสดงให้เห็นว่าการนำน้ำหนักของ Transformer ที่ผ่านการฝึกมาแล้วกลับมาใช้สามารถลดต้นทุนการฝึกสถาปัตยกรรมแบบ hybrid ได้มากกว่า 99% ทำให้การเปรียบเทียบชั้น state space แบบควบคุมเป็นเรื่องที่ทำได้จริง

10 ตุลาคมวันเสาร์
  1. Epoch AI · Gradient Updates65

    InnovationEval ของ Epoch AI พบว่า frontier agents ทำได้เพียง 15% ของผลตอบแทนที่ SDPO ได้ในการวิจัยและพัฒนาปัญญาประดิษฐ์อัตโนมัติ

    6 Sol และ Fable 5 ค้นพบเทคนิคหลังการฝึกใหม่ที่เป็นนวัตกรรมเทียบได้กับ Self-Distillation Policy Optimization (SDPO) ได้อย่างอิสระ โดยแต่ละตัวได้รับ GPU 3,000 ชั่วโมงในแซนด์บ็อกซ์ที่ไม่มีอินเทอร์เน็ต วิธีการของ 6 Sol ซึ่งส่วนใหญ่คัดลอกมาจากงานก่อนหน้า ทำได้เพียง 15% ของผลตอบแทนที่ SDPO ได้หลังจากปรับตามความเร็วในการฝึกที่ช้ากว่า ขณะที่เทคนิคของ Fable 5 ไม่สามารถปรับปรุงประสิทธิภาพได้

8 ตุลาคมวันพฤหัสบดี
  1. Zyphra Research36

    Zyphra Research: การจับคู่ผู้เชี่ยวชาญช่วยลดการสื่อสารในการฝึกโมเดล MoE ล่วงหน้า

    Zyphra Research แสดงให้เห็นว่าเส้นทางการเลือกผู้เชี่ยวชาญของ MoE มีโครงสร้างชัดเจน โดยผู้เชี่ยวชาญที่ถูกเลือกพร้อมกันมีความสัมพันธ์กันภายในเลเยอร์เดียวกัน และการเลือกผู้เชี่ยวชาญของโทเคนหนึ่งสามารถทำนายเส้นทางการเลือกในเลเยอร์ถัดไปได้ การใช้ประโยชน์จากสิ่งนี้ผ่านการจัดวางผู้เชี่ยวชาญที่สัมพันธ์กันและการสลับโทเคนช่วยลดเวลาการสื่อสารแบบ all-to-all ได้สูงสุดถึง 2.63 เท่า และปรับปรุงเวลาต่อขั้นตอนการฝึกแบบ end-to-end ได้สูงสุดถึง 1.41 เท่าในการทดลองกับ Megatron-LM บน GPU MI300X โดยไม่เปลี่ยนสถาปัตยกรรมหรือการตัดสินใจเลือกเส้นทาง

  2. Waymo Blog30

    การศึกษาโดย Waymo: คนขับที่ไม่มีแอลกอฮอล์ในร่างกายยังเผชิญความเสี่ยงต่อการเสียชีวิตจากอุบัติเหตุกลางคืนสูงเกือบ 4 เท่า

    งานวิจัยที่ผ่านการตรวจสอบโดยผู้เชี่ยวชาญของ Waymo พบว่าแม้แต่คนขับที่ไม่มีแอลกอฮอล์ในร่างกายเลยก็ยังเผชิญความเสี่ยงต่อการเสียชีวิตจากอุบัติเหตุกลางคืนสูงกว่าช่วงกลางวัน 3.1 ถึง 3.9 เท่า และการกำจัดคนขับที่เมาแอลกอฮอล์ออกไปช่วยลดการมีส่วนเกี่ยวข้องกับอุบัติเหตุเสียชีวิตในเมืองโดยเฉลี่ยลง 23% จาก 1.42 เหลือ 1.10 ต่อ 100 ล้านไมล์ การศึกษาที่สองซึ่งวิเคราะห์กรณีเสียชีวิต 37,654 กรณีในฐานข้อมูล FARS ปี 2023 แสดงให้เห็นว่าเพียง 8.2% เท่านั้นที่เกี่ยวข้องกับปัจจัยด้านพฤติกรรมของมนุษย์เพียงอย่างเดียว Waymo มองว่าผลการค้นพบนี้สนับสนุนแนวทาง Safe System Approach และสนับสนุนการ benchmarking การขับขี่อัตโนมัติเทียบกับพื้นฐานมนุษย์ที่มี BAC เป็นศูนย์

3 ตุลาคมวันเสาร์
  1. Epoch AI · Gradient Updates58

    Epoch AI: กำลังประมวลผลที่สร้างขึ้นในอีกสองปีข้างหน้าอาจรันเอเจนต์ AI ได้หลายร้อยล้านตัว

    Epoch AI ประเมินว่ากำลังประมวลผล AI ที่ผลิตขึ้นในอีกสองปีข้างหน้าอาจรองรับเอเจนต์ที่ทำงานพร้อมกันได้ตั้งแต่สิบถึงหลายร้อยล้านตัวเมื่อใช้โมเดลที่เก่งที่สุดในปัจจุบัน หรือหลายพันล้านตัวเมื่อใช้โมเดลที่ถูกกว่า การวิเคราะห์นี้ใช้การคาดการณ์การจัดส่ง HBM ตั้งแต่ปี 2025 ถึง 2027 นับ GPU เทียบเท่า GB300 และพบว่าเอเจนต์ระดับสูงสุดที่ทำงานไม่หยุดอาจให้ชั่วโมงทำงานรายสัปดาห์เทียบเท่าพนักงานเต็มเวลาประมาณ 140 ล้านถึง 700 ล้านคน ขณะที่เกณฑ์วัดของ DeepSeek V4 Pro บ่งชี้ว่าเอเจนต์ที่ทำงานพร้อมกันได้มีประมาณ 1.9 พันล้านตัว รายงานระบุว่าความไม่แน่นอนหลักคืออุปสงค์จะเติบโตเร็วพอที่จะรองรับการสร้างโครงสร้างพื้นฐานนี้ หรือจะทำให้มีเอเจนต์ล้นตลาด