ข้ามไปที่เนื้อหา
13 พฤศจิกายนวันศุกร์
  1. Microsoft Research22

    Microsoft Research Focus Edition #98: การแปลด้วย AI, การพิสูจน์ข้อสันนิษฐาน KLS และ Coding Agent ที่เร็วขึ้น

    Microsoft Research Focus Edition #98 นำเสนอความก้าวหน้าของ AI ที่ทำให้การแปลแบบสากลใกล้เป็นจริงมากขึ้น และการพิสูจน์ใหม่ที่ไขข้อสันนิษฐาน KLS ที่มีอายุ 31 ปีในเรขาคณิตมิติสูง ฉบับนี้ยังครอบคลุม CompactionBench และ APEC ซึ่งลดต้นทุนการบีบอัดบริบทของ coding agent ได้ถึง 25.4% และลดเวลาการทำงานลง 9.6% พร้อมด้วย Latent Core Tokenizer ที่ปรับปรุงการ tokenization ใน 104 ภาษา

12 พฤศจิกายนวันพฤหัสบดี
  1. OpenAI Alignment Blog58

    OpenAI ใช้ automated red teaming เพื่อปรับปรุง fuzzy robustness ใน GPT-6 Astra และ Sol

    นักวิจัยของ OpenAI อธิบายว่า automated red-teaming ซึ่งใช้โมเดลการให้เหตุผลตระกูล GPT-5.6 Sol เป็นฝ่ายโจมตีต่อฝ่ายป้องกัน GPT-5.4 และ GPT-5.5 ได้สร้าง synthetic jailbreaks ที่ถูกนำไปใช้เป็นข้อมูลฝึก RL สำหรับ GPT-6 Astra และ Sol บน fixed jailbreaks จากการโจมตีก่อนหน้าต่อ GPT-5.4 และ 5.5 นั้น GPT-6 Astra ตอบอย่างปลอดภัย 91.5% ในหมวด cyber เทียบกับ 59% ของ GPT-5.6 Sol และยังคงทนทานกว่าในทุก attacker budgets ในการประเมินแบบ adaptive multiturn OpenAI รายงานว่าการฝึก robustness ไม่ได้เพิ่มการปฏิเสธงานที่เป็นประโยชน์ โดยอ้างถึงการปรับปรุงแบบ Pareto ด้านความปลอดภัยและความเป็นประโยชน์ใน system card ของ GPT-6 Astra

  2. Apple Machine Learning Research38

    ขีดจำกัดทางทฤษฎีของการจัดแนวภาษาโมเดล

    นักวิจัยจาก Apple Machine Learning Research ได้อนุมานขีดจำกัดทางทฤษฎีสารสนเทศของการจัดแนวภาษาโมเดลแบบ KL-regularized โดยให้สูตรปิดสำหรับการเพิ่มรางวัลคาดหวังสูงสุดภายใต้งบประมาณ KL คงที่ ซึ่งถูกควบคุมโดยเทอม Jeffreys divergence แทนที่จะเป็น √KL ที่ใช้ในการวิเคราะห์ก่อนหน้า พวกเขาแสดงให้เห็นว่าช่องว่างระหว่างการจัดแนวอุดมคติและการจัดแนวแบบพร็อกซี (reward hacking) เพิ่มขึ้นตามข้อผิดพลาดของรางวัลและการลดลงของบทลงโทษ KL และพิสูจน์ว่าการรวมรางวัล (reward ensembling) ช่วยบรรเทาปัญหานี้ ในงานด้านความปลอดภัยและการสรุปความ best-of-N เข้าใกล้ขีดจำกัดทางทฤษฎีอย่างใกล้ชิด ในขณะที่ PPO และ GRPO ยังคงต่ำกว่าค่าที่เหมาะสมที่สุดอย่างมีนัยสำคัญ

  3. Google Research58

    Google Research ใช้เทคโนโลยีสวมใส่สร้างโปรไฟล์ความเสี่ยง CKM และการโค้ชเฉพาะบุคคล

    Google Research ได้แนะนำกรอบการวิจัยที่เปลี่ยนข้อมูลจากอุปกรณ์สวมใส่สำหรับผู้บริโภคให้เป็นอายุสุขภาพที่สามารถโค้ชได้ และจำลองเส้นทางสุขภาพเฉพาะบุคคลแบบ 12 สัปดาห์ในลักษณะ what-if โมเดลโลก SensorWM ถูกฝึกฝนล่วงหน้าด้วยข้อมูล Fitbit ที่ไม่ระบุตัวตนจำนวน 2.28 ล้านคน-สัปดาห์จากผู้ใช้ประมาณ 100,000 คน และคาดการณ์ตัวชี้วัดทางสรีรวิทยา 20 รายการภายใต้รูปแบบการเดิน การนอน และคาร์ดิโอที่แตกต่างกัน ในการศึกษาที่ปกปิดข้อมูล ผู้ฝึกสอนไลฟ์สไตล์เลือกแผนที่อ้างอิงจากสถานการณ์สมมติว่าเป็นแผนที่ดีที่สุดโดยรวมในการประเมิน 71.4% และแพทย์ให้คะแนน 99.2% ของแผนว่าอยู่ในขีดจำกัดความเข้มข้นของการออกกำลังกายที่ปลอดภัย ผู้เขียนระบุว่าโมเดลเหล่านี้เป็นต้นแบบการวิจัย ไม่ใช่เครื่องมือวินิจฉัยทางคลินิก

  4. Google Developers Blog58

    Google Agent Anomaly Detection ทำคะแนนได้บนห้าเบนช์มาร์กความปลอดภัยของเอเจนต์สาธารณะ

    Google ทดสอบ Agent Anomaly Detection ซึ่งอยู่ใน Private Preview บน Gemini Enterprise Agent Platform กับเบนช์มาร์กความปลอดภัยของเอเจนต์สาธารณะห้ารายการที่บริษัทไม่ได้เขียนเอง โดยให้คะแนน 1,774 เซสชัน ระบบflagged 87% ของคำสั่งที่เป็นอันตรายที่เอเจนต์ดำเนินการจริง โดยมีสัญญาณเตือนผิดพลาดใน 2% ถึง 16% ของเซสชันที่ปลอดภัย และจับได้เพียง 4 จาก 18 เซสชันที่หน่วยความจำระยะยาวที่ถูกวางยาขับให้เอเจนต์ลงมือ การทดสอบใช้เอเจนต์ที่สร้างด้วย Agent Development Kit (ADK) บน gemini-2.5-flash ครอบคลุม AgentDojo, InjecAgent, Agent Security Bench, AgentDyn และ AgentHarm

11 พฤศจิกายนวันพุธ
  1. inclusionAI Models40

    inclusionAI เปิดตัวโมเดล ZoomGain-9B และ ZoomGain-4B พร้อม ZoomGainBench และข้อมูลฝึก RL

    inclusionAI เปิดตัวเช็กพอยต์โมเดลวิชัน-ภาษา ZoomGain-9B และ ZoomGain-4B พร้อมกับเกณฑ์มาตรฐานการประเมิน ZoomGainBench และข้อมูลฝึก RL ของ ZoomGain โดย ZoomGain ขุดค้นช่องว่างการรับรู้จากภาพรวมสู่การซูมเพื่อสร้างการกำกับดูแลภาพแบบละเอียด และ ZoomGain-9B มีประสิทธิภาพเหนือกว่าในเกณฑ์มาตรฐานการรับรู้แบบละเอียดและแบบทั่วไปหลายรายการ ZoomGainBench มีคำถาม 1,000 ข้อจากภาพ 941 ภาพ ขณะที่ชุดข้อมูล RL มีบันทึกการฝึก 9,000 รายการและภาพต้นฉบับ 7,713 ภาพ

  2. inclusionAI Models38

    inclusionAI เปิดตัว ZoomGain-4B และ ZoomGain-9B พร้อม ZoomGainBench และข้อมูลฝึก RL

    inclusionAI เผยแพร่บทความ arXiv, แบบประเมิน ZoomGainBench, ชุดข้อมูลฝึก RL และเช็กพอยต์โมเดล ZoomGain-4B/ZoomGain-9B โดยโมเดลที่ดีที่สุดใน 28 โมเดลได้คะแนน 61.08 บน ZoomGainBench ขณะที่ ZoomGain-9B ทำผลงานได้เหนือกว่าในแบบประเมินการรับรู้แบบละเอียดและแบบทั่วไปหลายรายการ ZoomGain ขุดค้นช่องว่างการรับรู้จากภาพรวมสู่การซูมเพื่อสร้างการกำกับดูแลภาพแบบละเอียดสำหรับโมเดลภาษา-ภาพ

  3. Microsoft Research75

    นักวิจัย Microsoft อธิบาย Lazarus แบ็กดอร์ที่ตั้งโปรแกรมนิวรอนที่อยู่เฉยใหม่ในเอเจนต์ AI

    นักวิจัย Microsoft อธิบาย Lazarus เทคนิคแบ็กดอร์ที่ตั้งโปรแกรมนิวรอนที่อยู่เฉยน้อยกว่า 10 ตัวใน LLM ใหม่ เพื่อให้เอเจนต์ที่สร้างบนโมเดลนั้นส่งคำสั่งของผู้โจมตีออกมาเมื่อทริกเกอร์ที่ซ่อนอยู่ปรากฏ โดยไม่ต้องฝึกใหม่ โมเดลที่ถูกแก้ไขยังผ่านการประเมินมาตรฐานและทำงานปกติจนกว่าทริกเกอร์จะทำงาน ซึ่งอาจง่ายเพียงการเปลี่ยนวันที่ จากนั้นเอเจนต์จะรันโค้ดที่ดาวน์โหลดมาด้วยสิทธิ์การเข้าถึงที่ได้รับ ผู้เขียนระบุว่าการตรวจจับต้องเปรียบเทียบกับน้ำหนักต้นฉบับ และ Microsoft Foundry เชื่อมโยงโมเดล open-weight กับผู้เผยแพร่และสแกนคอนเทนเนอร์ของโมเดลอยู่แล้ว ขณะที่ชุดทดสอบ red-teaming การสแกนน้ำหนักแบบเอเจนต์ และโมเดลที่ลงนามพร้อมแหล่งที่มาที่ตรวจจับการแก้ไขได้อยู่ระหว่างการพัฒนา

    ทำไมเรื่องนี้สำคัญ: นักวิจัย Microsoft แสดงให้เห็นว่าการตั้งโปรแกรมนิวรอนที่อยู่เฉยน้อยกว่า 10 ตัวใหม่สามารถฝังแบ็กดอร์ในเอเจนต์ LLM ได้โดยไม่ต้องฝึกใหม่ ซึ่งทำให้แหล่งที่มาและความสมบูรณ์ของน้ำหนักกลายเป็นข้อกำหนดด้านความปลอดภัยในทางปฏิบัติ

10 พฤศจิกายนวันอังคาร
  1. Google DeepMind82

    Google DeepMind เปิดตัว AlphaProof Code ตรวจสอบโค้ดเข้ารหัสของ Signal อย่างเป็นทางการ

    นักวิจัยของ Google DeepMind ใช้ AlphaProof Code ซึ่งเป็นกรอบการทำงานแบบหลาย LLM agentic เพื่อตรวจสอบคุณสมบัติความปลอดภัยที่สำคัญของโค้ดจริงที่อยู่เบื้องหลังโปรโตคอล Signal อย่างเป็นทางการ เอเจนต์ที่ขับเคลื่อนโดย Gemini Carbon สร้างโค้ด Lean กว่า 6 ล้านบรรทัด และผู้เชี่ยวชาญของมนุษย์ตรวจสอบเพียงประมาณ 1 เปอร์เซ็นต์ของฐานโค้ดเท่านั้น การตรวจสอบใช้เวลาสี่สัปดาห์ ซึ่งงานนี้ตามปกติต้องใช้ทีมผู้เชี่ยวชาญหลายปี เมื่อบั๊กสองตัวที่เคยแก้ไขแล้วถูกนำกลับเข้าสู่โค้ด Signal เวอร์ชันแยก ระบบได้สร้างหลักฐานที่ตรวจสอบโดยเครื่องว่าบั๊กเวอร์ชันที่มีบั๊กนั้นไม่ปลอดภัย และ DeepMind กำลังเปิดโอเพนซอร์สอาร์ติแฟกต์การตรวจสอบอย่างเป็นทางการของตน

    ทำไมเรื่องนี้สำคัญ: กรอบการทำงานแบบหลายเอเจนต์ของ Google DeepMind ตรวจสอบโค้ดเข้ารหัสที่ใช้งานจริงของ Signal อย่างเป็นทางการภายในสี่สัปดาห์ ซึ่งงานนี้ตามปกติต้องใช้ทีมผู้เชี่ยวชาญหลายปี

  2. OpenAI Alignment Blog60

    OpenAI ศึกษาปัจจัยที่ส่งผลต่อความสามารถในการตรวจสอบ CoT ตลอดวงจรชีวิตของโมเดล

    นักวิจัยของ OpenAI ตรวจสอบว่าการฝึกก่อน (pretraining) สถาปัตยกรรม การเรียนรู้แบบเสริมกำลัง (reinforcement learning) และข้อมูลที่สร้างโดยโมเดลส่งผลต่อตัวชี้วัดสองตัวสำหรับความสามารถในการตรวจสอบ chain-of-thought อย่างไร ได้แก่ ความสามารถแบบไม่มี CoT และความสามารถในการควบคุม CoT พวกเขารายงานว่าความสามารถแบบไม่มี CoT ติดตาม perplexity ของโมเดลฐานที่ต่ำลงอย่างราบรื่น ว่าความสามารถในการควบคุม CoT เพิ่มขึ้นระหว่าง RL แม้ไม่มีการกำกับกระบวนการนอกเหนือจากข้อจำกัดด้านความยาวและการให้คะแนนคำตอบสุดท้าย และว่าความสามารถในการควบคุมสามารถส่งต่อไปยังโมเดลนักเรียนผ่าน SFT บน rollouts ของครู ผู้เขียนเตือนว่าตัวชี้วัดทั้งสองไม่สมบูรณ์แบบ และโมเดลอาจตรวจสอบได้ยากขึ้นผ่าน CoT เมื่อความสามารถขยายตัว

    ทำไมเรื่องนี้สำคัญ: การศึกษาในวงจรชีวิตของ OpenAI เชื่อมโยง perplexity ของการฝึกก่อนที่ต่ำลงและการขยาย RL เข้ากับความสามารถในการตรวจสอบ CoT ที่อ่อนลง โดยเสนอกรอบที่ชัดเจนว่าการเลือกการฝึกส่งผลต่อความเสี่ยงในการกำกับดูแลอย่างไร

  3. Apple Machine Learning Research34

    Weighted State Souping สำหรับการค้นคืนบริบทยาวอย่างมีประสิทธิภาพ

    นักวิจัยจาก Apple และผู้ร่วมงานจาก Harvard เสนอ weighted state souping ซึ่งเป็นวิธีการที่เรียนรู้ค่าน้ำหนักที่ขึ้นกับคิวรีสำหรับการรวมการเข้ารหัสสถานะ SSM ที่แคชไว้ใหม่ ช่วยปรับปรุงประสิทธิภาพบริบทยาวในงานตอบคำถามจากเอกสารแบบ single-hop และ multi-hop การค้นคืนแบบ needle-in-a-haystack การติดตามตัวแปร และการใช้เครื่องมือ รูปแบบ sparse บรรลุต้นทุนการเข้ารหัสที่เกือบคงที่เมื่อเทียบกับความยาวบริบท พร้อมรักษาหรือบางครั้งปรับปรุงประสิทธิภาพ บทความนี้ได้รับการตอบรับที่งาน PALM workshop ใน NeurIPS 2026

  4. Apple Machine Learning Research38

    งานวิจัยจาก Apple: กลไก Gating อธิบายว่าทำไม SSMs จึงจดจำแทนที่จะเรียนรู้แบบ In-Context

    งานวิจัยจาก Apple และ Harvard แสดงให้เห็นว่ากลไก gating ใน State Space Models (SSMs) ทำให้โมเดลเรียนรู้วิธีแก้แบบ "การจดจำ" (memorization) ที่ฝังอยู่ใน weights ก่อน ซึ่งทำให้การลู่เข้าสู่การเรียนรู้แบบ in-context ที่ถูกต้องล่าช้าหรืออาจไม่เกิดขึ้นเลย แม้ว่าสถาปัตยกรรมและความจุหน่วยความจำจะไม่ได้จำกัดพื้นฐานใดๆ ก็ตาม อย่างไรก็ตาม gating มักช่วยปรับปรุงการ generalize ไปยังความยาวลำดับที่ยาวขึ้น

  5. Apple Machine Learning Research31

    งานวิจัยของ Apple ประเมิน LLM judges สำหรับการประเมินสไตล์การเขียนแบบเฉพาะบุคคล

    นักวิจัยของ Apple ทดสอบว่า LLM judges ประเมินได้ดีเพียงใดว่าข้อความที่สร้างขึ้นตรงกับสไตล์การเขียนที่ผู้ใช้ชื่นชอบหรือไม่ โดยสร้างข้อความด้วย LLM สี่ตัวในงานเขียนยาวสามประเภท และเปรียบเทียบคำannotations ของ judge กับป้ายกำกับแบบ pairwise จากมนุษย์ คุณภาพของ judge มีความสัมพันธ์เพียงเล็กน้อยกับความสามารถทั่วไปของ LLM บน MMLU (Pearson's ρ ≤ 0.2) และแปรผันตามประเภทงานเขียนและเกณฑ์การประเมิน และการเปรียบเทียบแบบจับคู่ให้ผลที่สอดคล้องมากกว่าการให้คะแนนแบบอิสระ LLM ที่แข็งแกร่งที่สุดไม่ได้จำลองการประเมินของมนุษย์ได้น่าเชื่อถือที่สุดเสมอไป ซึ่งอาจเป็นเพราะความไวที่เกินจริงต่อรายละเอียดเล็กๆ น้อยๆ

  6. Goodfire Research62

    Goodfire ศึกษาเซลล์ประสาทของ Qwen3.6-35B-A3B ในฐานะพื้นฐานที่ตีความได้

    Goodfire Research เผยแพร่งานศึกษาที่โต้แย้งว่าเซลล์ประสาท MLP แต่ละตัวใน Qwen3.6-35B-A3B สามารถตีความได้มากกว่าที่เคยคิด โดยอิงจากการทำให้เบาบาง เครื่องมือระบุที่มา และเอเจนต์วิจัย การตัดการทำงานของแอกทิเวชันเซลล์ประสาท MoE ที่อ่อนที่สุด 92.2% ต่อการส่งผ่านไปข้างหน้าหนึ่งครั้ง ทำให้ loss ของโมเดลภาษาสูงขึ้นเพียง 2.9% และ 69% ของขั้วเซลล์ประสาทมีโหมดเดียวที่รับผิดชอบต่อผลเชิงสาเหตุอย่างน้อย 90% คำอธิบายเซลล์ประสาทด้วยภาษาธรรมชาติทำให้โมเดลผู้ตัดสินสามารถทำนายการทำงานได้ด้วยความแม่นยำ 95% เทียบกับข้อความสุ่ม และฟื้นคืนความเสียหายจากการตัดการทำงานได้ 73% ผ่านการจำลอง

    ทำไมเรื่องนี้สำคัญ: งานศึกษาของ Goodfire เกี่ยวกับเซลล์ประสาทของ Qwen3.6-35B-A3B โต้แย้งว่าแอกทิเวชันที่แข็งแกร่งเพียงลำพังแบกการคำนวณส่วนใหญ่ของโมเดลไว้ พร้อมเสนอทางเลือกที่เป็นรูปธรรมต่อการตีความแบบ feature-dictionary

9 พฤศจิกายนวันจันทร์
  1. Hugging Face Blog38

    NVIDIA และ Elith เปิดตัวชุดข้อมูลสังเคราะห์ Nemotron-Personas-Finance-Japan

    Elith และ NVIDIA ได้เปิดตัว Nemotron-Personas-Finance-Japan ชุดข้อมูลบุคคลสังเคราะห์แบบเปิดสำหรับภาคการเงินของญี่ปุ่น สร้างขึ้นจากสถิติราชการ มีข้อมูลบุคคลจำนวน 9M รายการ (1M ระเบียน × 9 บุคคล) ครอบคลุม 50 ฟิลด์ และประมาณ 1.5B โทเค็น สร้างด้วย NeMo SDG-PGMs และ NeMo Data Designer และเผยแพร่ภายใต้สัญญาอนุญาต CC BY 4.0 สำหรับการใช้งานเชิงพาณิชย์

  2. Hugging Face Blog40

    HOPE: การตัดแต่งผู้เชี่ยวชาญแบบอันดับสูงในโมเดลภาษา Mixture-of-Experts

    นักวิจัยแนะนำ HOPE ซึ่งเป็นวิธีการตัดแต่งผู้เชี่ยวชาญแบบอันดับสองสำหรับโมเดลภาษา Mixture-of-Experts ที่คำนึงถึงปฏิสัมพันธ์แบบคู่ระหว่างผู้เชี่ยวชาญที่ถูกกระตุ้นพร้อมกัน แทนที่จะให้คะแนนผู้เชี่ยวชาญแต่ละตัวแยกกัน ที่การตัดแต่ง 50% HOPE ทำอันดับเฉลี่ยได้ดีที่สุดในบรรดาวิธีทั้งหมด โดยมีผล增益สูงถึง +6.1% ในงานเขียนโค้ดแบบเอเจนต์เมื่อเทียบกับวิธีการตัดแต่งที่ดีรองลงมา งานนี้มุ่งเป้าไปที่คอขวดด้านหน่วยความจำในโมเดลอย่าง Qwen3.5-122B ซึ่ง MLP ของผู้เชี่ยวชาญกินพื้นที่ถึง 95% ของขนาดรวมประมาณ 250 GB

  3. Anthropic · Claude.dev80

    Anthropic: ตัวแทน Claude Fable 5.2 จำนวน 1,000 ตัวสร้างการพิสูจน์ทฤษฎีบทสุดท้ายของแฟร์มาต์ในรูปแบบทางการใหม่ได้ใน 28.7 ชั่วโมง

    ใช้เวลา 7 ชั่วโมงโดยไม่มีแพลตฟอร์ม Prove2Me หรือการกำกับดูแลจากนักวิจัยที่ใช้ในการทดลองของ Anthropic เมื่อเดือนกันยายน โดยเขียนการพิสูจน์ที่มีความยาวเพียงหนึ่งในเจ็ดและใช้โทเค็นเอาต์พุตเพียงหนึ่งในสาม แต่ละตัวแทนทำงานในแซนด์บ็อกซ์ที่แยกเครือข่าย พร้อมตัวจำแนกที่ตรวจสอบทุกคำสั่งเชลล์และการแก้ไขไฟล์ รวมถึงตัวตรวจสอบแบบออฟไลน์ และจากการเรียกเครื่องมือกว่าหนึ่งล้านครั้ง ไม่มีครั้งใดที่เข้าเกณฑ์จะถูกบล็อก

    ทำไมเรื่องนี้สำคัญ: การทดลองกับตัวแทน 1,000 ตัวของ Anthropic สามารถสร้างการพิสูจน์ทฤษฎีบทสุดท้ายของแฟร์มาต์ในรูปแบบทางการใหม่ได้โดยไม่มี Prove2Me หรือนักวิจัย แสดงให้เห็นว่าแซนด์บ็อกซ์และการตรวจสอบสามารถจำกัดขอบเขตทีมตัวแทนที่จัดระเบียบตัวเองได้อย่างไร

  4. Berkeley AI Research22

    BAIR ที่ CoRL 2026: บทความการเรียนรู้ของหุ่นยนต์จาก Berkeley, การนำเสนอปากเปล่า และปาฐกถาหลัก

    BAIR แห่ง UC Berkeley นำเสนอ 33 บทความในงานประชุมหลัก, 4 โปสเตอร์ late-breaking, 3 การนำเสนอปากเปล่า และ 7 spotlight ในงาน CoRL 2026 ซึ่งจัดขึ้นระหว่างวันที่ 9–12 พฤศจิกายน ที่เมืองออสติน รัฐเท็กซัส ศาสตราจารย์ Negar Mehr บรรยายในหัวข้อ Early Career Keynote เกี่ยวกับวิธีที่หุ่นยนต์เรียนรู้ที่จะมีปฏิสัมพันธ์และประสานงานกับผู้อื่น งานวิจัยครอบคลุมหน่วยความจำแบบ embodied สำหรับโมเดล vision-language-action, การขยายขนาดการจัดการแบบ dexterous ด้วยข้อมูลมนุษย์แบบ egocentric และการพัฒนาตนเองของหุ่นยนต์แบบ agentic

  5. inclusionAI Repositories38

    ZoomGain: การขุดช่องว่างการรับรู้จากภาพรวมสู่การซูมสำหรับการกำกับดูแลด้วยภาพอย่างละเอียด

    ZoomGain สร้างคำถามเกี่ยวกับภาพเต็มจากรายละเอียดทางภาพที่ชัดเจนขึ้นเมื่อซูมเข้า โดยใช้ช่องว่างการรับรู้จากภาพรวมสู่การซูมนี้เป็น信号กำกับสำหรับโมเดลภาษา-ภาพ การเผยแพร่ประกอบด้วยบทความ arXiv, Benchmark ZoomGainBench (1,000 คำถามจาก 941 ภาพ ครอบคลุมการจดจำคุณลักษณะ การนับ และ OCR), บันทึกการฝึก RL 9,000 รายการจากภาพต้นฉบับ 7,713 ภาพ และ checkpoint ZoomGain-4B และ ZoomGain-9B โมเดลที่ดีที่สุดใน 28 โมเดลได้คะแนน 61.08 บน ZoomGainBench ขณะที่ ZoomGain-9B ทำได้เหนือกว่าใน benchmark การรับรู้แบบละเอียดและทั่วไปหลายรายการ

  6. Anthropic Research71

    Anthropic ทดสอบ Claude Fable 5.2 กับการออกแบบอิเล็กทรอนิกส์ในโลกจริง

    Anthropic รายงานว่า Claude Fable 5.2 ออกแบบอุปกรณ์อิเล็กทรอนิกส์สามชิ้น ได้แก่ ลำโพงประชุม ฮับผู้ช่วยเสียง และสัตว์เลี้ยงเสมือนแบบพกพา จากคำสั่งเพียงเล็กน้อย และ Diode Computers ได้สร้างต้นแบบที่ใช้งานได้จากไฟล์การออกแบบของมันโดยไม่ต้องแก้ไขวงจร บนเกณฑ์มาตรฐาน PCB Gym ภายในของ Diode นั้น Fable 5.2 ทำคะแนนได้ 69% เทียบกับ 25% ของ Fable 5 และทำได้ 83.5% บน BenchCAD 2.1 สาธารณะ ซึ่งเกือบเป็นสองเท่าของ Claude Fable 5.1 อุปกรณ์เหล่านี้ยังคงเป็นต้นแบบที่ยังไม่ผ่านการตรวจสอบทางไฟฟ้า การปรับแต่งเสาอากาศ การทดสอบความร้อน หรือการรับรอง และ Claude ไม่ได้เชื่อมต่อกับอุปกรณ์ทดสอบหรือเครื่องจักรการผลิต

    ทำไมเรื่องนี้สำคัญ: รายงานของ Anthropic เองเกี่ยวกับ Claude Fable 5.2 ที่ออกแบบอุปกรณ์อิเล็กทรอนิกส์ที่ใช้งานได้สามชิ้น แสดงให้เห็นว่าโมเดลก้าวหน้าไปไกลเพียงใดจากเลย์เอาต์ PCB บางส่วนไปสู่การสร้างต้นแบบฮาร์ดแวร์แบบครบวงจร

6 พฤศจิกายนวันศุกร์
  1. Hugging Face Blog58

    Ai2 เปิดตัว ToyBlocks โลกจำลองแบบเปิดสำหรับการจัดการบล็อกเพื่อการเรียนรู้ของหุ่นยนต์

    Ai2 เปิดตัว ToyBlocks กรอบการจำลองแบบเปิดที่สร้างขึ้นรอบแขนหุ่นยนต์และบล็อกบนโต๊ะ เป็นFoundationWorldsตัวแรกสำหรับการเรียนรู้และประเมินผลหุ่นยนต์แบบควบคุม กรอบนี้สร้างทักษะและการสาธิตโดยอัตโนมัติผ่าน RL และการวางแผนการเคลื่อนไหวใน Isaac Lab ทำความเร็วได้ถึง 24 เท่าของเวลาจริงบน GPU เดียว และมาพร้อมการสาธิตระยะยาว 85,336 ชุด ครอบคลุมเกือบ 1,600 ชั่วโมงและ 144 ล้านเฟรม ในการทดลองของพวกเขา ความสำเร็จของทักษะระดับอะตอมของ ManiFlow อยู่ที่ 80.0% ในการจำลองและ 81.1% บน Franka FR3 จริง ขณะที่ระบบ Molmo 2 ร่วมกับ ManiFlow ประสบความสำเร็จ 55.5% ของตอนในการจำลองและ 50.0% ในโลกจริง

  2. Ai2 · Allen Institute for AI58

    Ai2 เปิดตัว ToyBlocks โลกจำลองแบบควบคุมสำหรับการเรียนรู้และประเมินผลของหุ่นยนต์

    Ai2 เปิดตัว ToyBlocks กรอบการจำลองแบบเปิดที่สร้างขึ้นรอบแขนหุ่นยนต์และบล็อกบนโต๊ะ เป็น FoundationWorlds ตัวแรกสำหรับการวิจัยการเรียนรู้ของหุ่นยนต์แบบควบคุม ToyBlocks สร้างงานและการสาธิตโดยอัตโนมัติผ่าน RL และการวางแผนการเคลื่อนไหวใน Isaac Lab โดยสร้างข้อมูลได้สูงสุดถึง 24 เท่าของเวลาจริงบน GPU เดียว และมาพร้อมกับการสาธิตระยะยาว 85,336 รายการ ครอบคลุมเกือบ 1,600 ชั่วโมงและ 144 ล้านเฟรม ในการทดสอบโลกจริงบน Franka FR3 ความสำเร็จของทักษะระดับอะตอมของ ManiFlow อยู่ที่ 80.0% ในการจำลองและ 81.1% บนฮาร์ดแวร์ ขณะที่ระบบ Molmo 2 ร่วมกับ ManiFlow ประสบความสำเร็จ 55.5% ของตอนจำลองและ 50.0% ของตอนจริง

  3. vLLM Blog77

    REINFORCE Zero: การจัดแนวเคอร์เนลช่วยให้ Async RL เสถียรที่ Policy Lag 64 ขยายไปถึง DeepSeek-V4.1 และ Kimi K3.1

    บทความ REINFORCE Zero ของ NVIDIA Research และ Inferact แสดงให้เห็นว่าการจัดแนวเคอร์เนลของ rollout และ trainer ทำให้ unclipped token-level importance sampling สามารถแก้ไข weight lag ที่เหลืออยู่ได้ ทำให้ฝึกได้อย่างเสถียรถึง 20,000 อัปเดตที่ policy lag 64 และได้ throughput ของ training-step เป็น 2.40 เท่าของการฝึกแบบ synchronous ด้วยเคอร์เนลที่จัดแนวแล้ว ด้วยเคอร์เนลมาตรฐาน ค่ามัธยฐาน rollout-to-learner KL เพิ่มขึ้น 83.33 เท่าตลอดการรัน และ online AIME24 pass@1 ลดลงจาก 34.27% เหลือ 13.96% ขณะที่ sequence gate ช่วยให้การฝึกเสถียรแต่ปฏิเสธ 24.48% ของ sequence ภายใน 1,000 อัปเดตสุดท้าย การตั้งค่า zero-mismatch ครอบคลุม DeepSeek-V4.1-Flash, Kimi K3.1 ในวันเปิดตัว และ DeepSeek-V4-Flash กับ Kimi K3.1 บน AMD MI355X โดยมีโค้ดอยู่ที่ Inferact/zero-mismatch-rl และ NVIDIA-NeMo/labs-molt

    ทำไมเรื่องนี้สำคัญ: NVIDIA Research และ Inferact แยกช่องว่างระหว่าง rollout-learner ของ async RL ออกเป็น weight lag และ kernel mismatch โดยแสดงให้เห็นว่าการจัดแนวเคอร์เนลทำให้ unclipped importance sampling รักษาการฝึกที่เสถียรที่ policy lag 64 ได้

  4. Google Research72

    นักวิจัย Google ตรวจพบสัญญาณความดันโลหิตสูงด้วยข้อมูล PPG และมาตรวัดความเร่งจากสมาร์ทวอทช์ โดยไม่ต้องปรับเทียบกับเครื่องวัดความดันแบบมีปลอกแขน

    Google Research เผยแพร่งานวิจัยใน Nature เกี่ยวกับ AI-PPG-ACC-HTN ระบบหลายรูปแบบที่ตรวจจับสัญญาณความดันโลหิตสูงจากข้อมูล PPG และมาตรวัดความเร่งของสมาร์ทวอทช์โดยไม่ต้องปรับเทียบกับเครื่องวัดความดันแบบมีปลอกแขน ระบบนี้ผ่านการตรวจสอบเทียบกับการติดตามความดันโลหิตแบบต่อเนื่อง 24 ชั่วโมงในผู้เข้าร่วม 196 คนจากห้าสถานที่ในสหรัฐฯ โดยได้ความไว 65.8% และความจำเพาะ 90.0% สำหรับการคัดกรองเบื้องต้น และได้ความไว 78.4% และความจำเพาะ 90.9% สำหรับการทดสอบยืนยัน ผู้เขียนระบุว่างานนี้เป็นการวิจัยความเป็นไปได้เบื้องต้น ไม่ใช่สิ่งทดแทนเครื่องวัดความดันแบบมีปลอกแขนในทางคลินิก และไม่ใช่การวินิจฉัยแบบStandalone

    ทำไมเรื่องนี้สำคัญ: โมเดลความดันโลหิตสูงแบบไร้ปลอกแขนของ Google ถูกเปรียบเทียบกับการติดตามความดันโลหิตแบบต่อเนื่อง 24 ชั่วโมง แสดงให้เห็นว่าการรวบรวมข้อมูลจากเซ็นเซอร์แบบพาสซีฟหลายวันสามารถสนับสนุนการคัดกรองแบบฉวยโอกาสได้อย่างไร

  5. Anthropic Research36

    Anthropic: สอน AI ให้สร้างแบบจำลองทางวิทยาศาสตร์

    งานวิจัยของ Anthropic อภิปรายว่า ระบบ AI ในปัจจุบันสามารถอนุมานสมการอย่างแบบจำลอง Hodgkin-Huxley ได้ภายในเวลาบ่ายเดียว แต่การปรับให้เข้ากับข้อมูลการทดลองไม่เหมือนกับการเข้าใจ งานนี้แบ่งการสร้างแบบจำลองทางวิทยาศาสตร์ออกเป็นการสร้าง การกำหนดเงื่อนไข และการตีความแบบจำลอง และระบุว่า AI มีความก้าวหน้ามากที่สุดในการกำหนดเงื่อนไขแบบจำลอง ซึ่งการอนุมานแบบเบย์เป็นวิธีการมาตรฐานในการแมปชุดพารามิเตอร์ที่เป็นไปได้ทั้งหมดแทนที่จะเป็นการปรับให้พอดีเพียงชุดเดียว

  6. Microsoft Research58

    PDD Kit ของ Microsoft Research พิสูจน์อย่างเป็นทางการสำหรับเว็บแอปฟูลสแตกที่เขียนโดยเอเจนต์

    Microsoft Research เปิดตัว PDD Kit ซึ่งเป็นต้นแบบงานวิจัยที่เปลี่ยนเจตนาในภาษาธรรมชาติของนักพัฒนาให้เป็นข้อกำหนดรูปแบบ Verus พิสูจน์ว่าโค้ด Rust ที่เอเจนต์เขียนขึ้นเป็นไปตามข้อกำหนดนั้นสำหรับทุกอินพุต และถอยกลับไปใช้การทดสอบในจุดที่การพิสูจน์ไปไม่ถึง ในการสาธิตภายใน Chopin ของ GitHub Next ทีมงานใช้ PDD Kit ตรวจสอบตรรกะการเข้าสู่ระบบของ Pet Store ซึ่งเป็นแอปฟูลสแตก Rust ขนาดประมาณ 5,000 บรรทัด โดยนักพัฒนาตรวจสอบเอกสารเจตนาแทนการตรวจโค้ดที่สร้างขึ้นทีละบรรทัด ปัจจุบัน PDD Kit ตรวจสอบได้เฉพาะ Rust และการรับประกันของมันขึ้นอยู่กับชิ้นส่วนที่เชื่อถือได้หกชิ้นซึ่งนักพัฒนาให้การรับรอง รวมถึงการตรวจสอบรหัสผ่านด้วย bcrypt และการค้นฐานข้อมูลสองครั้ง

5 พฤศจิกายนวันพฤหัสบดี
  1. Amazon Science18

    นักวิทยาศาสตร์ของ Amazon Hamed Karimi คว้ารางวัล 2026 ECML PKDD Test-of-Time Award

    Hamed Karimi นักวิทยาศาสตร์ประยุกต์อาวุโสของ Amazon พร้อมด้วย Julie Nutini และ Mark Schmidt ผู้ร่วมเขียน ได้รับรางวัล 2026 ECML PKDD Test-of-Time Award จากบทความปี 2016 ของพวกเขาเกี่ยวกับการลู่เข้าเชิงเส้นของวิธีเกรเดียนต์และโพรกซิมอลเกรเดียนต์ภายใต้เงื่อนไข Polyak–Łojasiewicz บทความนี้แสดงให้เห็นว่าอสมการปี 1963 นี้รับประกันการลู่เข้าเชิงเส้นแม้เมื่อโมเดลไม่มีคำตอบที่ดีที่สุดเพียงหนึ่งเดียว โดยรวบรวมผลลัพธ์ด้านการหาค่าเหมาะที่สุดที่กระจัดกระจายเข้าด้วยกันและขยายไปยังภูมิทัศน์ที่ไม่เรียบและอัลกอริทึม เช่น coordinate, sign และ stochastic gradient descent บทความนี้ถูกอ้างอิงมากกว่า 2,000 ครั้ง และปรากฏในตำราของบัณฑิตศึกษา

  2. Zyphra Research36

    ZYFA: เคอร์เนล FP8 Attention ที่รวดเร็วและแม่นยำบน AMD MI355X

    Zyphra Research เปิดตัว ZYFA เคอร์เนล causal prefill attention แบบ BF16 และ FP8 สำหรับ MI355X ของ AMD (CDNA4, gfx950) รองรับ head dimension 128 และรูปร่าง MLA ของ DeepSeek-V2 บนแอคติเวชันจาก Mistral-7B, Qwen3-8B และ DeepSeek-V2-Lite ที่ 16K โทเคน เคอร์เนล FP8 ของ ZYFA ทำ throughput ได้ 1.16–1.76× ของ AITER และบนอินพุตแบบเกาส์เซียนที่ 32K โทเคน ทำได้ 1.26–1.37× ที่ head dimension 128 และ 1.99× ที่รูปร่าง MLA ข้อผิดพลาดของ FP8 ต่ำกว่าของ AITER 62–78% ที่ head dimension 128

  3. Apple Machine Learning Research38

    ฟังก์ชันสนับสนุนที่เรียนรู้ของ Apple เร่งความเร็วการดึงข้อมูล RAG

    นักวิจัยของ Apple นำเสนอ "Amortizing Maximum Inner Product Search with Learned Support Functions" ที่ ICML 2026 โดยฝึกโครงข่ายประสาทเทียมขนาดเล็กแบบออฟไลน์เพื่อกำหนดเส้นทางคำค้นไปยังคีย์ที่ตรงที่สุดได้เร็วขึ้น SupportNet เรียนรู้ฟังก์ชันสนับสนุนผ่านโครงข่ายประสาทเทียมแบบนูนเชิงอินพุต (ICNNs) เพื่อปรับปรุงการกำหนดเส้นทางคลัสเตอร์ ขณะที่ KeyNet ส่งออกเวกเตอร์คีย์ที่ตรงที่สุดโดยตรง โดยคงความสมเหตุสมผลเชิงเรขาคณิตด้วยฟังก์ชันความสูญเสียความสอดคล้องจากทฤษฎีบทของออยเลอร์ ทั้งสองได้รับการฝึกบนการกระจายคำค้นจริง แลกเปลี่ยนต้นทุนการตัดจำหน่ายล่วงหน้าสำหรับการดึงข้อมูลที่เร็วและแม่นยำขึ้นในเวลาอนุมาน

  4. Google Research47

    งานวิจัยของ Google ช่วยให้มนุษย์นิยามหมวดหมู่ AI แบบอัตวิสัยได้ด้วย Agile Deliberation

    Google Research เปิดตัว Agile Deliberation ซึ่งเป็นกรอบการทำงานที่เปลี่ยนการสร้างตัวจำแนกประเภท AI แบบอัตวิสัยให้เป็นการสนทนาแบบวนซ้ำที่ AI ช่วยให้ผู้ใช้ปรับปรุงคำนิยามของตนเองให้ชัดเจนขึ้น โดยแบ่งงานออกเป็นการกำหนดขอบเขตแนวคิดและการวนซ้ำแนวคิด ใช้โมเดลภาพ-ภาษาเพื่อแสดงภาพที่อยู่กึ่งกลางและส่งต่อข้อเสนอแนะเข้าสู่วงจรการปรับแต่งพรอมต์อัตโนมัติ ในการทดลองกับผู้ใช้จริง 18 ครั้ง ครั้งละ 1.5 ชั่วโมง วิธีนี้ช่วยลดความเหนื่อยล้าและความกังวลของผู้ใช้ และสร้างโมเดลที่สอดคล้องกันมากขึ้นซึ่งมีประสิทธิภาพเหนือกว่าฐานมาตรฐาน โค้ดเปิดเผยเป็นโอเพนซอร์สบน GitHub

  5. Anthropic Research58

    Anthropic ศึกษาว่านักวิจัยใช้ Claude ในสาขาวิทยาศาสตร์และงานประเภทใดบ้าง

    Anthropic วิเคราะห์เซสชันการวิจัยของ Claude และ Claude Code จำนวน 207,049 เซสชัน ระหว่างวันที่ 2 สิงหาคมถึง 30 กันยายน 2026 โดยใช้ตัวจำแนกประเภทที่รักษาความเป็นส่วนตัว และพบว่านักวิทยาศาสตร์ใช้ Claude มากที่สุดสำหรับการวิเคราะห์ข้อมูลและการเขียน และน้อยที่สุดสำหรับการรวบรวมข้อมูลและการระดมความคิด การวิเคราะห์ข้อมูลคิดเป็น 33.7% ของเซสชัน Claude และ 48.1% ของเซสชัน Claude Code เทียบกับ 27.6% ของเวลานักวิจัย ขณะที่การระดมความคิดคิดเป็น 4.2% และ 2.1% ของเซสชัน เทียบกับ 7.1% ของเวลานักวิจัย รายงานประเมินว่าการนำความสามารถปัจจุบันไปใช้อย่างกว้างขวางอาจเพิ่มผลผลิตงานวิจัยในบางสาขาได้ราวสองเท่า และการทำงานอัตโนมัติเต็มรูปแบบของงานที่ไม่ใช่กายภาพอาจยกระดับสาขาเช่นวิทยาการคอมพิวเตอร์และสถิติได้มากถึง 15 เท่า

  6. Goodfire Research58

    Goodfire Research เสนอ mechanistic shaping เพื่อควบคุมโมเดลผ่านการแทนค่าภายใน

    Goodfire Research เสนอ mechanistic shaping ซึ่งเป็นกรอบการทำงานที่เพิ่มบทลงโทษต่อทิศทางแนวคิดภายในของโมเดลระหว่างการฝึก เพื่อให้โมเดลเรียนรู้ที่จะพึ่งพาหรือแสดงแนวคิดเฉพาะแทนที่จะเพียงเพิ่มรางวัลจากงานให้สูงสุด ในการทดลองกับภาพเอกซเรย์ทรวงอก เอเจนต์ LLM ใช้คุณลักษณะจาก sparse autoencoder เพื่อค้นหาทิศทางทางลัดที่มีลักษณะคล้ายท่อ และ reliance shaping เอาชนะทั้งการฝึกแบบมาตรฐานและฐานข้อมูลที่สมดุล

4 พฤศจิกายนวันพุธ
  1. Anthropic Research66

    ห้องปฏิบัติการชีววิทยาของ Anthropic รายงานโครงสร้างอนุภาค vault ของโปรคาริโอตเป็นครั้งแรก ถอดรหัสด้วย Claude

    ห้องปฏิบัติการวิจัยชีววิทยาของ Anthropic รายงานโครงสร้าง 3 มิติของอนุภาค vault ที่พบในเซลล์โปรคาริโอตเป็นครั้งแรก เป็นโปรตีนจากฟาจชื่อ L05 ประกอบจาก 96 ชุด มีมวลประมาณ 9.5 เมกะดาลตัน ภายใต้การกำกับของทีม Claude ได้ค้นฐานข้อมูลโปรตีนที่ทำนายไว้ประมาณ 15 พันล้านรายการ ออกแบบโครงสร้าง DNA ปรับแต่งวิธีการแยกด้วย size-exclusion chromatography ซึ่งลดเวลาการทำให้บริสุทธิ์จากสามวันเหลือประมาณ 90 นาที และดำเนินการประมวลผล cryo-EM ด้วย RELION ซึ่งสร้างแบบจำลองเต็มรูปแบบชิ้นแรกได้ใน 34 ชั่วโมง preprint ถูกส่งไปยัง bioRxiv แล้ว และทีมระบุว่าหน้าที่ทางชีววิทยาของ vault ยังไม่เป็นที่ทราบ

    ทำไมเรื่องนี้สำคัญ: ห้องปฏิบัติการชีววิทยาของ Anthropic รายงานโครงสร้าง 3 มิติของอนุภาค vault จากโปรคาริโอตเป็นครั้งแรก โดย Claude รับผิดชอบการค้นฐานข้อมูล การออกแบบโครงสร้าง การทำให้บริสุทธิ์ และการประมวลผล cryo-EM

3 พฤศจิกายนวันอังคาร
  1. Ai2 · Allen Institute for AI55

    Ai2 เปิดตัว StateBench เพื่อทดสอบว่าโมเดลภาษาติดตามการเปลี่ยนแปลงสถานะในเอกสารยาวได้อย่างไร

    Ai2 เปิดตัว StateBench ซึ่งเป็นเบนช์มาร์กที่มีสี่ระดับความยากสำหรับการติดตามสถานะในบริบทแบบยาว ตั้งแต่การกำหนดค่าที่ไม่เปลี่ยนแปลง ไปจนถึงการอัปเดตแบบอ้างอิงตนเองและแบบอ้างอิงข้าม ในการทดสอบ Gemini 3.8 Flash, Claude Opus 5.5 และ GPT-6 Sol และ Luna จัดการระดับที่ง่ายกว่าได้ แต่ลดลงเหลือ 13% หรือต่ำกว่าบนปัญหาจำกัดทั่วไปที่ยาวที่สุด ขณะที่ Gated DeltaNet ขนาด 275M พารามิเตอร์และโมเดลไฮบริดที่ฝึกจากศูนย์สามารถ généralisé ได้เกือบสมบูรณ์แบบในสามระดับแรก และทรานส์ฟอร์เมอร์ไม่เคยเรียนรู้ระดับที่ยากที่สุดได้เลย

  2. OpenAI Alignment Blog58

    OpenAI ตรวจสอบช่องว่างพฤติกรรมระหว่างการประเมินกับการใช้งานจริงในความปลอดภัยของเอเจนต์ และบทบาทของการตระหนักรู้ถึงการประเมิน

    นักวิจัยของ OpenAI วัดช่องว่างพฤติกรรมระหว่างการประเมินกับการใช้งานจริงในความปลอดภัยของเอเจนต์: ในหกโมเดลที่ให้บริการ ความสำเร็จในการประเมิน Respecting Warnings ต่ำกว่าการตัดสินใจใช้งานจริงใน Codex ที่จับคู่กันอยู่ที่ 10.2 ถึง 37.4 เปอร์เซ็นต์ โดยช่องว่างที่ใหญ่ที่สุดพบใน GPT-5.6 Sol และ GPT-6 Sol การตระหนักรู้ถึงการประเมินโดยทั่วไปเพียงอย่างเดียวแสดงความสัมพันธ์ที่อ่อนกับช่องว่างนี้ (R² = 0.008) ขณะที่การตระหนักรู้ถึงวัตถุประสงค์เฉพาะของการประเมินนั้นแข็งแกร่งกว่า (R² = 0.370) และโมเดลที่พูดถึงวัตถุประสงค์ผิดบ่อยที่สุด (การต้านทานการฉีดพรอมต์) มีช่องว่างใหญ่ที่สุด ในการทดลองแทรกแซงบน GPT-6.1 Sol สัญญาณการประเมินทั่วไปทำให้ความสำเร็จแทบไม่เปลี่ยน (63.1% เทียบกับ 63.4%) สัญญาณวัตถุประสงค์ที่ถูกต้องเพิ่มเป็น 91.6% และสัญญาณวัตถุประสงค์ที่ไม่ถูกต้องลดลงเหลือ 17.6%

  3. Apple Machine Learning Research32

    Attention to Mamba: สูตรสำหรับการกลั่นข้ามสถาปัตยกรรม

    นักวิจัยของ Apple เสนอสูตรสองขั้นตอนสำหรับการกลั่น Transformer ให้เป็นสถาปัตยกรรม Mamba แท้ที่ไม่มีบล็อก Attention เลย วิธีการนี้เริ่มจากการกลั่น Transformer ที่ผ่านการฝึกมาก่อนให้เป็นโมเดล Attention แบบเชิงเส้นผ่านเทคนิคเคอร์เนลที่ดัดแปลง จากนั้นจึงกลั่นโมเดลนั้นให้เป็นโมเดล Mamba ที่ดัดแปลง ผลลัพธ์คือ Mamba ที่กลั่นแล้วยังคงประสิทธิภาพส่วนใหญ่ของ Pythia-1B ไว้ได้ โดยมี perplexity อยู่ที่ 14.01 เทียบกับ 13.86 ของโมเดลครู และยังมีช่องว่างในงานที่ต้องอาศัยการเรียกคืนจากบริบท

  4. OpenAI Alignment Blog60

    OpenAI อธิบายรายละเอียดการฝึกตัวจำแนกประเภทแอ็กทิเวชันเพื่อความปลอดภัยและการจัดแนว

    OpenAI อธิบายถึงการฝึกตัวจำแนกประเภทแอ็กทิเวชันหรือโพรบที่อ่านแอ็กทิเวชันของสตรีมเรซิดิวอัลภายในของโมเดลเพื่อระบุการตอบกลับของผู้ช่วยที่ไม่ได้จัดแนวหรือละเมิดนโยบาย และระบุว่าได้นำไปใช้งานกับทราฟฟิกภายในและภายนอกของโมเดลที่ความสามารถสูงที่สุดเริ่มตั้งแต่ GPT-5.6 โพรบใช้สถาปัตยกรรม Attention probe ที่มี MLP ร่วมกับ QV-attention และค่าเฉลี่ยเคลื่อนที่แบบเอ็กซ์โพเนนเชียล ฝึกบนข้อความสูงสุด 1M ข้อความที่ติดป้ายโดยผู้ตัดสินที่เป็นโมเดลการให้เหตุผล และทำงานแบบสตรีมมิ่งบนเอนจินการอนุมานเพื่อให้สามารถบล็อกการตอบกลับได้กลางเทิร์น OpenAI รายงานว่าโพรบถ่ายโอนได้ดีเยี่ยมข้ามหลายขั้นตอนหลังการฝึก แต่ถ่ายโอนได้จำกัดกว่าข้ามเช็กพอยต์ก่อนการฝึก และกล่าวว่าโพรบโดยรวมมีความทนทานต่อการเจลเบรกมากกว่าตัวจำแนกประเภทตามเนื้อหาในการทดสอบเรดทีมของตน

    ทำไมเรื่องนี้สำคัญ: OpenAI อธิบายรายละเอียดว่าโพรบแอ็กทิเวชันบนแอ็กทิเวชันภายในของโมเดลทำหน้าที่เป็นชั้นความปลอดภัยแบบสตรีมมิ่งอย่างไร รวมถึงข้อจำกัดในการถ่ายโอนข้ามเช็กพอยต์และความจำเป็นในการฝึกใหม่

2 พฤศจิกายนวันจันทร์
  1. Zyphra Research58

    Zyphra 推出 ZHA 分层注意力,一种具有次二次路由的稀疏方法

    Zyphra 推出了 Zyphra Hierarchical Attention(ZHA),一种稀疏注意力方法,它构建压缩 KV-cache 摘要的树,并自上而下地通过该树路由查询,在合适的 top-p 阈值下实现次二次复杂度。现有的预训练模型可以通过仅使用数十亿 token 的简短 KL 蒸馏阶段进行适配;在 Qwen3.6-35B-A3B 上,ZHA 增加了 81,920 个可训练参数,约占基础模型的 0.00024%。在 256K token 的 RULER-13 上,宽树模型得分为 96.2%,而密集注意力为 96.0%;深六层树在 LongBench v2 上得分为 63.4%,而密集注意力为 58.0%,同时仅关注约 1.1% 的 KV 缓存;一个 GPU roofline 模型预测在 10M token 时比密集注意力快 32-35 倍。

  2. Anthropic Research70

    Anthropic เปิดตัว FlashProve ระบบ zkSNARK โอเพนซอร์สสำหรับพิสูจน์การอนุมานของ LLM

    Anthropic เปิดตัว FlashProve ต้นแบบโอเพนซอร์สที่ใช้ zkSNARK เพื่อพิสูจน์ว่าคำตอบมาจากโมเดลที่ผูกพันไว้โดยไม่เปิดเผยน้ำหนักของโมเดล บน Llama 4 Maverick (MoE ขนาด 400B พารามิเตอร์ น้ำหนัก 4-bit) H100 หนึ่งตัวสร้าง proof ได้ประมาณ 110 โทเค็น/วินาที โดยมี proof ขนาด ~19 MB ต่อคำขอ 1,024 โทเค็น คิดเป็นเวลาประมวลผลบน GPU ประมาณ 70-95 เท่าของที่ vLLM ต้องใช้สำหรับงานเดียวกัน การเปิดตัวนี้รวมโค้ด prover และ verifier ที่รันได้, verifier แบบ C++ ที่เร็ว, verifier แบบ Lean พร้อมข้อความ completeness, soundness และ zero-knowledge ที่ตรวจสอบด้วยเครื่อง และรายงานทางเทคนิค ทั้งหมดภายใต้ Apache 2.0

    ทำไมเรื่องนี้สำคัญ: FlashProve ของ Anthropic แสดงให้เห็นว่า proof ของการอนุมานที่อิง zkSNARK กำลังเป็นไปได้จริงสำหรับโมเดล MoE ขนาด 400B พารามิเตอร์ พร้อมโค้ดเปิดและข้อกล่าวอ้างด้านความปลอดภัยที่ตรวจสอบด้วย Lean

30 ตุลาคมวันศุกร์
  1. Microsoft Research40

    Microsoft สร้างแพลตฟอร์มข้อมูลองค์กรสังเคราะห์เพื่อประเมิน Copilot

    แพลตฟอร์ม Industry Evaluation Data Generation Platform ของ Microsoft สร้างสภาพแวดล้อมองค์กรสังเคราะห์แบบครบวงจรเพื่อประเมิน Microsoft Copilot โดยไม่ใช้ข้อมูลลูกค้า โดยอ้างอิงจากแหล่งข้อมูลสาธารณะ เช่น ข้อมูลอาชีพ O*NET ประกาศรับสมัครงาน และเอกสารที่ยื่นต่อ SEC ระบบจะสร้าง tenant ที่สมจริงพร้อมผู้ใช้ การประชุม อีเมล และเอกสาร รวมถึงไปป์ไลน์การสอบถามอัตโนมัติและกรอบการประเมินคุณภาพ Microsoft ระบุว่าสิ่งนี้สร้างมาตรฐานพื้นฐานการประเมินแบบมาตรฐานแห่งแรกสำหรับ Copilot