ข้ามไปที่เนื้อหา
เฉพาะ งานวิจัย#โอเพนซอร์ส / รีโป
13 พฤศจิกายนวันศุกร์
  1. Hacker News · AI58

    การศึกษาพบว่า 13.7% ของแพ็กเกจ npm ใหม่ในช่วงครึ่งแรกของปี 2026 มีการปักหมุดเวอร์ชันเก่าที่มีลักษณะเหมือน AI สร้าง

    Kobi Mozgori สุ่มตัวอย่างแพ็กเกจ npm จำนวน 250,000 แพ็กเกจ และพบว่าแพ็กเกจใหม่ที่มีการปักหมุดเวอร์ชันของ dependency ส่วนใหญ่เป็นเลขลงท้าย x.0.0 ที่ถูกแทนที่ไปแล้ว เพิ่มขึ้นจากฐาน 1–2.4% ในปี 2019 ถึงต้นปี 2024 เป็น 13.7% ในครึ่งแรกของปี 2026 และลดลงเหลือ 7.6% ในครึ่งหลังของปี 2026 ถึงต้นเดือนพฤศจิกายน ค่ามัธยฐานของอายุ dependency ที่ถูกปักหมุดอยู่ที่ประมาณ 155 วันตอนสร้างแพ็กเกจในช่วงปี 2021–2023 แต่เพิ่มเป็น 451 วันในไตรมาสที่ 2 ของปี 2026 และสัดส่วนแพ็กเกจที่สร้างขึ้นโดยมีการปักหมุดเกือบทั้งหมดอยู่ที่รีลีสล่าสุดลดลงจากประมาณ 28% เหลือประมาณ 10% ผู้เขียนตีความรูปแบบนี้ว่าเป็นการอนุมานมากกว่าการพิสูจน์ เนื่องจากข้อมูลเมตาของ registry ไม่สามารถแสดงได้ว่าใครหรืออะไรเป็นผู้เขียน manifest และตั้งข้อสังเกตว่าการลดลงตั้งแต่กลางปี 2026 ยังไม่มีคำอธิบาย

  2. Hacker News · AI26

    Erik Hoel เปิดตัว Qualiaphobic AI เพื่อสร้างเครื่องจักรที่ไม่มีจิตสำนึก

    Erik Hoel เปิดตัว Qualiaphobic AI ซึ่งเป็นโครงการวิจัยที่สร้างสถาปัตยกรรมโครงข่ายประสาทเทียมที่ออกแบบมาเพื่อต้านทานจิตสำนึก คล้ายกับวิธีที่สารไฮโดรโฟบิกต้านทานน้ำ ข้อเสนอนี้สำรวจสามแนวทาง ได้แก่ การกลั่น การแปลง หรือการตัดทอน AI เทียบกับทฤษฎีจิตสำนึกที่เป็นที่นิยม การเปลี่ยนสถาปัตยกรรมไปสู่ "จุดยึด" เช่นตารางค้นหา และการแยกส่วนปรากฏการณ์วิทยาที่อาจเกิดขึ้น Hoel วางแผนที่จะสร้างและเปิดซอร์สเทคนิคเหล่านี้ โดยโต้แย้งว่าสิ่งเหล่านี้สามารถแก้ไขสวัสดิภาพของ AI และทำให้มนุษย์เป็นผู้ป่วยทางศีลธรรมเพียงกลุ่มเดียว

  3. Hacker News · AI58

    เครื่องมือ AI ที่มีดาวมากที่สุดบน GitHub เขียนโดย coding agent มากแค่ไหน?

    การวิเคราะห์ประวัติ git ทั้งหมดของ 52 repository เครื่องมือ AI ที่มีดาวมากที่สุดบน GitHub ครอบคลุม 324,088 commit พบว่าใน repository ค่ามัธยฐาน 16.9% ของ commit ในช่วง 180 วันสุดท้ายที่มีกิจกรรมมีลายเซ็น AI และ 21 จาก 52 แห่งมีสัดส่วน 25% ขึ้นไป ดาวและสัดส่วนที่ลงนามโดย AI ไม่แสดงความเชื่อมโยงที่ตรวจพบได้ (Spearman ρ = -0.05, p = 0.72) และ 85.3% ของ 36,892 commit ที่ลงนามมาจาก Claude ซึ่งเครื่องมือของ Claude เพิ่ม trailer โดยค่าเริ่มต้น ผู้เขียนเตือนว่าการใช้ AI อย่างหนักกระจุกตัวในโปรเจกต์ที่เริ่มในปี 2025 หรือหลังจากนั้น ดังนั้นตัวอย่างจึงไม่สามารถแยกการใช้ AI ออกจากความใหม่ได้ และเปอร์เซ็นต์ AI ทุกค่าคือขอบเขตล่าง

11 พฤศจิกายนวันพุธ
  1. inclusionAI Models40

    inclusionAI เปิดตัวโมเดล ZoomGain-9B และ ZoomGain-4B พร้อม ZoomGainBench และข้อมูลฝึก RL

    inclusionAI เปิดตัวเช็กพอยต์โมเดลวิชัน-ภาษา ZoomGain-9B และ ZoomGain-4B พร้อมกับเกณฑ์มาตรฐานการประเมิน ZoomGainBench และข้อมูลฝึก RL ของ ZoomGain โดย ZoomGain ขุดค้นช่องว่างการรับรู้จากภาพรวมสู่การซูมเพื่อสร้างการกำกับดูแลภาพแบบละเอียด และ ZoomGain-9B มีประสิทธิภาพเหนือกว่าในเกณฑ์มาตรฐานการรับรู้แบบละเอียดและแบบทั่วไปหลายรายการ ZoomGainBench มีคำถาม 1,000 ข้อจากภาพ 941 ภาพ ขณะที่ชุดข้อมูล RL มีบันทึกการฝึก 9,000 รายการและภาพต้นฉบับ 7,713 ภาพ

  2. inclusionAI Models38

    inclusionAI เปิดตัว ZoomGain-4B และ ZoomGain-9B พร้อม ZoomGainBench และข้อมูลฝึก RL

    inclusionAI เผยแพร่บทความ arXiv, แบบประเมิน ZoomGainBench, ชุดข้อมูลฝึก RL และเช็กพอยต์โมเดล ZoomGain-4B/ZoomGain-9B โดยโมเดลที่ดีที่สุดใน 28 โมเดลได้คะแนน 61.08 บน ZoomGainBench ขณะที่ ZoomGain-9B ทำผลงานได้เหนือกว่าในแบบประเมินการรับรู้แบบละเอียดและแบบทั่วไปหลายรายการ ZoomGain ขุดค้นช่องว่างการรับรู้จากภาพรวมสู่การซูมเพื่อสร้างการกำกับดูแลภาพแบบละเอียดสำหรับโมเดลภาษา-ภาพ

9 พฤศจิกายนวันจันทร์
  1. Hugging Face Blog38

    NVIDIA และ Elith เปิดตัวชุดข้อมูลสังเคราะห์ Nemotron-Personas-Finance-Japan

    Elith และ NVIDIA ได้เปิดตัว Nemotron-Personas-Finance-Japan ชุดข้อมูลบุคคลสังเคราะห์แบบเปิดสำหรับภาคการเงินของญี่ปุ่น สร้างขึ้นจากสถิติราชการ มีข้อมูลบุคคลจำนวน 9M รายการ (1M ระเบียน × 9 บุคคล) ครอบคลุม 50 ฟิลด์ และประมาณ 1.5B โทเค็น สร้างด้วย NeMo SDG-PGMs และ NeMo Data Designer และเผยแพร่ภายใต้สัญญาอนุญาต CC BY 4.0 สำหรับการใช้งานเชิงพาณิชย์

  2. Hugging Face Blog40

    HOPE: การตัดแต่งผู้เชี่ยวชาญแบบอันดับสูงในโมเดลภาษา Mixture-of-Experts

    นักวิจัยแนะนำ HOPE ซึ่งเป็นวิธีการตัดแต่งผู้เชี่ยวชาญแบบอันดับสองสำหรับโมเดลภาษา Mixture-of-Experts ที่คำนึงถึงปฏิสัมพันธ์แบบคู่ระหว่างผู้เชี่ยวชาญที่ถูกกระตุ้นพร้อมกัน แทนที่จะให้คะแนนผู้เชี่ยวชาญแต่ละตัวแยกกัน ที่การตัดแต่ง 50% HOPE ทำอันดับเฉลี่ยได้ดีที่สุดในบรรดาวิธีทั้งหมด โดยมีผล增益สูงถึง +6.1% ในงานเขียนโค้ดแบบเอเจนต์เมื่อเทียบกับวิธีการตัดแต่งที่ดีรองลงมา งานนี้มุ่งเป้าไปที่คอขวดด้านหน่วยความจำในโมเดลอย่าง Qwen3.5-122B ซึ่ง MLP ของผู้เชี่ยวชาญกินพื้นที่ถึง 95% ของขนาดรวมประมาณ 250 GB

  3. inclusionAI Repositories38

    ZoomGain: การขุดช่องว่างการรับรู้จากภาพรวมสู่การซูมสำหรับการกำกับดูแลด้วยภาพอย่างละเอียด

    ZoomGain สร้างคำถามเกี่ยวกับภาพเต็มจากรายละเอียดทางภาพที่ชัดเจนขึ้นเมื่อซูมเข้า โดยใช้ช่องว่างการรับรู้จากภาพรวมสู่การซูมนี้เป็น信号กำกับสำหรับโมเดลภาษา-ภาพ การเผยแพร่ประกอบด้วยบทความ arXiv, Benchmark ZoomGainBench (1,000 คำถามจาก 941 ภาพ ครอบคลุมการจดจำคุณลักษณะ การนับ และ OCR), บันทึกการฝึก RL 9,000 รายการจากภาพต้นฉบับ 7,713 ภาพ และ checkpoint ZoomGain-4B และ ZoomGain-9B โมเดลที่ดีที่สุดใน 28 โมเดลได้คะแนน 61.08 บน ZoomGainBench ขณะที่ ZoomGain-9B ทำได้เหนือกว่าใน benchmark การรับรู้แบบละเอียดและทั่วไปหลายรายการ

6 พฤศจิกายนวันศุกร์
  1. Hugging Face Blog58

    Ai2 เปิดตัว ToyBlocks โลกจำลองแบบเปิดสำหรับการจัดการบล็อกเพื่อการเรียนรู้ของหุ่นยนต์

    Ai2 เปิดตัว ToyBlocks กรอบการจำลองแบบเปิดที่สร้างขึ้นรอบแขนหุ่นยนต์และบล็อกบนโต๊ะ เป็นFoundationWorldsตัวแรกสำหรับการเรียนรู้และประเมินผลหุ่นยนต์แบบควบคุม กรอบนี้สร้างทักษะและการสาธิตโดยอัตโนมัติผ่าน RL และการวางแผนการเคลื่อนไหวใน Isaac Lab ทำความเร็วได้ถึง 24 เท่าของเวลาจริงบน GPU เดียว และมาพร้อมการสาธิตระยะยาว 85,336 ชุด ครอบคลุมเกือบ 1,600 ชั่วโมงและ 144 ล้านเฟรม ในการทดลองของพวกเขา ความสำเร็จของทักษะระดับอะตอมของ ManiFlow อยู่ที่ 80.0% ในการจำลองและ 81.1% บน Franka FR3 จริง ขณะที่ระบบ Molmo 2 ร่วมกับ ManiFlow ประสบความสำเร็จ 55.5% ของตอนในการจำลองและ 50.0% ในโลกจริง

  2. Ai2 · Allen Institute for AI58

    Ai2 เปิดตัว ToyBlocks โลกจำลองแบบควบคุมสำหรับการเรียนรู้และประเมินผลของหุ่นยนต์

    Ai2 เปิดตัว ToyBlocks กรอบการจำลองแบบเปิดที่สร้างขึ้นรอบแขนหุ่นยนต์และบล็อกบนโต๊ะ เป็น FoundationWorlds ตัวแรกสำหรับการวิจัยการเรียนรู้ของหุ่นยนต์แบบควบคุม ToyBlocks สร้างงานและการสาธิตโดยอัตโนมัติผ่าน RL และการวางแผนการเคลื่อนไหวใน Isaac Lab โดยสร้างข้อมูลได้สูงสุดถึง 24 เท่าของเวลาจริงบน GPU เดียว และมาพร้อมกับการสาธิตระยะยาว 85,336 รายการ ครอบคลุมเกือบ 1,600 ชั่วโมงและ 144 ล้านเฟรม ในการทดสอบโลกจริงบน Franka FR3 ความสำเร็จของทักษะระดับอะตอมของ ManiFlow อยู่ที่ 80.0% ในการจำลองและ 81.1% บนฮาร์ดแวร์ ขณะที่ระบบ Molmo 2 ร่วมกับ ManiFlow ประสบความสำเร็จ 55.5% ของตอนจำลองและ 50.0% ของตอนจริง

  3. vLLM Blog77

    REINFORCE Zero: การจัดแนวเคอร์เนลช่วยให้ Async RL เสถียรที่ Policy Lag 64 ขยายไปถึง DeepSeek-V4.1 และ Kimi K3.1

    บทความ REINFORCE Zero ของ NVIDIA Research และ Inferact แสดงให้เห็นว่าการจัดแนวเคอร์เนลของ rollout และ trainer ทำให้ unclipped token-level importance sampling สามารถแก้ไข weight lag ที่เหลืออยู่ได้ ทำให้ฝึกได้อย่างเสถียรถึง 20,000 อัปเดตที่ policy lag 64 และได้ throughput ของ training-step เป็น 2.40 เท่าของการฝึกแบบ synchronous ด้วยเคอร์เนลที่จัดแนวแล้ว ด้วยเคอร์เนลมาตรฐาน ค่ามัธยฐาน rollout-to-learner KL เพิ่มขึ้น 83.33 เท่าตลอดการรัน และ online AIME24 pass@1 ลดลงจาก 34.27% เหลือ 13.96% ขณะที่ sequence gate ช่วยให้การฝึกเสถียรแต่ปฏิเสธ 24.48% ของ sequence ภายใน 1,000 อัปเดตสุดท้าย การตั้งค่า zero-mismatch ครอบคลุม DeepSeek-V4.1-Flash, Kimi K3.1 ในวันเปิดตัว และ DeepSeek-V4-Flash กับ Kimi K3.1 บน AMD MI355X โดยมีโค้ดอยู่ที่ Inferact/zero-mismatch-rl และ NVIDIA-NeMo/labs-molt

    ทำไมเรื่องนี้สำคัญ: NVIDIA Research และ Inferact แยกช่องว่างระหว่าง rollout-learner ของ async RL ออกเป็น weight lag และ kernel mismatch โดยแสดงให้เห็นว่าการจัดแนวเคอร์เนลทำให้ unclipped importance sampling รักษาการฝึกที่เสถียรที่ policy lag 64 ได้

5 พฤศจิกายนวันพฤหัสบดี
  1. Zyphra Research36

    ZYFA: เคอร์เนล FP8 Attention ที่รวดเร็วและแม่นยำบน AMD MI355X

    Zyphra Research เปิดตัว ZYFA เคอร์เนล causal prefill attention แบบ BF16 และ FP8 สำหรับ MI355X ของ AMD (CDNA4, gfx950) รองรับ head dimension 128 และรูปร่าง MLA ของ DeepSeek-V2 บนแอคติเวชันจาก Mistral-7B, Qwen3-8B และ DeepSeek-V2-Lite ที่ 16K โทเคน เคอร์เนล FP8 ของ ZYFA ทำ throughput ได้ 1.16–1.76× ของ AITER และบนอินพุตแบบเกาส์เซียนที่ 32K โทเคน ทำได้ 1.26–1.37× ที่ head dimension 128 และ 1.99× ที่รูปร่าง MLA ข้อผิดพลาดของ FP8 ต่ำกว่าของ AITER 62–78% ที่ head dimension 128

  2. Google Research47

    งานวิจัยของ Google ช่วยให้มนุษย์นิยามหมวดหมู่ AI แบบอัตวิสัยได้ด้วย Agile Deliberation

    Google Research เปิดตัว Agile Deliberation ซึ่งเป็นกรอบการทำงานที่เปลี่ยนการสร้างตัวจำแนกประเภท AI แบบอัตวิสัยให้เป็นการสนทนาแบบวนซ้ำที่ AI ช่วยให้ผู้ใช้ปรับปรุงคำนิยามของตนเองให้ชัดเจนขึ้น โดยแบ่งงานออกเป็นการกำหนดขอบเขตแนวคิดและการวนซ้ำแนวคิด ใช้โมเดลภาพ-ภาษาเพื่อแสดงภาพที่อยู่กึ่งกลางและส่งต่อข้อเสนอแนะเข้าสู่วงจรการปรับแต่งพรอมต์อัตโนมัติ ในการทดลองกับผู้ใช้จริง 18 ครั้ง ครั้งละ 1.5 ชั่วโมง วิธีนี้ช่วยลดความเหนื่อยล้าและความกังวลของผู้ใช้ และสร้างโมเดลที่สอดคล้องกันมากขึ้นซึ่งมีประสิทธิภาพเหนือกว่าฐานมาตรฐาน โค้ดเปิดเผยเป็นโอเพนซอร์สบน GitHub

29 ตุลาคมวันพฤหัสบดี
  1. inclusionAI Repositories52

    IDM ของ Inclusion AI จับคู่ฟีเจอร์ EMA ของตัวสร้างเพื่อเร่งการสร้างภาพจากข้อความแบบหนึ่งขั้นและสองขั้น

    Inclusion AI และผู้ร่วมงานทางวิชาการได้เปิดตัว IDM ซึ่งเป็นวิธีการกลั่นที่ผสมผสานการจับคู่การกระจายภายในกับการจับคู่โมเมนต์ในพื้นที่ฟีเจอร์ EMA ของตัวสร้างเอง โดยไม่ต้องใช้ตัวเข้ารหัสฟีเจอร์ภายนอก ที่ 2 NFE IDM (Z-Image) ทำคะแนนได้ 94.25% บน LongText-CN และ 90.20% บน LongText-EN และ IDM (Z-Image) แบบพารามิเตอร์เต็มทำงานใน 0.25 วินาทีที่ 1 NFE และ 0.30 วินาทีที่ 2 NFE บน A100 เครื่องเดียวใน BF16 เช็กพอยต์ที่ฝึกแล้วเดียวกันรองรับการสุ่มตัวอย่างทั้งแบบ 1-NFE และ 2-NFE และโค้ดเปิดเผยภายใต้ Apache 2.0 ขณะที่เช็กพอยต์ระบุว่ากำลังจะมา

19 ตุลาคมวันจันทร์
  1. Sakana AI Blog55

    Sakana AI เสนอ QD-Rec วิธีการแนะนำแบบ Quality-Diversity ที่จับคู่ผู้สมัครกับสมมติฐานที่เขียนโดย LLM

    Sakana AI พัฒนา QD-Rec วิธีการแนะนำที่ถือเอาผู้สมัครบวกกับสมมติฐานที่อธิบายเหตุผลในการเลือกเป็นหน่วยของการแนะนำ และใช้การค้นหาแบบ Quality-Diversity เพื่อสะสมข้อเสนอที่มีคุณภาพและหลากหลาย ในการทดลองด้าน M&A การกำหนดเป้าหมายลูกค้า และการแนะนำบทความ QD-Rec สร้างคลังที่ได้คะแนนเฉลี่ยสูงกว่าและมีขนาดใหญ่กว่าฐานเปรียบเทียบที่เขียนสมมติฐานแต่ละอันขึ้นใหม่ทั้งหมด และโค้ดของมันเผยแพร่บน GitHub บทความรายงานกรณีที่สมมติฐานซึ่งได้คะแนน 1 จาก 10 สำหรับบริษัทหนึ่งถูกกลายพันธุ์และถ่ายโอนไปยังผู้สมัครอีกราย ทำให้คะแนนเพิ่มขึ้นเป็น 5

15 ตุลาคมวันพฤหัสบดี
  1. Goodfire Research62

    บทความวิจัยของ Goodfire อ้างว่าโครงข่ายประสาทเทียมนั้นสะอาดอยู่แล้ว และ superposition ถูกตีความผิด

    นักวิจัยของ Goodfire อ้างว่าหลักฐานตามแบบฉบับของ polysemanticity และ superposition ในโครงข่ายประสาทเทียมนั้นถูกตีความผิด และสิ่งที่ดูเหมือนการบรรจุแบบสุ่มนั้นแท้จริงแล้วส่วนใหญ่เป็น motif ที่เขาเรียกว่า recursive generalization การฝึก InceptionV1 ใหม่ด้วยการปรับปรุงสถาปัตยกรรมตามปกติโดยไม่เปลี่ยนขนาดโมเดลหรือข้อมูลฝึก ทำให้ 99-100% ของนิวรอนในเลเยอร์สุดท้ายตีความได้ง่าย และการตรวจสอบเบื้องต้นของ Qwen3-32B ประเมินว่าประมาณ 90% ของขั้วนิวรอนมีหน้าที่หลักอย่างหนึ่ง บทความสรุปว่าโครงข่ายใช้หลักการเรียนรู้เดียวไม่ใช่สองหลัก ดังนั้นการตีความจึงสามารถดำเนินการโดยการศึกษานิวรอนและวงจรโดยตรงแทนที่จะฝึกโมเดลแยกส่วนเช่น sparse autoencoder ก่อน

    ทำไมเรื่องนี้สำคัญ: การตีความหลักฐาน polysemanticity ตามแบบฉบับของสาขานี้ใหม่จากมุมมองของผู้วิจัยเอง โดยอ้างว่าโครงข่าย generalize แบบเวียนเกิดแทนที่จะบรรจุแนวคิดที่ไม่เกี่ยวข้องกัน ซึ่งจะทำให้การศึกษาเชิงกลไกโดยตรงเป็นไปได้

13 ตุลาคมวันอังคาร
  1. Amazon Science75

    นักวิจัยของ Amazon Web Services เสนอวิธีการ priming เพื่อแปลง Transformer ที่ผ่านการฝึกมาแล้วให้เป็นโมเดลแบบ hybrid state space โดยไม่ต้องฝึกใหม่ทั้งหมด

    นักวิจัยของ Amazon Web Services นำเสนอ priming ซึ่งเป็นวิธีการที่นำน้ำหนักของ Transformer ที่ผ่านการฝึกมาแล้วกลับมาใช้ เพื่อลดต้นทุนการฝึกโมเดลสถาปัตยกรรมแบบ hybrid state space ก่อนการใช้งานลงได้มากกว่า 99% โดยใช้โควต้าโทเคนสำหรับการฝึกของโมเดลต้นทางน้อยกว่า 0.5% ในการเปรียบเทียบแบบควบคุม Gated KalmaNet มีประสิทธิภาพเหนือกว่า Gated DeltaNet และ Mamba-2 และโมเดล hybrid ขนาด 32B ที่ใช้ GKA มีผลลัพธ์เทียบเท่า Transformer ต้นทางบนเกณฑ์วัดด้านการให้เหตุผล ขณะที่ถอดรหัสได้เร็วขึ้นถึงสองเท่าเมื่อมีบริบท 128,000 โทเคน ทีมงานได้เผยแพร่โมเดล hybrid ที่ผ่านการ priming ขนาด 8B และ 32B โค้ดสำหรับการฝึก เคอร์เนล Triton และปลั๊กอินสำหรับให้บริการผ่าน vLLM ภายใต้สัญญาอนุญาต Apache 2.0

    ทำไมเรื่องนี้สำคัญ: นักวิจัยของ Amazon Web Services แสดงให้เห็นว่าการนำน้ำหนักของ Transformer ที่ผ่านการฝึกมาแล้วกลับมาใช้สามารถลดต้นทุนการฝึกสถาปัตยกรรมแบบ hybrid ได้มากกว่า 99% ทำให้การเปรียบเทียบชั้น state space แบบควบคุมเป็นเรื่องที่ทำได้จริง

1 กันยายนวันอังคาร
  1. Zyphra Research48

    Zyphra เปิดตัว PUFFER ระบบกำจัดข้อมูลซ้ำแบบคลุมเครือเชิงส่วนเพิ่มสำหรับคลังข้อมูลฝึกที่เปลี่ยนแปลงอยู่ตลอด

    Zyphra เปิดตัว PUFFER ระบบกำจัดข้อมูลซ้ำแบบคลุมเครือเชิงส่วนเพิ่มที่ตระหนักถึงแหล่งที่มาแบบโอเพนซอร์ส สำหรับคลังข้อมูลฝึก LLM ที่เติบโตอย่างต่อเนื่อง ภายใต้สัญญาอนุญาต Apache 2.0 โดยให้ความเร็วเพิ่มขึ้น 11x-35x เมื่อเทียบกับวิธีการกำจัดข้อมูลซ้ำบน CPU ที่มีอยู่ และสามารถนำเข้าหนึ่งพันล้านเอกสารได้ใน 1.75 ชั่วโมงบนโปรเซสเดียว พร้อมการใช้งานจริงกับเอกสารมากกว่า 30 พันล้านฉบับ PUFFER เก็บประวัติ MinHash-LSH ที่พักอยู่บนดิสก์ เพื่อให้สามารถเพิ่มชุดข้อมูลใหม่ กู้คืนงานที่ถูกขัดจังหวะได้อย่างแน่นอน และถอนชุดข้อมูลแต่ละชุดออกได้โดยไม่ต้องสร้างดัชนีคลังข้อมูลทั้งหมดใหม่

29 กรกฎาคมวันพุธ
  1. Berkeley AI Research58

    จาก CUDA สู่ MLX: K-Search นำความเชี่ยวชาญด้านการปรับแต่งเคอร์เนลมาสู่ Apple Silicon

    IBM Research ได้ขยาย K-Search ซึ่งเป็นเฟรมเวิร์กการค้นหาเคอร์เนลเชิงวิวัฒนาการจาก UC Berkeley Sky Lab ด้วยแบ็กเอนด์ MLX และชั้นการแปล CUDA-to-MLX แบบมีโครงสร้างที่ปรับเคอร์เนล CUDA ที่มีอยู่ให้เป็นเคอร์เนลสำหรับ Apple Silicon บนเคอร์เนล attention ของ MLX วิธีนี้ทำความเร็วได้ 0.97 เท่าของความเร็วเคอร์เนล MLX Attention แบบเนทีฟของ Apple เพิ่มขึ้นจาก 0.26 เท่าเมื่อไม่มีบริบทการแปล และเคอร์เนล Mamba SSM ที่ผ่านวิวัฒนาการทำความเร็ว prefill ได้สูงสุดถึง 20 เท่าเมื่อเทียบกับการใช้งาน mlx-lm ของชุมชนบน M1 Max ผู้เขียนระบุว่าผลที่ได้ส่วนใหญ่มาจากคุณภาพของบริบทและข้อจำกัดที่ให้แก่ LLM มากกว่าความสามารถในการเขียนโค้ด Metal และกล่าวว่าวิธีนี้ไม่ได้จำเพาะเจาะจงกับ MLX

1 กรกฎาคมวันพุธ
  1. Modal Blog58

    Modal Research และ MRP ของ HeavyBall นำการทำนายหลายโทเคนมาสู่ diffusion LM

    Modal Research และ HeavyBall Research จาก NYU Shanghai แนะนำ Multi-token Residual Prediction (MRP) ซึ่งเป็นโมดูล 3 ชั้นที่ติดตั้งบน backbone ของ diffusion LM ที่ถูก freeze ไว้ โดยทำนาย logit residual ระหว่างขั้นแทนการทำนายการแจกแจงของขั้นถัดไปแบบเต็ม บน SDAR-4B GSM8K นั้น MRP รักษาความแม่นยำไว้ที่ 70.9% ที่ K=3 เทียบกับ 5.9% ของ naive MTP distillation และใน SGLang ทำ throughput ได้สูงสุดถึง 1.56 เท่าโดยไม่สูญเสียความแม่นยำในโหมด speculative หรือกู้คืนความแม่นยำได้ถึง +16 จุดภายใต้ aggressive low-threshold dynamic decoding เปิดตัว paper, code, SGLang implementation และโมเดล SDAR-MRP บน Hugging Face แล้ว

29 เมษายนวันพุธ
  1. Factory58

    Factory ทดสอบโมเดล 13 ตัวบนงานโค้ดรีวิว พบ GPT-5.2 ดีที่สุด และ MiniMax M2.7 ถูกที่สุด

    Factory สร้าง benchmark โอเพนซอร์สทดสอบโมเดล 13 ตัวกับ pull request จริง 50 รายการจาก Sentry, Grafana, Keycloak, Discourse และ Cal.com โดยแต่ละโมเดลรีวิวทุก PR อย่างน้อยสามครั้งด้วย high reasoning effort และ LLM judge ให้คะแนนสิ่งที่พบเทียบกับ golden set ที่มนุษย์คัดสรร GPT-5.2 นำที่ 60.5% F1 ในราคา $1.25 ต่อ PR เหนือกว่า Claude Opus 4.6 ที่ 59.8% F1 และ $3.11 ต่อ PR ขณะที่ MiniMax M2.7 ทำได้ 45.6% F1 ในราคา $0.15 ต่อ PR และ Kimi K2.5 ได้ 51.9% F1 ที่ $0.41 Factory ระบุว่าต้นทุนอธิบายความแปรปรวนของคุณภาพได้เพียงราว 21% และได้เปิดโอเพนซอร์ส golden set, สคริปต์ประเมิน และ Droid Action GitHub Action ที่รองรับทั้ง 13 โมเดล

13 มีนาคมวันศุกร์
  1. Berkeley AI Research38

    Berkeley AI Research เปิดตัว SPEX และ ProxySPEX สำหรับระบุปฏิสัมพันธ์ในระดับใหญ่สำหรับ LLMs

    นักวิจัยจาก Berkeley AI Research อธิบายถึง SPEX และ ProxySPEX อัลกอริทึมที่ระบุปฏิสัมพันธ์ที่มีอิทธิพลของคุณลักษณะ ข้อมูล และองค์ประกอบของโมเดลใน LLMs ในระดับที่ใหญ่กว่าวิธีก่อนหน้ามาก SPEX ตีความการค้นหาปฏิสัมพันธ์ใหม่เป็นการกู้คืนแบบเบาบางโดยใช้ความเบาบางและ low-degreeness ขณะที่ ProxySPEX ใช้ประโยชน์จากลำดับชั้นเพื่อจับคู่กับ SPEX ด้วยการ ablation น้อยลงประมาณ 10 เท่า ในการวิเคราะห์ความรู้สึก SPEX ให้ความซื่อสัตย์เทียบเท่า Faith-Shap และ Faith-Banzhaf บนอินพุตสั้นและคงไว้เมื่อบริบทขยายไปถึงหลายพันคุณลักษณะ