ข้ามไปที่เนื้อหา
เฉพาะ จากต้นทาง#ข้อมูล / การเทรน
4 พฤศจิกายนวันพุธ
  1. Ai2 · Allen Institute for AI38

    Ai2 และ Google ร่วมมือกันพัฒนาโมเดลสภาพภูมิอากาศ NeuralGCM+

    Ai2 ได้เปิดตัวโครงการสร้างแบบจำลองสภาพภูมิอากาศโดยได้รับการสนับสนุนเงินทุนสามปีจาก Google.org และการสนับสนุนทางเทคนิคจาก Google Research เพื่อพัฒนา NeuralGCM+ ซึ่งเป็นโมเดลโอเพนซอร์สสำหรับการคาดการณ์สภาพภูมิอากาศที่รวดเร็วและเชื่อถือได้มากขึ้น โครงการนี้ต่อยอดจาก NeuralGCM ของ Google Research ซึ่งผสมผสานสมการทางฟิสิกส์สำหรับพลศาสตร์ขนาดใหญ่เข้ากับ AI สำหรับกระบวนการขนาดเล็ก เช่น การก่อตัวของเมฆและปริมาณน้ำฝน เพื่อจำลองบรรยากาศและมหาสมุทรไปพร้อมกัน Ai2 มุ่งหวังที่จะลดข้อผิดพลาดของอุณหภูมิและปริมาณน้ำฝนในระดับภูมิภาคในช่วง 50 ปีที่ผ่านมา และเผยแพร่โมเดลและเฟรมเวิร์กพร้อมเวิร์กโฟลว์ที่มีเอกสารประกอบสำหรับนักวิจัยภายนอก

  2. Meta Engineering Blog34

    Meta F3 Lightning เร่งการเปิดตัวฟีเจอร์ ML สำหรับโฆษณาเร็วขึ้น ~3.6 เท่า

    Meta เปิดตัว F3 Lightning ซึ่งเป็นชั้นโครงสร้างพื้นฐานบน Facebook Feature Framework (F3) ที่แยกการเปิดตัวฟีเจอร์ออกจากการประมวลผลร่วม ทำให้ฟีเจอร์จัดอันดับโฆษณากว่า 20,000 รายการแต่ละรายการถูกคอมไพล์ ตรวจสอบ ปรับใช้ และย้อนกลับได้อย่างอิสระ ฟีเจอร์การสกัดข้อมูลที่เทียบเคียงกัน kini ถึงการผลิตเร็วขึ้น ~3.6 เท่าเมื่อเทียบกับ F3 ก่อนหน้า โดยไม่มีต้นทุนการประมวลผลโครงสร้างพื้นฐานเพิ่มขึ้น

  3. Anthropic Research66

    ห้องปฏิบัติการชีววิทยาของ Anthropic รายงานโครงสร้างอนุภาค vault ของโปรคาริโอตเป็นครั้งแรก ถอดรหัสด้วย Claude

    ห้องปฏิบัติการวิจัยชีววิทยาของ Anthropic รายงานโครงสร้าง 3 มิติของอนุภาค vault ที่พบในเซลล์โปรคาริโอตเป็นครั้งแรก เป็นโปรตีนจากฟาจชื่อ L05 ประกอบจาก 96 ชุด มีมวลประมาณ 9.5 เมกะดาลตัน ภายใต้การกำกับของทีม Claude ได้ค้นฐานข้อมูลโปรตีนที่ทำนายไว้ประมาณ 15 พันล้านรายการ ออกแบบโครงสร้าง DNA ปรับแต่งวิธีการแยกด้วย size-exclusion chromatography ซึ่งลดเวลาการทำให้บริสุทธิ์จากสามวันเหลือประมาณ 90 นาที และดำเนินการประมวลผล cryo-EM ด้วย RELION ซึ่งสร้างแบบจำลองเต็มรูปแบบชิ้นแรกได้ใน 34 ชั่วโมง preprint ถูกส่งไปยัง bioRxiv แล้ว และทีมระบุว่าหน้าที่ทางชีววิทยาของ vault ยังไม่เป็นที่ทราบ

    ทำไมเรื่องนี้สำคัญ: ห้องปฏิบัติการชีววิทยาของ Anthropic รายงานโครงสร้าง 3 มิติของอนุภาค vault จากโปรคาริโอตเป็นครั้งแรก โดย Claude รับผิดชอบการค้นฐานข้อมูล การออกแบบโครงสร้าง การทำให้บริสุทธิ์ และการประมวลผล cryo-EM

3 พฤศจิกายนวันอังคาร
  1. Ai2 · Allen Institute for AI55

    Ai2 เปิดตัว StateBench เพื่อทดสอบว่าโมเดลภาษาติดตามการเปลี่ยนแปลงสถานะในเอกสารยาวได้อย่างไร

    Ai2 เปิดตัว StateBench ซึ่งเป็นเบนช์มาร์กที่มีสี่ระดับความยากสำหรับการติดตามสถานะในบริบทแบบยาว ตั้งแต่การกำหนดค่าที่ไม่เปลี่ยนแปลง ไปจนถึงการอัปเดตแบบอ้างอิงตนเองและแบบอ้างอิงข้าม ในการทดสอบ Gemini 3.8 Flash, Claude Opus 5.5 และ GPT-6 Sol และ Luna จัดการระดับที่ง่ายกว่าได้ แต่ลดลงเหลือ 13% หรือต่ำกว่าบนปัญหาจำกัดทั่วไปที่ยาวที่สุด ขณะที่ Gated DeltaNet ขนาด 275M พารามิเตอร์และโมเดลไฮบริดที่ฝึกจากศูนย์สามารถ généralisé ได้เกือบสมบูรณ์แบบในสามระดับแรก และทรานส์ฟอร์เมอร์ไม่เคยเรียนรู้ระดับที่ยากที่สุดได้เลย

  2. Apple Machine Learning Research32

    Attention to Mamba: สูตรสำหรับการกลั่นข้ามสถาปัตยกรรม

    นักวิจัยของ Apple เสนอสูตรสองขั้นตอนสำหรับการกลั่น Transformer ให้เป็นสถาปัตยกรรม Mamba แท้ที่ไม่มีบล็อก Attention เลย วิธีการนี้เริ่มจากการกลั่น Transformer ที่ผ่านการฝึกมาก่อนให้เป็นโมเดล Attention แบบเชิงเส้นผ่านเทคนิคเคอร์เนลที่ดัดแปลง จากนั้นจึงกลั่นโมเดลนั้นให้เป็นโมเดล Mamba ที่ดัดแปลง ผลลัพธ์คือ Mamba ที่กลั่นแล้วยังคงประสิทธิภาพส่วนใหญ่ของ Pythia-1B ไว้ได้ โดยมี perplexity อยู่ที่ 14.01 เทียบกับ 13.86 ของโมเดลครู และยังมีช่องว่างในงานที่ต้องอาศัยการเรียกคืนจากบริบท

1 พฤศจิกายนวันอาทิตย์
  1. Sakana AI Blog40

    Sakana AI Symposium: Jürgen Schmidhuber พูดถึงอดีตและอนาคตของ AI การผลักดันของญี่ปุ่นสู่โมเดลภาษา World Models และ Physical AI

    Sakana AI จัดงานสัมมนา "From World Models to Real-World AI" ที่โตเกียวเมื่อวันที่ 26 ตุลาคม 2026 โดย Jürgen Schmidhuber ที่ปรึกษาวิทยาศาสตร์ระดับหัวหน้าได้กล่าวปาฐกถาหลัก และ Sakana AI ประกาศว่าจะพัฒนาโมเดลภาษาที่ผ่านการฝึกอบรมล่วงหน้าของตนเองในชื่อ Sakana Sawara (ชื่อชั่วคราว) โดยโมเดลขนาดเล็กตัวแรก Sawara Small (ชื่อชั่วคราว) มีแผนจะเปิดตัวในฤดูใบไม้ผลิปี 2027 หากการพัฒนาดำเนินไปอย่างราบรื่น งานนี้มีผู้เข้าร่วมมากกว่า 400 คน และยังมีการสนทนาระหว่าง Schmidhuber กับ David Ha ซีอีโออีกด้วย

30 ตุลาคมวันศุกร์
  1. Microsoft Research40

    Microsoft สร้างแพลตฟอร์มข้อมูลองค์กรสังเคราะห์เพื่อประเมิน Copilot

    แพลตฟอร์ม Industry Evaluation Data Generation Platform ของ Microsoft สร้างสภาพแวดล้อมองค์กรสังเคราะห์แบบครบวงจรเพื่อประเมิน Microsoft Copilot โดยไม่ใช้ข้อมูลลูกค้า โดยอ้างอิงจากแหล่งข้อมูลสาธารณะ เช่น ข้อมูลอาชีพ O*NET ประกาศรับสมัครงาน และเอกสารที่ยื่นต่อ SEC ระบบจะสร้าง tenant ที่สมจริงพร้อมผู้ใช้ การประชุม อีเมล และเอกสาร รวมถึงไปป์ไลน์การสอบถามอัตโนมัติและกรอบการประเมินคุณภาพ Microsoft ระบุว่าสิ่งนี้สร้างมาตรฐานพื้นฐานการประเมินแบบมาตรฐานแห่งแรกสำหรับ Copilot

  2. Microsoft Research22

    Microsoft Research Focus Edition #97: ForkPilot, CABRA, TeleTune และการใช้ AI ในการทำงาน

    Microsoft Research Focus Edition #97 นำเสนอ ForkPilot ซึ่งเป็นกรอบงานเอเจนต์ที่พัฒนาตนเองได้ โดยทำผลงานได้เทียบเท่าวิธีการที่ดีที่สุดที่มีอยู่ พร้อมลดความต้องการในการประมวลผล AI ลงได้ถึง 59% ในหกเกณฑ์มาตรฐาน ฉบับนี้ยังครอบคลุม CABRA กรอบงานที่แสดงให้เห็นว่าเอเจนต์เขียนโค้ดยังคงเข้าใจฐานโค้ดที่ไม่คุ้นเคยได้ยาก และ TeleTune ซึ่งเรียนรู้ทักษะที่นำกลับมาใช้ซ้ำได้จากบันทึกกิจกรรมของผู้ใช้ นอกจากนี้ยังตรวจสอบกิจกรรมใน Copilot Chat ซึ่งการแก้ไขเอกสารมีสัดส่วนเกิน 20% ของกิจกรรมที่จำแนกได้

  3. Amazon Science38

    เร่งความเร็ว LLM สำหรับแอปพลิเคชันท่องเที่ยว: Medusa ผสาน knowledge distillation

    การผสาน knowledge distillation เข้ากับเฟรมเวิร์ก Medusa ช่วยให้นักเรียน TinyLlama ขนาด 1.1B พารามิเตอร์มีคุณภาพทัดเทียมกับครู Llama-3.1 ขนาด 70B พารามิเตอร์ ขณะที่ทำงานเร็วขึ้น 10 ถึง 20 เท่าในต้นทุนต่ำกว่าหนึ่งในสาม การทำงานร่วมกับ Booking.com ใน AI Trip Planner, Smart Filters และการสร้างคำอธิบายที่พัก ไปป์ไลน์นี้ปิดช่องว่างคุณภาพได้กว่า 90% และเพิ่มความเร็วได้อีก 2 ถึง 3.6 เท่าจาก Medusa heads

29 ตุลาคมวันพฤหัสบดี
  1. Meta Engineering Blog40

    Meta Andromeda: เอนจินดึงโฆษณารุ่นใหม่ของ Meta แตะ 1 พันล้านโฆษณาต่อวินาที

    Meta เผยรายละเอียด Andromeda รุ่นถัดไป ซึ่งเป็นเอนจินดึงโฆษณาเฉพาะบุคคล ที่ให้คะแนนโฆษณากว่าหนึ่งพันล้านรายการต่อวินาทีในการใช้งานจริง เพิ่มปริมาณงานขึ้น 100 เท่าเมื่อเทียบกับระบบในปี 2024 สถาปัตยกรรมใหม่นำ mixture-of-experts ที่ได้แรงบันดาลใจจาก LLM มาใช้ในการดึงข้อมูล เข้าใกล้ประสิทธิภาพของโมเดลระดับการจัดอันดับด้วย FLOPs ตอนอนุมานน้อยลงราว 300 เท่า โดยประมวลผลโฆษณากว่าหมื่นล้านรายการต่อวินาทีบน GPU NVIDIA GH200 เพียงตัวเดียว ตั้งแต่ปี 2025 Andromeda ช่วยเพิ่มอัตราการแปลงบน Facebook ขึ้น 2.4%

  2. Preferred Networks News40

    กลุ่มเซ็นรินและ Preferred Networks จับมือเป็นพันธมิตรทางธุรกิจและทุน เพื่อผสานข้อมูลภูมิสารสนเทศเข้ากับ AI

    Zenrin, Zenrin DataCom และ Preferred Networks ได้ลงนามในข้อตกลงพันธมิตรทางธุรกิจและทุน โดยบริษัทในกลุ่มเซ็นรินได้จองซื้อหุ้นจากการจัดสรรหุ้นเพิ่มทุนให้บุคคลภายนอกของ PFN พันธมิตรจะนำข้อมูลภูมิสารสนเทศที่อัปเดตอย่างต่อเนื่อง รวมถึงบันทึกการเปลี่ยนแปลงเชิงประวัติศาสตร์ มารวมกับเทคโนโลยี AI เชิงสร้างสรรค์ AI เชิงกายภาพ และการรับรู้พื้นที่ 3 มิติของ PFN เพื่อสร้างโมเดล AI ที่เข้าใจและคาดการณ์การเปลี่ยนแปลงในโลกจริง โดยกลุ่มเป้าหมายเริ่มต้น ได้แก่ ภาครัฐ อสังหาริมทรัพย์ ค้าปลีกและการกระจายสินค้า มุ่งเป้าไปที่การพยากรณ์ความต้องการ การเลือกทำเลร้านค้า การวางผังเมือง การป้องกันภัยพิบัติ และการจำลองโลจิสติกส์

  3. Figma Blog58

    Figma ฝึกโมเดลแก้ไขงานออกแบบที่เชี่ยวชาญ Figma ได้อย่างไร

    Figma อธิบายรายละเอียดว่าฝึกโมเดลแก้ไขงานออกแบบของบริษัทเองสำหรับเอเจนต์ Figma ได้อย่างไร โดยเริ่มจากการปรับแต่งแบบมีผู้สอน (supervised fine-tuning) ด้วยคำขอแก้ไขแบบสังเคราะห์ที่แสดงในรูปแบบไฟล์ดั้งเดิมของ Figma และตรวจสอบด้วยการตรวจสอบแบบกำหนดผลได้แน่นอน (deterministic checks) และโมเดลผู้ตัดสินด้านภาพ (visual model judges)

28 ตุลาคมวันพุธ
  1. Ai2 · Allen Institute for AI40

    นักวิจัยปรับใช้ olmOCR 2 กับคลังเอกสารทางประวัติศาสตร์และโบราณคดีอย่างไร

    นักวิจัยกำลังปรับใช้โมเดล olmOCR 2 แบบเปิดของ Ai2 เพื่อถอดความคลังเอกสารทางประวัติศาสตร์และโบราณคดี นักประวัติศาสตร์ Maurice Casey สร้าง ArtificeOCR ซึ่งรัน olmOCR 2 ในเครื่องร่วมกับ Tropy เพื่อทำให้คลังภาพเอกสารของเขาค้นหาได้ด้วยคีย์เวิร์ด ขณะที่โครงการ CENTURIA ของ TU Wien ปรับแต่ง olmOCR 2 ด้วย LoRA บนระเบียนที่ทำคำอธิบายประกอบ 57 รายการ ลดข้อผิดพลาดในการถอดความบนระเบียนทดสอบ 450 รายการจาก 15.58% เหลือ 1.11%

  2. Google Research58

    กรอบงาน sleep ของ Google Research ช่วยให้ LLM รวมความรู้ใหม่ได้โดยไม่ลืมความรู้เดิมอย่างรุนแรง

    Google Research ได้นำเสนอกรอบงาน sleep สำหรับการเรียนรู้อย่างต่อเนื่อง ซึ่งสลับระหว่างการโต้ตอบแบบแอคทีฟกับการรวมความจำแบบออฟไลน์ ทำให้ LLM ดูดซับข้อเท็จจริงใหม่เข้าสู่พารามิเตอร์ Mixture-of-Experts ที่ขยายเพิ่ม แทนที่จะสูญเสียความรู้เดิม วิธีการนี้ผสานการขยายพารามิเตอร์ การกลั่นแบบ on-policy ด้วยการเลียนแบบที่อิงการเรียนรู้แบบเสริมกำลัง และขั้นตอน dreaming ที่สร้างและกรองตัวอย่างการฝึกแบบสังเคราะห์ ผู้เขียนรายงานว่าการลดลงของประสิทธิภาพเกือบเป็นศูนย์ในการแปลอย่างต่อเนื่องสำหรับภาษาที่ไม่เคยเห็น เช่น ภาษาแมนจูและภาษากาลามัง การขยายขนาดเกือบสมบูรณ์แบบถึง 10M โทเค็นบน BABILong ผลลัพธ์ 48.9% สำหรับงานเดี่ยวและ 46.2% สำหรับ CPT ในการincorporation ข้อเท็จจริงจาก SQuAD และ 79.2%, 69.0% และ 46.1% บน AIME 24/25 และ HMMT 25

  3. Meta AI Research Blog30

    Meta สนับสนุนการวิจัย AI ในมหาวิทยาลัยห้าแห่งของสหรัฐฯ เพื่อเร่งความก้าวหน้าทางการแพทย์และวิทยาศาสตร์

    Meta ให้การสนับสนุนการวิจัยในมหาวิทยาลัยห้าแห่งของสหรัฐฯ ได้แก่ Caltech, Ohio State University College of Medicine, Louisiana State University, Indiana University และ UTHealth Houston ด้วยการเข้าถึงโมเดล Muse ล่าสุด ความร่วมมือจากนักวิจัย และเงินทุน นักวิจัยจะใช้ Muse Spark Open, Muse Wonder, Muse Spark, Muse Glimmer แบบ open-weight ขนาด 30B รวมถึง SAM, V-JEPA, DINO, UMA และ SeamlessM4T โครงการครอบคลุมสาขาการแพทย์ ฟิสิกส์ เคมี ชีววิทยา วิทยาการคอมพิวเตอร์ และคณิตศาสตร์ โดยมหาวิทยาลัยยังคงควบคุมข้อมูลผู้ป่วยและข้อมูลทางคลินิกทั้งหมด

27 ตุลาคมวันอังคาร
  1. Ai2 · Allen Institute for AI58

    งานวิจัยของ Ai2 ทดสอบว่า LLMs สามารถตัดสินความใหม่ของแนวคิดการวิจัยได้อย่างน่าเชื่อถือหรือไม่

    Ai2 เผยแพร่ Old Ideas, Novel Problems ซึ่งเป็นงานวิจัยและ benchmark ที่ทดสอบว่า LLMs ประเมินความใหม่ของแนวคิดการวิจัยได้อย่างน่าเชื่อถือเพียงใด พร้อมกับข้อมูล โค้ด และ pipeline สำหรับสร้างชุดการประเมินใหม่ จากการทดสอบผู้ตัดสินหกราย ได้แก่ GPT-5.1, GPT-5.2, GPT-5.4, Claude Sonnet 4.5, Claude Opus 4.5 และ Claude Opus 4.6 การเปลี่ยนแปลง prompt เล็กน้อยทำให้ความแม่นยำเปลี่ยนไปมากกว่า 50 เปอร์เซ็นต์บนแนวคิดที่สร้างโดย AI และ baseline แบบ prompted Claude Opus 4.6 อย่างง่ายได้คะแนน macro-F1 0.854 ที่ราคา $2.59 เทียบกับ 0.642 ที่ $30.66 สำหรับ Idea Novelty Checker และ 0.772 ที่ $82.05 สำหรับ AI Scientist ของ Sakana AI

  2. Anthropic Research65

    Anthropic รายงานความคืบหน้าเบื้องต้นในการใช้ Claude เร่งการพัฒนายา

    ทีมวิทยาศาสตร์ชีวภาพของ Anthropic ใช้เวลาหลายเดือนทำงานร่วมกับบริษัทพัฒนายา 6 แห่ง รวมถึง Bristol Myers Squibb, Generate Biomedicines และ Divergence Labs พร้อมทั้งดำเนินโครงการค้นพบยาของตนเอง เพื่อทดสอบว่า Claude สามารถเร่งการพัฒนายาได้ที่จุดใด ผลลัพธ์เบื้องต้นที่รายงานรวมถึงการออกแบบของ Generate ที่สั้นกว่าฉบับมาตรฐานราว 70% ซึ่งทำให้เซลล์ภูมิคุ้มกันสร้างตัวรับได้มากขึ้นประมาณ 10 เท่า และการออกแบบแอนติบอดีราว 35,000 แบบที่สร้างขึ้นโดยอัตโนมัติเป็นส่วนใหญ่ให้กับ Divergence ภายในเวลาประมาณหนึ่งเดือน Anthropic ระบุว่างานนี้ยังอยู่ในขั้นพรีคลินิกเป็นส่วนใหญ่ และวางแผนขยายการใช้ Claude ไปสู่การทดลองทางคลินิกเมื่อโครงการต่าง ๆ ก้าวหน้าไป

    ทำไมเรื่องนี้สำคัญ: รายงานโดยละเอียดฉบับแรกของ Anthropic เกี่ยวกับการฝัง Claude ในโครงการยาจริงแสดงให้เห็นว่าโมเดลช่วยได้ที่จุดใดและยังคงด้อยที่จุดใดในความร่วมมือกับพันธมิตรทั้ง 6 ราย

23 ตุลาคมวันศุกร์
  1. Ai2 · Allen Institute for AI31

    LitPivot: ระบบของ Ai2 ช่วยนักวิจัยปรับเปลี่ยนแนวคิดการวิจัยผ่านวรรณกรรม

    นักวิจัยจาก Ai2 และมหาวิทยาลัยเพนซิลเวเนียสร้าง LitPivot ระบบที่จัดระเบียบบทความที่ค้นคืนได้ตามแง่มุมของข้อเสนอการวิจัยที่กำลังแก้ไข และแนะนำการปรับปรุงที่อ้างอิงวรรณกรรม ในการศึกษากับนักวิจัย 17 คน ผู้เชี่ยวชาญในสาขาประเมินว่าแนวคิดที่พัฒนาด้วย LitPivot มีพื้นฐานจากวรรณกรรมที่ดีกว่าแนวคิดที่สร้างด้วยโปรแกรมแก้ไขข้อความและเครื่องมือแชต AI ผู้เข้าร่วมยังรายงานว่าแนวคิดที่ปรับปรุงแล้วมีความแปลกใหม่และมีประโยชน์มากกว่า และ LitPivot จะถูกนำเสนอที่ UIST 2026

  2. Amazon Science38

    วิทยาศาสตร์เบื้องหลัง TorchNeuron แบ็กเอนด์ PyTorch ใหม่ของ Amazon สำหรับชิป AWS Trainium

    Amazon เปิดตัว TorchNeuron แบ็กเอนด์ PyTorch โอเพนซอร์สที่แปลงโค้ด PyTorch เป็นการดำเนินการที่รันได้บนระบบ AWS Trainium โดยแทบไม่ต้องแก้ไขโค้ดหรือไม่ต้องแก้เลย โดยเพิ่มโหมด eager แบบปรับตัวที่ต้องเลือกเปิดใช้ ซึ่งจัดกลุ่มและคอมไพล์การดำเนินการเพื่อประสิทธิภาพใกล้เคียงโหมดคอมไพล์ พร้อมแคช NEFF หลายระดับ บริการคอมไพล์ที่ใช้ร่วมกันช่วยลดเวลาถึงขั้นตอนเทรนแรกได้ประมาณหนึ่งในสามในการทดสอบ LLM แบบ 64 โปรเซส ทีม Annapurna ปรับแต่งและวัดประสิทธิภาพโดยใช้โมเดลตัวแทน 841 โมเดลที่กลั่นกรองจากโมเดลโอเพนซอร์สหลายแสนโมเดล

22 ตุลาคมวันพฤหัสบดี
  1. Modal Blog71

    Modal เปิดตัว Spindle เซิร์ฟเวอร์ฝึกโมเดลโอเพนซอร์สที่เข้ากันได้กับ Tinker

    Modal เปิดตัว Spindle เซิร์ฟเวอร์ฝึกโมเดลโอเพนซอร์สที่เข้ากันได้กับ Tinker ซึ่งทำงานในเวิร์กสเปซ Modal ของลูกค้า ช่วยให้ทีมปรับแต่งสแตกได้เองและจ่ายตามเวลา GPU แทนการจ่ายตามโทเคน Spindle รองรับการฝึกแบบ full-parameter และ multi-LoRA ข้ามโมเดลโอเพนซอร์สต่างๆ และ Modal รายงานว่าการแชร์เทรนเนอร์เดียวให้ไคลเอนต์ 8 รายช่วยลดต้นทุนต่อ 1M โทเคนเอาต์พุตได้สูงสุดถึง 80% เมื่อเทียบกับ Tinker ในงาน DAPO-math GRPO Modal ระบุว่า Spindle ยังอยู่ในช่วงเบต้า และวางตำแหน่งไว้ระหว่างไลบรารีการฝึก Dojo และคลัสเตอร์พริมิทีฟระดับพื้นฐาน

    ทำไมเรื่องนี้สำคัญ: เซิร์ฟเวอร์ Spindle โอเพนซอร์สของ Modal มอบทางเลือกที่เข้ากันได้กับ Tinker ให้ทีมต่างๆ โดยแลกการคิดราคาต่อโทเคนเป็นการจ่ายตามเวลา GPU พร้อมรายงานว่าการแชร์ multi-LoRA ช่วยลดต้นทุนได้สูงสุดถึง 80%

  2. Ai2 · Allen Institute for AI58

    Ai2 เปิดตัวโมเดล embedding ดาวเทียม OlmoEarth v1.3 พร้อม embedding ทั่วโลกที่คำนวณล่วงหน้าและเบราว์เซอร์ explorer

    Ai2 เปิดตัว OlmoEarth v1.3 โมเดล embedding ดาวเทียมที่เปลี่ยนข้อมูลอนุกรมเวลาจาก Sentinel-1, Sentinel-2 และ Landsat ตลอดหนึ่งปีให้เป็นเวกเตอร์ 128 มิติหนึ่งตัวต่อพิกเซลขนาด 10 เมตร โดย 64 มิติแรกสามารถใช้เป็น embedding ขนาดเล็กกว่าได้ Ai2 คำนวณ embedding รายปีล่วงหน้าสำหรับทั้งโลกและเผยแพร่บน Source Cooperative และ embedding 128 มิติของมันได้คะแนนสูงสุดในการประเมิน 20 จาก 27 รายการเมื่อเทียบกับ AlphaEarth Foundations และ Tessera v2 รวมถึงเกณฑ์มาตรฐานพืชเขตร้อนใหม่ชื่อ PLANTEUR การเปิดตัวยังรวมถึง OlmoEarth Embeddings Explorer เครื่องมือเบราว์เซอร์ที่ไม่ต้องลงชื่อเข้าใช้สำหรับเปรียบเทียบปี ค้นหาสถานที่ที่คล้ายกัน และฝึกตัวจำแนกขนาดเล็กได้ทันที โดยมีข้อมูลทั่วโลกปี 2025, 2024 และ 2023 และปี 2017 ถึง 2022 ครอบคลุมบางประเทศ น้ำหนัก ข้อมูลพรีเทรน และโค้ดเป็นโอเพนซอร์ส

  3. inclusionAI Models58

    inclusionAI เปิดตัว Ling-3.0-flash-Sante โมเดล MoE เฉพาะทางด้านการแพทย์ขนาด 124B

    inclusionAI เปิดตัว Ling-3.0-flash-Sante โมเดลเฉพาะทางด้านการแพทย์ที่สร้างบน Ling-3.0-flash มีพารามิเตอร์รวม 124B และพารามิเตอร์ที่ใช้งานต่อโทเคน 5.1B โดยเผยแพร่ weights บน Hugging Face และ ModelScope ใช้สถาปัตยกรรม hybrid-linear MoE ที่ผสม Kimi Delta Attention, gated MLA และ sparse MoE layers ฝึกถึง 256K โทเคน และเปิดโหมด thinking เป็นค่าเริ่มต้นพร้อมรองรับ tool calling ผ่านเฟรมเวิร์ก serving ที่เข้ากันได้ บริษัทระบุว่าเป็นโมเดลเพื่อการวิจัย ไม่ใช่อุปกรณ์ทางการแพทย์ และผลลัพธ์ต้องไม่ใช้แทนคำแนะนำ การวินิจฉัย หรือการรักษาทางการแพทย์จากผู้เชี่ยวชาญ

  4. Microsoft Research64

    Microsoft Research และผู้ร่วมเขียนพิสูจน์ข้อสันนิษฐาน KLS ที่มีอายุ 31 ปี

    นักวิจัย Microsoft Xinzhi Zhang และผู้ร่วมเขียนได้พิสูจน์ข้อสันนิษฐาน Kannan-Lovász-Simonovits (KLS) ซึ่งเป็นปัญหาที่เปิดอยู่มา 31 ปีในเรขาคณิตมิติสูง โดยแสดงให้เห็นว่าขอบเขตดังกล่าวคงอยู่ด้วยค่าคงที่สากลที่ไม่ขึ้นกับมิติ การพิสูจน์นี้เกิดขึ้นจากกระบวนการเอเจนต์ที่มนุษย์กำกับดูแล ซึ่งเอเจนต์ AI สำรวจแนวทางที่เป็นไปได้มากกว่า 100 แนวทาง ขณะที่นักวิจัยตัดทิ้งและเปลี่ยนทิศทางการค้นหา และความพยายามแบบไม่มีคำแนะนำแยกต่างหากด้วยโมเดลชั้นนำภายใต้งบโทเค็นที่เทียบเคียงกันนั้นไม่ประสบผลสำเร็จ มีการพิสูจน์อีกสองชิ้นปรากฏขึ้นในวันเดียวกัน และต่อมาได้มีการเผยแพร่การทำให้เป็นรูปแบบ Lean 4

    ทำไมเรื่องนี้สำคัญ: ปัญหาที่เปิดอยู่มา 31 ปีในเรขาคณิตมิติสูงได้รับการแก้ไขผ่านการค้นหาแบบเอเจนต์ที่มนุษย์กำกับดูแลเหนือแนวทางที่เป็นไปได้ราว 100 แนวทาง โดยมีการพิสูจน์อิสระและการทำให้เป็นรูปแบบ Lean เป็นการยืนยัน

  5. Anthropic Newsroom28

    Anthropic เปิดรับสมัครนักวิจัยรับเชิญด้านวิทยาศาสตร์ชีวภาพ

    Anthropic ขอเชิญนักวิจัยหลักและกลุ่มวิจัยของพวกเขาจากสถาบันการศึกษา องค์กรไม่แสวงหากำไร และห้องปฏิบัติการของรัฐบาลให้สมัครเข้าร่วมโครงการนักวิจัยรับเชิญระยะเวลา 8–12 สัปดาห์ โดยใช้ Claude ในด้านต่างๆ เช่น ชีววิทยามนุษย์เชิงสาเหตุ ชีววิทยาโมเลกุลเชิงโครงสร้างและเชิงคำนวณ เคมีเภสัชภัณฑ์ การค้นพบยา และวิทยาศาสตร์คลินิก Anthropic จะให้บริการโมเดลและเครื่องมือของตนโดยไม่มีค่าใช้จ่าย และผลลัพธ์จะถูกเผยแพร่พร้อมข้อมูลและโค้ดแบบโอเพนซอร์ส โดยนักวิจัยยังคงสิทธิ์ในข้อมูลของตน การรับสมัครเปิดประมาณ 14 วัน ผู้ที่ได้รับคัดเลือกจะได้รับแจ้งทางอีเมลประมาณ 14 วันหลังปิดรับสมัคร

21 ตุลาคมวันพุธ
  1. Modal Blog58

    Modal เปิดตัว Dojo ไลบรารีสำหรับการฝึก LLM ระดับโปรดักชัน

    Modal เปิดตัว Modal Dojo ไลบรารีสำหรับการฝึกที่มาพร้อมบล็อกการสร้าง สูตรสำเร็จรูปที่ปรับแต่งแล้ว และแดชบอร์ดสำหรับการสังเกตการณ์ สำหรับการฝึกหลังการฝึก (post-training) LLM ระดับโปรดักชัน โดยต่อยอดจากเฟรมเวิร์กโอเพนซอร์ส Miles และ Slime รองรับโมเดลตั้งแต่ครึ่งพันล้านถึงหลายล้านล้านพารามิเตอร์ และมี API และ CLI ที่เอเจนต์สามารถสั่งการเพื่อเริ่มและดีบักการรันได้ Modal ระบุว่า Axiom Bio ใช้มันเพื่อขยายไปสู่การรัน DeepSeek V4.1 Flash ที่บริบท 64k บน B300 จำนวน 64 ตัว และ Afterquery ฝึก Kimi และ DeepSeek ที่ความยาวบริบท 256k

  2. Apple Machine Learning Research26

    TEAL: การเรียนรู้เชิงรุกที่มีประสิทธิภาพในระดับโทเคนสำหรับการแบ่งส่วนความหมายแบบงบประมาณต่ำ

    นักวิจัยจาก Apple (ร่วมกับ University of Waterloo) นำเสนอ TEAL ซึ่งเป็นกรอบการเรียนรู้เชิงรุกระดับพิกเซลกรอบแรกที่สร้างบนตัวแทน ViT ที่ถูกแช่แข็ง โดยเลือกผู้สมัครที่หลากหลายโดยตรงบนโครงข่ายโทเคนดั้งเดิมผ่านกลยุทธ์ MaxHerding สองระดับพร้อมการปรับแต่งความไม่แน่นอนตาม margin ด้วยพิกเซลที่มีป้ายกำกับเพียงหนึ่งพิกเซลต่อภาพ TEAL เอาชนะ baseline ที่แข็งแกร่งที่สุดได้ถึง +24.36 mIoU บน CamVid, Cityscapes, ADE20K และ Pascal Context โดยเข้าถึงประสิทธิภาพสูงถึง 97% ของการเรียนรู้แบบมีผู้สอนเต็มรูปแบบด้วยเพียง 10 px

20 ตุลาคมวันอังคาร
  1. Google Developers Blog60

    Google นำ TorchTitan มาเชื่อมต่อกับ TorchTPU และเผยแพร่คู่มือปรับแต่งโมเดลสำหรับ TPU

    Google ได้เผยแพร่ TPU fork ของ TorchTitan จาก Meta ที่รันการฝึก PyTorch บน Cloud TPU ผ่าน backend torch.device("tpu") แบบเนทีฟของ TorchTPU พร้อมเคอร์เนลแบบ TPU-native และ playbook การปรับแต่งทีละขั้นตอน บน TPU v7x (Ironwood) Llama 3 405B รักษา MFU ประมาณ 57% ตั้งแต่ 128 ถึง 1,024 ชิป, Qwen3 235B ทำได้ 32.42% MFU บนสไลซ์ 1,024 ชิปหนึ่งสไลซ์ และ FLUX.1 ทำได้ 19.4% MFU บน 1,024 ชิปที่ประสิทธิภาพ weak-scaling 93% ฟอร์กอยู่ที่ https://github.com/google-pytorch/torchtitan/ และ Transformers modeling backend พร้อม agent onboarding skill ขยายเทรนเนอร์เดียวกันไปยังเช็กพอยต์อื่นๆ

    ทำไมเรื่องนี้สำคัญ: Google ร่วมมือกับ Meta ในการพอร์ต TorchTitan ไปยัง TPU พร้อมเส้นทางการปรับแต่งทีละระดับตั้งแต่ FLUX.1 ถึง Qwen3 235B และตัวเลข MFU ซึ่งใช้เป็นข้อมูลอ้างอิงให้ทีม PyTorch ประเมินความเป็นไปได้ของการฝึกบน TPU

17 ตุลาคมวันเสาร์
  1. Google Research71

    Google Research อธิบาย VERID และเวิร์กโฟลว์เอเจนต์แบบ closed-loop สำหรับห้องปฏิบัติการเปียกอัตโนมัติ

    Google Research อธิบายโครงการสามโครงการที่มุ่งเชื่อมโยงเอเจนต์ AI เข้ากับการทดลองในห้องปฏิบัติการเปียกจริง รวมถึงกรอบงาน VERID ซึ่งเป็นดิจิทัลทวินเชิงความหมายของ workcell ในห้องปฏิบัติการที่สร้างบนกรอบงานโอเพนซอร์ส PyLabRobot ติดตามเลย์เอาต์ของ deck ปริมาตรของ well และจำนวนทิป และทดลองรันโปรโตคอลแบบ dry-run ก่อนการดำเนินการจริง

    ทำไมเรื่องนี้สำคัญ: Google Research อธิบายโครงการสามโครงการที่เชื่อมต่อเอเจนต์ AI เข้ากับฮาร์ดแวร์ห้องปฏิบัติการเปียกจริง แสดงให้เห็นว่าการจำลองแบบ dry-run และการทดลองแบบ closed-loop ช่วยให้เอเจนต์แก้ไขกฎการออกแบบของตนเองได้อย่างไร

15 ตุลาคมวันพฤหัสบดี
  1. Mistral AI71

    Mistral เปิดตัว Timestral โมเดลพื้นฐานอนุกรมเวลา ขึ้นแท่นอันดับหนึ่งใน GIFT-Eval, TIME และ fev-bench

    Mistral เปิดตัว Timestral ครอบครัวโมเดลพื้นฐานอนุกรมเวลาชุดแรกของบริษัท มีสี่ขนาดตั้งแต่ 5M ถึง 209M พารามิเตอร์ โมเดลที่ใหญ่ที่สุดครองอันดับหนึ่งในสามเบนช์มาร์กสาธารณะหลักทั้ง GIFT-Eval, TIME และ fev-bench ในกลุ่มโมเดลพรีเทรนแบบ zero-shot จากเช็กพอยต์เดียวโดยไม่ใช้เอนเซมเบิล โดยใช้สองในสามของพารามิเตอร์เมื่อเทียบกับสุดยอดของงานก่อนหน้า Timestral สร้างพยากรณ์หลายตัวแปรแบบความน่าจะเป็นด้วย 21 ควอนไทล์ รองรับตัวแปรร่วมแบบอดีตเท่านั้นและแบบอนาคตที่ทราบค่า ทำงานบน CPU โดยไม่ต้องใช้ GPU และใช้งานได้ผ่าน Mistral Forge สำหรับการปรับแต่ง พร้อมเผยแพร่ที่เก็บ GitHub และรายงานทางเทคนิคภายใต้สัญญาอนุญาต MIT ดัดแปลง

    ทำไมเรื่องนี้สำคัญ: ครอบครัวโมเดลพื้นฐานอนุกรมเวลาชุดแรกของ Mistral อ้างว่าครองอันดับสูงสุดแบบ zero-shot ใน GIFT-Eval, TIME และ fev-bench ด้วยเช็กพอยต์ 209M พารามิเตอร์ มอบข้อมูลอ้างอิงการแลกเปลี่ยนระหว่างขนาดกับความแม่นยำสำหรับงานพยากรณ์

  2. Goodfire Research62

    บทความวิจัยของ Goodfire อ้างว่าโครงข่ายประสาทเทียมนั้นสะอาดอยู่แล้ว และ superposition ถูกตีความผิด

    นักวิจัยของ Goodfire อ้างว่าหลักฐานตามแบบฉบับของ polysemanticity และ superposition ในโครงข่ายประสาทเทียมนั้นถูกตีความผิด และสิ่งที่ดูเหมือนการบรรจุแบบสุ่มนั้นแท้จริงแล้วส่วนใหญ่เป็น motif ที่เขาเรียกว่า recursive generalization การฝึก InceptionV1 ใหม่ด้วยการปรับปรุงสถาปัตยกรรมตามปกติโดยไม่เปลี่ยนขนาดโมเดลหรือข้อมูลฝึก ทำให้ 99-100% ของนิวรอนในเลเยอร์สุดท้ายตีความได้ง่าย และการตรวจสอบเบื้องต้นของ Qwen3-32B ประเมินว่าประมาณ 90% ของขั้วนิวรอนมีหน้าที่หลักอย่างหนึ่ง บทความสรุปว่าโครงข่ายใช้หลักการเรียนรู้เดียวไม่ใช่สองหลัก ดังนั้นการตีความจึงสามารถดำเนินการโดยการศึกษานิวรอนและวงจรโดยตรงแทนที่จะฝึกโมเดลแยกส่วนเช่น sparse autoencoder ก่อน

    ทำไมเรื่องนี้สำคัญ: การตีความหลักฐาน polysemanticity ตามแบบฉบับของสาขานี้ใหม่จากมุมมองของผู้วิจัยเอง โดยอ้างว่าโครงข่าย generalize แบบเวียนเกิดแทนที่จะบรรจุแนวคิดที่ไม่เกี่ยวข้องกัน ซึ่งจะทำให้การศึกษาเชิงกลไกโดยตรงเป็นไปได้

13 ตุลาคมวันอังคาร
  1. Modal Blog58

    Modal ทดสอบ RL sampler แบบ mixed-precision และ mixed-accelerator บน Qwen3.6-35B-A3B

    Modal เทรน Qwen3.6-35B-A3B ด้าน agentic coding โดยกระจาย sampler ไปยัง accelerator หกประเภท (B200, B300, H100, H200, A100, RTX PRO 6000) ที่ความแม่นยำ NVFP4, FP8 และ BF16 ป้อนเข้า trainer แบบ BF16 หนึ่งตัวบน B200 GRPO แบบธรรมดาล้มเหลวทั้งบน sampler แบบผสมและแบบ homogeneous แต่เมื่อเพิ่ม masked importance sampling พร้อม score centering ไม่ว่าจะมีหรือไม่มี top-p mask replay ก็เทรนได้เสถียรจนจบและไปถึง SWE-bench Pro V2 pass@4 เทียบเท่า sampler แบบ homogeneous โดยมีต้นทุน sampler ต่อการอัปเดตต่ำลงราว 15% sampler แบบผสมทำงานด้วยค่า KL เฉลี่ยระหว่าง sampler กับ trainer สูงเป็น 4.7 เท่าของการตั้งค่าแบบ homogeneous และผู้เขียนโต้ว่าเสถียรภาพขึ้นอยู่กับการรักษาความคลาดเคลื่อนให้มีขอบเขตจำกัด มากกว่าการทำให้ต่ำ

  2. Amazon Science75

    นักวิจัยของ Amazon Web Services เสนอวิธีการ priming เพื่อแปลง Transformer ที่ผ่านการฝึกมาแล้วให้เป็นโมเดลแบบ hybrid state space โดยไม่ต้องฝึกใหม่ทั้งหมด

    นักวิจัยของ Amazon Web Services นำเสนอ priming ซึ่งเป็นวิธีการที่นำน้ำหนักของ Transformer ที่ผ่านการฝึกมาแล้วกลับมาใช้ เพื่อลดต้นทุนการฝึกโมเดลสถาปัตยกรรมแบบ hybrid state space ก่อนการใช้งานลงได้มากกว่า 99% โดยใช้โควต้าโทเคนสำหรับการฝึกของโมเดลต้นทางน้อยกว่า 0.5% ในการเปรียบเทียบแบบควบคุม Gated KalmaNet มีประสิทธิภาพเหนือกว่า Gated DeltaNet และ Mamba-2 และโมเดล hybrid ขนาด 32B ที่ใช้ GKA มีผลลัพธ์เทียบเท่า Transformer ต้นทางบนเกณฑ์วัดด้านการให้เหตุผล ขณะที่ถอดรหัสได้เร็วขึ้นถึงสองเท่าเมื่อมีบริบท 128,000 โทเคน ทีมงานได้เผยแพร่โมเดล hybrid ที่ผ่านการ priming ขนาด 8B และ 32B โค้ดสำหรับการฝึก เคอร์เนล Triton และปลั๊กอินสำหรับให้บริการผ่าน vLLM ภายใต้สัญญาอนุญาต Apache 2.0

    ทำไมเรื่องนี้สำคัญ: นักวิจัยของ Amazon Web Services แสดงให้เห็นว่าการนำน้ำหนักของ Transformer ที่ผ่านการฝึกมาแล้วกลับมาใช้สามารถลดต้นทุนการฝึกสถาปัตยกรรมแบบ hybrid ได้มากกว่า 99% ทำให้การเปรียบเทียบชั้น state space แบบควบคุมเป็นเรื่องที่ทำได้จริง

8 ตุลาคมวันพฤหัสบดี
  1. Zyphra Research36

    Zyphra Research: การจับคู่ผู้เชี่ยวชาญช่วยลดการสื่อสารในการฝึกโมเดล MoE ล่วงหน้า

    Zyphra Research แสดงให้เห็นว่าเส้นทางการเลือกผู้เชี่ยวชาญของ MoE มีโครงสร้างชัดเจน โดยผู้เชี่ยวชาญที่ถูกเลือกพร้อมกันมีความสัมพันธ์กันภายในเลเยอร์เดียวกัน และการเลือกผู้เชี่ยวชาญของโทเคนหนึ่งสามารถทำนายเส้นทางการเลือกในเลเยอร์ถัดไปได้ การใช้ประโยชน์จากสิ่งนี้ผ่านการจัดวางผู้เชี่ยวชาญที่สัมพันธ์กันและการสลับโทเคนช่วยลดเวลาการสื่อสารแบบ all-to-all ได้สูงสุดถึง 2.63 เท่า และปรับปรุงเวลาต่อขั้นตอนการฝึกแบบ end-to-end ได้สูงสุดถึง 1.41 เท่าในการทดลองกับ Megatron-LM บน GPU MI300X โดยไม่เปลี่ยนสถาปัตยกรรมหรือการตัดสินใจเลือกเส้นทาง

  2. Waymo Blog30

    การศึกษาโดย Waymo: คนขับที่ไม่มีแอลกอฮอล์ในร่างกายยังเผชิญความเสี่ยงต่อการเสียชีวิตจากอุบัติเหตุกลางคืนสูงเกือบ 4 เท่า

    งานวิจัยที่ผ่านการตรวจสอบโดยผู้เชี่ยวชาญของ Waymo พบว่าแม้แต่คนขับที่ไม่มีแอลกอฮอล์ในร่างกายเลยก็ยังเผชิญความเสี่ยงต่อการเสียชีวิตจากอุบัติเหตุกลางคืนสูงกว่าช่วงกลางวัน 3.1 ถึง 3.9 เท่า และการกำจัดคนขับที่เมาแอลกอฮอล์ออกไปช่วยลดการมีส่วนเกี่ยวข้องกับอุบัติเหตุเสียชีวิตในเมืองโดยเฉลี่ยลง 23% จาก 1.42 เหลือ 1.10 ต่อ 100 ล้านไมล์ การศึกษาที่สองซึ่งวิเคราะห์กรณีเสียชีวิต 37,654 กรณีในฐานข้อมูล FARS ปี 2023 แสดงให้เห็นว่าเพียง 8.2% เท่านั้นที่เกี่ยวข้องกับปัจจัยด้านพฤติกรรมของมนุษย์เพียงอย่างเดียว Waymo มองว่าผลการค้นพบนี้สนับสนุนแนวทาง Safe System Approach และสนับสนุนการ benchmarking การขับขี่อัตโนมัติเทียบกับพื้นฐานมนุษย์ที่มี BAC เป็นศูนย์

2 ตุลาคมวันศุกร์
  1. Meta AI Research Blog71

    Meta เผยแพร่บทความคณิตศาสตร์ 6 ฉบับที่เขียนร่วมกับนักคณิตศาสตร์และ Muse Spark

    Meta เผยแพร่บทความคณิตศาสตร์ 6 ฉบับที่ผลิตขึ้นจากความร่วมมือกับนักคณิตศาสตร์ซึ่งใช้ Muse Spark 1.1 และ 1.2 ในโหมด Thinking ผ่านอินเทอร์เฟซแชต meta.ai ปกติ โดยไม่มีโครงสร้างงานวิจัยเฉพาะ ห้าฉบับในจำนวนนี้ตอบคำถามที่เคยเปิดอยู่ ครอบคลุมเกณฑ์การปรับพอดีของทรงรีเกาส์เซียน การระเบิดในเวลาจำกัดสำหรับสมการชเรอดิงเงอร์ไม่เชิงเส้นแบบไบฮาร์มอนิก ตัวอย่างค้านข้อสันนิษฐานในทฤษฎีกรุปที่มี 384 องค์ประกอบ ความแน่นของการผ่อนคลายแบบอิงวัฏจักรในการหาค่าเหมาะที่สุดพหุนามแบบไบนารี และความเชื่อมโยงระหว่างฟังก์ชันสองจุดในทฤษฎีสตริงกับฟังก์ชันความสูงบนเส้นโค้ง แต่ละฉบับระบุว่าข้อความตอนใดร่างโดยนักวิจัยเป็นหลักและตอนใดโดย AI ให้เครดิตงานก่อนหน้า และกล่าวขอบคุณวิธีแก้ปัญหาที่เกิดขึ้นพร้อมกันอย่างเป็นอิสระจากทีมอื่น

    ทำไมเรื่องนี้สำคัญ: Meta เปิดเผยบทความ 6 ฉบับที่นักคณิตศาสตร์และ Muse Spark ร่วมมือกันทำ โดย 5 ฉบับให้คำตอบต่อคำถามที่เคยเปิดอยู่ และระบุตอนที่ AI กับมนุษย์เขียนขึ้นเอง

1 ตุลาคมวันพฤหัสบดี
  1. Zyphra Research38

    โมเดล Hybrid NoPE เรียนรู้ตำแหน่งโดยไม่ใช้ Position Encoding ได้อย่างไร

    Zyphra Research อธิบายว่าโมเดลภาษาศาสตร์แบบไฮบริดสามารถกู้คืนข้อมูลตำแหน่งได้อย่างไร แม้ว่าชั้น global attention จะไม่ใช้ position encoding แบบชัดเจน ชั้น local เช่น sliding window attention และ gated linear attention สร้างอคติแบบ recency ใน residual stream และ global NoPE attention เรียนรู้การฉาย query และ key ที่อ่านค่านี้เป็น implicit relative position encoding ผลการค้นพบนี้ให้คำอธิบายเชิงกลไกว่าทำไมการสลับชั้น local mixing กับ global NoPE attention จึงทำงานได้ดี และชี้ไปยังการแทนตำแหน่งที่สามารถ extrapolate เกินความยาวลำดับที่ใช้ฝึก

  2. Goodfire Research58

    Goodfire พัฒนาเครื่องตรวจสอบความปลอดภัยทางชีวภาพแบบ protein-embedding สำหรับ AI agents

    Goodfire Research พัฒนาเครื่องตรวจสอบความปลอดภัยทางชีวภาพที่รับรู้ลำดับ (sequence-aware) ซึ่งใช้ protein language model embeddings ในการแจ้งเตือนลำดับ DNA หรือโปรตีนที่น่ากังวลในเวิร์กโฟลว์ของ agent บน benchmark การใช้งานสองทาง (dual-use) แบบกำหนดเองที่สร้างขึ้นรอบโปรตีนท็อกซิน เครื่องตรวจสอบเหล่านี้มีประสิทธิภาพเหนือกว่ามาตรการป้องกันของ frontier model โดยมีการปฏิเสธคำขอที่เป็นประโยชน์น้อยกว่า ทำคะแนนได้ประมาณ 0.98 AUROC บน paraphrases ที่โปรตีนต้นทางอยู่ในฐานข้อมูลคัดกรอง และทำงานได้ในระดับมิลลิวินาทีต่อลำดับ ผู้เขียนรายงานว่าการตรวจจับดีขึ้นเมื่อโมเดลโปรตีนมีความสามารถมากขึ้น และระบุว่าผลลัพธ์ของ paraphrase อาศัยการประมาณค่า in-silico และไม่ได้ยืนยันว่าโปรตีนที่ออกแบบใหม่ยังคงมีกิจกรรมทางชีวภาพหรือไม่

4 กันยายนวันศุกร์
  1. Modal Blog22

    Markov Robotics ใช้ Modal ในการรันการฝึกอบรมหุ่นยนต์แบบ End-to-End

    Markov Robotics กำลังฝึกโมเดลโลกสำหรับความคล่องแคล่วของหุ่นยนต์อเนกประสงค์แบบ zero-shot โดยใช้ข้อมูลหุ่นยนต์น้อยกว่าสิบชั่วโมง ในขณะที่ผลลัพธ์ที่เทียบเคียงได้มักต้องใช้ข้อมูลหลายพันชั่วโมง บริษัทใช้การประมวลผลเกือบทั้งหมดบน Modal ตั้งแต่การประมวลผลวิดีโอหลายร้อยเทระไบต์ไปจนถึงการฝึกอบรมพร้อมกัน 2–10 รอบและการอนุมานระยะไกลผ่าน Modal Tunnels ที่ความหน่วงไปกลับประมาณ 20 มิลลิวินาที การประมวลผลล่วงหน้าที่อาจใช้เวลาทั้งวันเสร็จสิ้นในยี่สิบถึงสามสิบนาที โดยกระจายไปยัง GPU มากถึง 500 ตัวพร้อมกัน

2 กันยายนวันพุธ
  1. Modal Blog22

    Botika รัน generative AI แบบ full-stack บน Modal ได้อย่างไร

    Botika ดำเนินงาน generative AI แบบ full-stack บน Modal ครอบคลุมไปป์ไลน์ข้อมูลภาพขนาด 100 เทระไบต์ โมเดลพื้นฐานที่พัฒนาเองซึ่งมีพารามิเตอร์หลายหมื่นล้านตัว และโมเดลราว 15 ตัวที่ให้บริการ inference ในโปรดักชัน ไปป์ไลน์นี้ประมวลผลชุดข้อมูลดังกล่าวด้วยอัตราความผิดพลาดต่ำกว่า 1% ผ่านคอนเทนเนอร์ที่ทำงานพร้อมกันหลายพันตัว และปัจจุบันนักวิจัยคนเดียวสามารถรันการทดลองได้ 50 ครั้งต่อวัน แทนที่จะเป็นหนึ่งหรือสองครั้ง

1 กันยายนวันอังคาร
  1. Zyphra Research48

    Zyphra เปิดตัว PUFFER ระบบกำจัดข้อมูลซ้ำแบบคลุมเครือเชิงส่วนเพิ่มสำหรับคลังข้อมูลฝึกที่เปลี่ยนแปลงอยู่ตลอด

    Zyphra เปิดตัว PUFFER ระบบกำจัดข้อมูลซ้ำแบบคลุมเครือเชิงส่วนเพิ่มที่ตระหนักถึงแหล่งที่มาแบบโอเพนซอร์ส สำหรับคลังข้อมูลฝึก LLM ที่เติบโตอย่างต่อเนื่อง ภายใต้สัญญาอนุญาต Apache 2.0 โดยให้ความเร็วเพิ่มขึ้น 11x-35x เมื่อเทียบกับวิธีการกำจัดข้อมูลซ้ำบน CPU ที่มีอยู่ และสามารถนำเข้าหนึ่งพันล้านเอกสารได้ใน 1.75 ชั่วโมงบนโปรเซสเดียว พร้อมการใช้งานจริงกับเอกสารมากกว่า 30 พันล้านฉบับ PUFFER เก็บประวัติ MinHash-LSH ที่พักอยู่บนดิสก์ เพื่อให้สามารถเพิ่มชุดข้อมูลใหม่ กู้คืนงานที่ถูกขัดจังหวะได้อย่างแน่นอน และถอนชุดข้อมูลแต่ละชุดออกได้โดยไม่ต้องสร้างดัชนีคลังข้อมูลทั้งหมดใหม่