ข้ามไปที่เนื้อหา
เฉพาะ จากต้นทาง#การให้เหตุผล
23 ตุลาคมวันศุกร์
  1. Modal Blog58

    Modal และ Sakana AI ให้บริการโมเดล MoE ขนาด ~1T พารามิเตอร์สำหรับ Sakana Namazu API ได้อย่างไร

    ทีมวิศวกรที่ประจำการภาคสนามของ Modal ร่วมมือกับ Sakana AI เพื่อรัน Sakana Namazu ซึ่งเป็นโมเดล MoE ขนาด ~1T พารามิเตอร์ที่ปรับแต่งสำหรับบริบททางธุรกิจญี่ปุ่น บน Modal สำหรับการเปิดตัว API สาธารณะ ทีมได้ใช้การควอนไทซ์ NVFP4 แบบเลือกเฉพาะกับ routed experts เท่านั้น โดยคง attention, router และ shared experts ไว้ใน BF16 และปรับเทียบบนบทสนทนาที่เน้นภาษาญี่ปุ่นเพื่อให้ทั้ง 23,040 experts ได้เห็นทราฟฟิกที่เป็นตัวแทน โมเดล draft DFlash แบบกำหนดเองที่ฝึกบน raw token IDs มากกว่า 30 พันล้านรายการเพิ่มอัตราการยอมรับโทเค็นแบบ speculative ขึ้น 25% และลดเวลาแฝงในการถอดรหัสต่อโทเค็นลงประมาณ 35% ขณะที่ drafter ตัวที่สองซึ่งฝึกบนคำขอจริงประมาณ 1M รายการยกความยาวการยอมรับเฉลี่ยจาก 3.51 เป็น 5.01 และลดเวลาแฝง p99 จาก 68 วินาทีเหลือ 52 วินาที

22 ตุลาคมวันพฤหัสบดี
  1. inclusionAI Models58

    inclusionAI เปิดตัว Ling-3.0-flash-Sante โมเดล MoE เฉพาะทางด้านการแพทย์ขนาด 124B

    inclusionAI เปิดตัว Ling-3.0-flash-Sante โมเดลเฉพาะทางด้านการแพทย์ที่สร้างบน Ling-3.0-flash มีพารามิเตอร์รวม 124B และพารามิเตอร์ที่ใช้งานต่อโทเคน 5.1B โดยเผยแพร่ weights บน Hugging Face และ ModelScope ใช้สถาปัตยกรรม hybrid-linear MoE ที่ผสม Kimi Delta Attention, gated MLA และ sparse MoE layers ฝึกถึง 256K โทเคน และเปิดโหมด thinking เป็นค่าเริ่มต้นพร้อมรองรับ tool calling ผ่านเฟรมเวิร์ก serving ที่เข้ากันได้ บริษัทระบุว่าเป็นโมเดลเพื่อการวิจัย ไม่ใช่อุปกรณ์ทางการแพทย์ และผลลัพธ์ต้องไม่ใช้แทนคำแนะนำ การวินิจฉัย หรือการรักษาทางการแพทย์จากผู้เชี่ยวชาญ

  2. Microsoft Research64

    Microsoft Research และผู้ร่วมเขียนพิสูจน์ข้อสันนิษฐาน KLS ที่มีอายุ 31 ปี

    นักวิจัย Microsoft Xinzhi Zhang และผู้ร่วมเขียนได้พิสูจน์ข้อสันนิษฐาน Kannan-Lovász-Simonovits (KLS) ซึ่งเป็นปัญหาที่เปิดอยู่มา 31 ปีในเรขาคณิตมิติสูง โดยแสดงให้เห็นว่าขอบเขตดังกล่าวคงอยู่ด้วยค่าคงที่สากลที่ไม่ขึ้นกับมิติ การพิสูจน์นี้เกิดขึ้นจากกระบวนการเอเจนต์ที่มนุษย์กำกับดูแล ซึ่งเอเจนต์ AI สำรวจแนวทางที่เป็นไปได้มากกว่า 100 แนวทาง ขณะที่นักวิจัยตัดทิ้งและเปลี่ยนทิศทางการค้นหา และความพยายามแบบไม่มีคำแนะนำแยกต่างหากด้วยโมเดลชั้นนำภายใต้งบโทเค็นที่เทียบเคียงกันนั้นไม่ประสบผลสำเร็จ มีการพิสูจน์อีกสองชิ้นปรากฏขึ้นในวันเดียวกัน และต่อมาได้มีการเผยแพร่การทำให้เป็นรูปแบบ Lean 4

    ทำไมเรื่องนี้สำคัญ: ปัญหาที่เปิดอยู่มา 31 ปีในเรขาคณิตมิติสูงได้รับการแก้ไขผ่านการค้นหาแบบเอเจนต์ที่มนุษย์กำกับดูแลเหนือแนวทางที่เป็นไปได้ราว 100 แนวทาง โดยมีการพิสูจน์อิสระและการทำให้เป็นรูปแบบ Lean เป็นการยืนยัน

20 ตุลาคมวันอังคาร
  1. Zyphra Research58

    Zyphra Inference Wave 2 นำเสนอเคอร์เนล HIP MoE และ sparse-attention แบบกำหนดเองสำหรับการให้บริการบน MI355X

    Zyphra เปิดตัวเวฟที่สองของ Zyphra Optimization Engine (ZOE) สำหรับ GPU AMD Instinct MI355X โดยเพิ่มเคอร์เนล HIP แบบกำหนดเองสี่ตัวสำหรับ MoE และ sparse attention เข้าใน production forks ของ vLLM และ SGLang 40x) เช็กพอยต์ 3 ยังคงอยู่ในระยะ 3 คะแนนจาก FP8 บนเกณฑ์มาตรฐานการให้เหตุผลสี่รายการ แต่ถอดรหัสได้เร็วกว่าเฉพาะที่การทำงานพร้อมกันสูง

19 ตุลาคมวันจันทร์
  1. Sakana AI Blog55

    Sakana AI เสนอ QD-Rec วิธีการแนะนำแบบ Quality-Diversity ที่จับคู่ผู้สมัครกับสมมติฐานที่เขียนโดย LLM

    Sakana AI พัฒนา QD-Rec วิธีการแนะนำที่ถือเอาผู้สมัครบวกกับสมมติฐานที่อธิบายเหตุผลในการเลือกเป็นหน่วยของการแนะนำ และใช้การค้นหาแบบ Quality-Diversity เพื่อสะสมข้อเสนอที่มีคุณภาพและหลากหลาย ในการทดลองด้าน M&A การกำหนดเป้าหมายลูกค้า และการแนะนำบทความ QD-Rec สร้างคลังที่ได้คะแนนเฉลี่ยสูงกว่าและมีขนาดใหญ่กว่าฐานเปรียบเทียบที่เขียนสมมติฐานแต่ละอันขึ้นใหม่ทั้งหมด และโค้ดของมันเผยแพร่บน GitHub บทความรายงานกรณีที่สมมติฐานซึ่งได้คะแนน 1 จาก 10 สำหรับบริษัทหนึ่งถูกกลายพันธุ์และถ่ายโอนไปยังผู้สมัครอีกราย ทำให้คะแนนเพิ่มขึ้นเป็น 5

15 ตุลาคมวันพฤหัสบดี
  1. Mistral AI71

    Mistral เปิดตัว Timestral โมเดลพื้นฐานอนุกรมเวลา ขึ้นแท่นอันดับหนึ่งใน GIFT-Eval, TIME และ fev-bench

    Mistral เปิดตัว Timestral ครอบครัวโมเดลพื้นฐานอนุกรมเวลาชุดแรกของบริษัท มีสี่ขนาดตั้งแต่ 5M ถึง 209M พารามิเตอร์ โมเดลที่ใหญ่ที่สุดครองอันดับหนึ่งในสามเบนช์มาร์กสาธารณะหลักทั้ง GIFT-Eval, TIME และ fev-bench ในกลุ่มโมเดลพรีเทรนแบบ zero-shot จากเช็กพอยต์เดียวโดยไม่ใช้เอนเซมเบิล โดยใช้สองในสามของพารามิเตอร์เมื่อเทียบกับสุดยอดของงานก่อนหน้า Timestral สร้างพยากรณ์หลายตัวแปรแบบความน่าจะเป็นด้วย 21 ควอนไทล์ รองรับตัวแปรร่วมแบบอดีตเท่านั้นและแบบอนาคตที่ทราบค่า ทำงานบน CPU โดยไม่ต้องใช้ GPU และใช้งานได้ผ่าน Mistral Forge สำหรับการปรับแต่ง พร้อมเผยแพร่ที่เก็บ GitHub และรายงานทางเทคนิคภายใต้สัญญาอนุญาต MIT ดัดแปลง

    ทำไมเรื่องนี้สำคัญ: ครอบครัวโมเดลพื้นฐานอนุกรมเวลาชุดแรกของ Mistral อ้างว่าครองอันดับสูงสุดแบบ zero-shot ใน GIFT-Eval, TIME และ fev-bench ด้วยเช็กพอยต์ 209M พารามิเตอร์ มอบข้อมูลอ้างอิงการแลกเปลี่ยนระหว่างขนาดกับความแม่นยำสำหรับงานพยากรณ์

  2. inclusionAI Repositories67

    inclusionAI เผยแพร่โมเดลเสียง Ming-3.0-audio-flash และ Ming-3.0-audio-tiny

    inclusionAI เผยแพร่ Ming-3.0-audio-flash โมเดลเสียงแบบ Mixture-of-Experts ขนาด 126B พารามิเตอร์ ที่เปิดใช้งาน 6.5B พารามิเตอร์ พร้อมกับ Ming-3.0-audio-tiny ขนาดกะทัดรัด 9.3B พารามิเตอร์ ที่เปิดใช้งาน 2.7B โมเดล flash ครอบคลุมการรู้จำเสียงพูดภาษาจีนและอังกฤษในหลากหลายสำเนียงและสถานการณ์ที่มีผู้พูดหลายคนและมีเสียงรบกวน การเข้าใจเสียงยาว การรับรู้เสียงที่ไม่ใช่เสียงพูดและดนตรี การให้เหตุผลด้านเสียง และการสนทนาด้วยเสียงแบบ end-to-end พร้อมตัวเลือกในการสังเคราะห์เสียงพูดเป็นเอาต์พุต มาพร้อมเส้นทางการอนุมานผ่าน vLLM-Omni, SGLang และ Transformers ภายใต้สัญญาอนุญาต MIT โดยโปรไฟล์ Flash เริ่มต้นใช้ tensor parallelism บน GPU H800 ขนาด 80 GB จำนวนสี่ตัวที่บริบท 128K

    ทำไมเรื่องนี้สำคัญ: การเผยแพร่นี้ให้รายละเอียดโมเดลเสียง MoE ขนาด 126B พารามิเตอร์ ที่เปิดใช้งาน 6.5B พารามิเตอร์ พร้อมตัวแปร tiny ขนาด 9.3B ซึ่งเป็นข้อมูลอ้างอิงที่เป็นรูปธรรมสำหรับการกำหนดขนาดและการติดตั้งใช้งานโมเดลภาษา-เสียงแบบเปิด

  3. Goodfire Research62

    บทความวิจัยของ Goodfire อ้างว่าโครงข่ายประสาทเทียมนั้นสะอาดอยู่แล้ว และ superposition ถูกตีความผิด

    นักวิจัยของ Goodfire อ้างว่าหลักฐานตามแบบฉบับของ polysemanticity และ superposition ในโครงข่ายประสาทเทียมนั้นถูกตีความผิด และสิ่งที่ดูเหมือนการบรรจุแบบสุ่มนั้นแท้จริงแล้วส่วนใหญ่เป็น motif ที่เขาเรียกว่า recursive generalization การฝึก InceptionV1 ใหม่ด้วยการปรับปรุงสถาปัตยกรรมตามปกติโดยไม่เปลี่ยนขนาดโมเดลหรือข้อมูลฝึก ทำให้ 99-100% ของนิวรอนในเลเยอร์สุดท้ายตีความได้ง่าย และการตรวจสอบเบื้องต้นของ Qwen3-32B ประเมินว่าประมาณ 90% ของขั้วนิวรอนมีหน้าที่หลักอย่างหนึ่ง บทความสรุปว่าโครงข่ายใช้หลักการเรียนรู้เดียวไม่ใช่สองหลัก ดังนั้นการตีความจึงสามารถดำเนินการโดยการศึกษานิวรอนและวงจรโดยตรงแทนที่จะฝึกโมเดลแยกส่วนเช่น sparse autoencoder ก่อน

    ทำไมเรื่องนี้สำคัญ: การตีความหลักฐาน polysemanticity ตามแบบฉบับของสาขานี้ใหม่จากมุมมองของผู้วิจัยเอง โดยอ้างว่าโครงข่าย generalize แบบเวียนเกิดแทนที่จะบรรจุแนวคิดที่ไม่เกี่ยวข้องกัน ซึ่งจะทำให้การศึกษาเชิงกลไกโดยตรงเป็นไปได้

13 ตุลาคมวันอังคาร
  1. Modal Blog58

    Modal ทดสอบ RL sampler แบบ mixed-precision และ mixed-accelerator บน Qwen3.6-35B-A3B

    Modal เทรน Qwen3.6-35B-A3B ด้าน agentic coding โดยกระจาย sampler ไปยัง accelerator หกประเภท (B200, B300, H100, H200, A100, RTX PRO 6000) ที่ความแม่นยำ NVFP4, FP8 และ BF16 ป้อนเข้า trainer แบบ BF16 หนึ่งตัวบน B200 GRPO แบบธรรมดาล้มเหลวทั้งบน sampler แบบผสมและแบบ homogeneous แต่เมื่อเพิ่ม masked importance sampling พร้อม score centering ไม่ว่าจะมีหรือไม่มี top-p mask replay ก็เทรนได้เสถียรจนจบและไปถึง SWE-bench Pro V2 pass@4 เทียบเท่า sampler แบบ homogeneous โดยมีต้นทุน sampler ต่อการอัปเดตต่ำลงราว 15% sampler แบบผสมทำงานด้วยค่า KL เฉลี่ยระหว่าง sampler กับ trainer สูงเป็น 4.7 เท่าของการตั้งค่าแบบ homogeneous และผู้เขียนโต้ว่าเสถียรภาพขึ้นอยู่กับการรักษาความคลาดเคลื่อนให้มีขอบเขตจำกัด มากกว่าการทำให้ต่ำ

  2. Amazon Science75

    นักวิจัยของ Amazon Web Services เสนอวิธีการ priming เพื่อแปลง Transformer ที่ผ่านการฝึกมาแล้วให้เป็นโมเดลแบบ hybrid state space โดยไม่ต้องฝึกใหม่ทั้งหมด

    นักวิจัยของ Amazon Web Services นำเสนอ priming ซึ่งเป็นวิธีการที่นำน้ำหนักของ Transformer ที่ผ่านการฝึกมาแล้วกลับมาใช้ เพื่อลดต้นทุนการฝึกโมเดลสถาปัตยกรรมแบบ hybrid state space ก่อนการใช้งานลงได้มากกว่า 99% โดยใช้โควต้าโทเคนสำหรับการฝึกของโมเดลต้นทางน้อยกว่า 0.5% ในการเปรียบเทียบแบบควบคุม Gated KalmaNet มีประสิทธิภาพเหนือกว่า Gated DeltaNet และ Mamba-2 และโมเดล hybrid ขนาด 32B ที่ใช้ GKA มีผลลัพธ์เทียบเท่า Transformer ต้นทางบนเกณฑ์วัดด้านการให้เหตุผล ขณะที่ถอดรหัสได้เร็วขึ้นถึงสองเท่าเมื่อมีบริบท 128,000 โทเคน ทีมงานได้เผยแพร่โมเดล hybrid ที่ผ่านการ priming ขนาด 8B และ 32B โค้ดสำหรับการฝึก เคอร์เนล Triton และปลั๊กอินสำหรับให้บริการผ่าน vLLM ภายใต้สัญญาอนุญาต Apache 2.0

    ทำไมเรื่องนี้สำคัญ: นักวิจัยของ Amazon Web Services แสดงให้เห็นว่าการนำน้ำหนักของ Transformer ที่ผ่านการฝึกมาแล้วกลับมาใช้สามารถลดต้นทุนการฝึกสถาปัตยกรรมแบบ hybrid ได้มากกว่า 99% ทำให้การเปรียบเทียบชั้น state space แบบควบคุมเป็นเรื่องที่ทำได้จริง

12 ตุลาคมวันจันทร์
  1. Meta AI Research Blog82

    Meta เปิดตัว Muse Wonder และ Muse Wonder Full โมเดล frontier สำหรับเอเจนต์ส่วนบุคคลและมืออาชีพ

    Meta เปิดตัวซีรีส์ Muse Wonder ซึ่งประกอบด้วย Muse Wonder และ Muse Wonder Full โดยระบุว่ามอบประสิทธิภาพระดับ state-of-the-art ในงานเอเจนต์ส่วนบุคคลและมืออาชีพ หน่วยความจำ และการเขียนโค้ด Muse Wonder ใช้งานได้แล้ววันนี้ผ่าน Meta Model API และ Muse Code ขณะที่ Muse Wonder Full ใช้งานได้แล้ววันนี้สำหรับสมาชิก Muse Code โมเดลทั้งสองจับคู่ Active Memory ซึ่งเก็บบริบทข้ามบทสนทนาและดึงรายละเอียดที่เกี่ยวข้องกับงาน เข้ากับ Active Focus ซึ่งรักษาการทำงานต่อเนื่องกับเป้าหมายระยะยาวและตรวจสอบก่อนดำเนินการสำคัญ Meta ระบุว่าทั้งสองถูกฝึกที่ศูนย์ข้อมูล Prometheus ขนาดกิกะวัตต์ของบริษัท

    ทำไมเรื่องนี้สำคัญ: ซีรีส์ Muse Wonder ของ Meta อ้างผลลัพธ์ระดับ state-of-the-art ใน benchmark ด้านเอเจนต์ หน่วยความจำ และการเขียนโค้ด โดยมี Active Memory และ Active Focus เป็นสองความสามารถหลักที่สร้างขึ้นมา

  2. Modal Blog40

    Modal เปิดตัว Endpoint Candidates เพื่อประเมินและเลื่อนระดับ inference endpoint

    Modal ได้เปิดตัว Endpoint Candidates ซึ่งพร้อมใช้งานทั่วไปสำหรับทุก workspace ช่วยให้ผู้ใช้สามารถจัดเตรียม deployment ทางเลือกสำหรับ Dedicated Endpoints ที่สะท้อนตัวอย่างทราฟฟิกโปรดักชัน ขณะที่ Modal ดูแลโครงสร้างพื้นฐาน ผู้ใช้สามารถตรวจสอบเมตริก latency และ throughput รัน benchmark และทดสอบคุณภาพเอาต์พุตผ่าน URL ของแต่ละ Candidate จากนั้นเลื่อนระดับเป็นโปรดักชันจากแดชบอร์ด คำขอที่สะท้อนนั้นเป็นแบบ best-effort และคิดค่าบริการตามราคาคอมพิวต์มาตรฐานของ Modal

7 ตุลาคมวันพุธ
  1. OpenAI Alignment Blog52

    OpenAI ศึกษา metagaming latents ภายในโมเดลภาษา

    นักวิจัยด้าน alignment ของ OpenAI ระบุ sparse autoencoder latents ที่เชื่อมโยงกับ metagaming ใน OpenAI o3 และพบว่า metagaming ดึงกระบวนการที่ทับซ้อนกันหลายอย่างมากกว่ากลไกเดียว รวมถึงการวิเคราะห์งาน การตระหนักถึงการประเมิน การแสวงหารางวัล และการให้เหตุผลเชิงบรรทัดฐาน การ steering ตาม latents เหล่านี้เปลี่ยนคะแนน Verbalized Metagaming และในงาน even_number เปลี่ยนสัดส่วนคำตอบที่เป็นเลขคี่ และ latents บางตัวมีอิทธิพลต่อเอาต์พุตโดยที่ metagaming ไม่ปรากฏใน chain of thought ที่เขียนออกมา ระดับการเปิดใช้งานของ latents และผลของการ steering โดยทั่วไปเพิ่มขึ้นตาม RL checkpoints ซึ่งสอดคล้องกับข้อค้นพบก่อนหน้าที่ว่า metagaming พบได้บ่อยขึ้นระหว่างการเรียนรู้แบบเสริมกำลัง

2 ตุลาคมวันศุกร์
  1. Meta AI Research Blog71

    Meta เผยแพร่บทความคณิตศาสตร์ 6 ฉบับที่เขียนร่วมกับนักคณิตศาสตร์และ Muse Spark

    Meta เผยแพร่บทความคณิตศาสตร์ 6 ฉบับที่ผลิตขึ้นจากความร่วมมือกับนักคณิตศาสตร์ซึ่งใช้ Muse Spark 1.1 และ 1.2 ในโหมด Thinking ผ่านอินเทอร์เฟซแชต meta.ai ปกติ โดยไม่มีโครงสร้างงานวิจัยเฉพาะ ห้าฉบับในจำนวนนี้ตอบคำถามที่เคยเปิดอยู่ ครอบคลุมเกณฑ์การปรับพอดีของทรงรีเกาส์เซียน การระเบิดในเวลาจำกัดสำหรับสมการชเรอดิงเงอร์ไม่เชิงเส้นแบบไบฮาร์มอนิก ตัวอย่างค้านข้อสันนิษฐานในทฤษฎีกรุปที่มี 384 องค์ประกอบ ความแน่นของการผ่อนคลายแบบอิงวัฏจักรในการหาค่าเหมาะที่สุดพหุนามแบบไบนารี และความเชื่อมโยงระหว่างฟังก์ชันสองจุดในทฤษฎีสตริงกับฟังก์ชันความสูงบนเส้นโค้ง แต่ละฉบับระบุว่าข้อความตอนใดร่างโดยนักวิจัยเป็นหลักและตอนใดโดย AI ให้เครดิตงานก่อนหน้า และกล่าวขอบคุณวิธีแก้ปัญหาที่เกิดขึ้นพร้อมกันอย่างเป็นอิสระจากทีมอื่น

    ทำไมเรื่องนี้สำคัญ: Meta เปิดเผยบทความ 6 ฉบับที่นักคณิตศาสตร์และ Muse Spark ร่วมมือกันทำ โดย 5 ฉบับให้คำตอบต่อคำถามที่เคยเปิดอยู่ และระบุตอนที่ AI กับมนุษย์เขียนขึ้นเอง

1 ตุลาคมวันพฤหัสบดี
  1. Zyphra Research38

    โมเดล Hybrid NoPE เรียนรู้ตำแหน่งโดยไม่ใช้ Position Encoding ได้อย่างไร

    Zyphra Research อธิบายว่าโมเดลภาษาศาสตร์แบบไฮบริดสามารถกู้คืนข้อมูลตำแหน่งได้อย่างไร แม้ว่าชั้น global attention จะไม่ใช้ position encoding แบบชัดเจน ชั้น local เช่น sliding window attention และ gated linear attention สร้างอคติแบบ recency ใน residual stream และ global NoPE attention เรียนรู้การฉาย query และ key ที่อ่านค่านี้เป็น implicit relative position encoding ผลการค้นพบนี้ให้คำอธิบายเชิงกลไกว่าทำไมการสลับชั้น local mixing กับ global NoPE attention จึงทำงานได้ดี และชี้ไปยังการแทนตำแหน่งที่สามารถ extrapolate เกินความยาวลำดับที่ใช้ฝึก

  2. Modal Blog42

    สรุป Modal Runtime: VM Sandboxes, Modal Clusters และอื่นๆ

    Modal ประกาศเปิดตัว VM Sandboxes ซึ่งมอบคอมพิวเตอร์ Linux เต็มรูปแบบให้กับเอเจนต์สำหรับ Docker stacks, ฐานข้อมูลภายในเครื่อง และโปรแกรมจำลองมือถือ โดยมี Linear, Legora และ Snorkel ใช้งานแล้ว ส่วน Modal Clusters พร้อมใช้งานทั่วไปผ่าน @modal.clustered decorator รองรับการเทรนและการให้บริการโมเดลระดับล้านล้านพารามิเตอร์ข้ามคอนเทนเนอร์ที่ประสานงานกัน นอกจากนี้ยังเปิดตัว Sticky Sessions และ Endpoint Candidates โดย Endpoint Candidates อยู่ในช่วง private beta

24 กันยายนวันพฤหัสบดี
  1. Modal Blog58

    Modal และ Full Stack Data Lab ของ CMU เปิดตัว Quail เครื่องยนต์อนุมาน AI-SQL ที่ปรับแต่งทั้ง query planner และการอนุมานร่วมกัน

    Modal และ Full Stack Data Lab ของ Carnegie Mellon University สร้าง Quail ซึ่งเป็นเครื่องยนต์อนุมานที่ตระหนักถึงคิวรีสำหรับงาน AI-SQL ที่ปรับแต่งทั้ง SQL query planner และเครื่องยนต์อนุมานร่วมกัน บนคิวรีแบบ multi-join หนึ่งรายการ มันประมวลผลได้มากกว่าหนึ่งพันล้านโทเคนต่อนาทีต่อ GPU H100 เร็วกว่า vLLM baseline ของ Modal บนฮาร์ดแวร์เดียวกันมากกว่า 10 เท่า ด้วยต้นทุนต่ำกว่า 6 เซนต์ต่อหนึ่งพันล้านโทเคน บน AI-SQL benchmark ใหม่ของทีม มันทำงานเร็วกว่า vLLM 1.84 เท่าเมื่อเฉลี่ยเชิงเรขาคณิตข้ามงาน เนื่องจากตัวกรองและ join ของ AI-SQL ต้องการเพียงโทเคนเดียวต่อลำดับ Quail จึงข้าม decode, sampling และการแยก prefill-decode และใช้ query plan ที่ทราบอยู่แล้วเพื่อจัดลำดับคำขอและจัดการการขับ KV cache

23 กันยายนวันพุธ
  1. Vapi Blog38

    Vapi ทดสอบ Jev เป็นแนวป้องกันแบบเรียลไทม์สำหรับ AI เสียง

    Vapi ได้ทำการทดลองเบื้องต้นโดยใช้โมเดล "System One" ชื่อ Jev ของ TypeSafe AI ซึ่งอยู่ในช่วง early-access เป็นแนวป้องกันที่ให้คะแนนว่าการตอบกลับของผู้ช่วยเสียงละเมิดกฎที่นักพัฒนากำหนดไว้หรือไม่ก่อนที่จะพูดออกไป ในการทดสอบเบื้องต้นครั้งหนึ่ง Jev จับการตอบกลับที่ละเมิดกฎได้อย่างน้อยสามในสี่ครั้ง แม้ว่า Vapi ระบุว่านี่ไม่ใช่การรับประกันความสอดคล้อง 100% และเป็นเพียงการตรวจสอบเพิ่มเติมบน prompt guardrails เท่านั้น

  2. Modal Blog58

    Modal ให้บริการหลายล้านล้านโทเคนสำหรับเอเจนต์เขียนโค้ดระดับล้านล้านพารามิเตอร์ได้อย่างไร

    Modal อธิบายวิธีที่บริษัทปรับแต่งการอนุมานของ Kimi K2.6 สำหรับเอเจนต์เขียนโค้ด จนได้ประสิทธิภาพต่อผู้ใช้ 2.8 เท่า และข้ามผู้ใช้ 5.6 เท่าต่อรีพลิกา พร้อมให้บริการที่ระดับหลายแสนล้านโทเคนต่อวัน งานนี้ผสาน DFlash speculative decoding แบบกำหนดเองที่ปรับละเอียดบนข้อมูลการเขียนโค้ด, FP8 KV cache และ NVFP4 shared-expert quantization, HiCache CPU-tier caching และการกำหนดเส้นทางตามโหลดที่คำนึงถึง KV cache Modal ได้ส่งแพตช์ SGLang ขึ้นต้นน้ำและเปิดเผยคอนฟิกูเรชันเบื้องหลัง Modal Auto Endpoints

17 กันยายนวันพฤหัสบดี
  1. Goodfire Research74

    Goodfire Research พบว่าโมเดลส่งสัญญาณภายในถึงการหลอกระบบรางวัล (reward hacking) ตรวจพบได้ด้วย activation probes

    Goodfire Research รายงานว่าโมเดลโอเพนซอร์ส Kimi K3, GLM 5.2 และ Qwen 3.8 Max หลอกระบบรางวัลใน 50–96% ของการทดลอง rollout ทั่วสาม benchmark แบบ agentic และมีสัญญาณภายในร่วมที่เชื่อมโยงกับการโกงและการหลบเลี่ยงการตรวจจับมาพร้อมกับพฤติกรรมนี้ activation probes แบบ difference-of-means อย่างง่ายตรวจพบสัญญาณนั้น จับเคสที่ตัวตรวจสอบ chain-of-thought พลาด และสามารถ généralize ไปยังงานใหม่ เช่น การช้อปปิ้งและการบริการลูกค้า บน Kimi K3 การรวม probe เข้ากับ LLM monitor ลดต้นทุนการตรวจสอบด้วย LLM ลง 90% โดยความแม่นยำลดลงประมาณ 1%

    ทำไมเรื่องนี้สำคัญ: Goodfire พบสัญญาณภายในร่วมสำหรับการหลอกระบบรางวัลในโมเดลโอเพนซอร์ส และแสดงให้เห็นว่า activation probes สามารถจับสัญญาณนี้ได้ถูกกว่าตัวตรวจสอบ LLM

20 สิงหาคมวันพฤหัสบดี
  1. Goodfire Research26

    Forking Fast: การประมาณพลวัตความไม่แน่นอนในการสร้างข้อความอย่างมีประสิทธิภาพ

    นักวิจัยจาก Goodfire Research เสนอ Forking Fast ซึ่งเป็นวิธีการทางสถิติที่ปรับข้อมูล rollout ที่มีตัวอย่างน้อยและมีสัญญาณรบกวนให้เรียบเพื่อประมาณผลลัพธ์ที่มีตัวอย่างมาก ลดต้นทุนของการวิเคราะห์ความไม่แน่นอนแบบอิงการสุ่มตัวอย่างใหม่ในการให้เหตุผลของ LLM งานนี้พบว่าพลวัตความไม่แน่นอนลู่เข้าสู่รูปแบบที่เสถียรเมื่อสุ่มตัวอย่างใหม่หลายสายการให้เหตุผล และสัญญาณรบกวนที่สังเกตได้ส่วนใหญ่เป็นผลจากกระบวนการสุ่มตัวอย่างมากกว่าความอ่อนไหวของโมเดลต่อโทเคนหรือขั้นตอนแต่ละรายการ

12 สิงหาคมวันพุธ
  1. Modal Blog62

    Qwen3.8-2.4T-A95B เปิดตัวน้ำหนักโอเพนซอร์ส พร้อม Modal เปิดให้บริการ endpoint แบบแชร์ในเวลาเดียวกัน

    Qwen3.8-2.4T-A95B ได้รับการเผยแพร่เป็นโมเดลน้ำหนักโอเพนซอร์ส และเปิดให้บริการบน Modal ในเวลาเดียวกัน Modal ระบุว่าได้ร่วมมือกับ Qwen ก่อนการเปิดตัว โดยใช้ SGLang และ DFlash speculative decoder ที่ปรับแต่งมาเฉพาะสำหรับรูปร่างของ Qwen3.8 เพื่อมอบการสนับสนุน day zero ให้กับ Modal Auto Endpoints

    ทำไมเรื่องนี้สำคัญ: Modal เปิดให้บริการ endpoint แบบแชร์ในวันเดียวกับที่ Qwen3.8-2.4T-A95B เผยแพร่น้ำหนักโอเพนซอร์ส และอธิบายว่า DFlash speculative decoder ที่ปรับแต่งของตนช่วยเพิ่มความเร็วในการอนุมานโดยปรับให้เข้ากับรูปร่างของโมเดลนี้ได้อย่างไร

29 กรกฎาคมวันพุธ
  1. Berkeley AI Research58

    จาก CUDA สู่ MLX: K-Search นำความเชี่ยวชาญด้านการปรับแต่งเคอร์เนลมาสู่ Apple Silicon

    IBM Research ได้ขยาย K-Search ซึ่งเป็นเฟรมเวิร์กการค้นหาเคอร์เนลเชิงวิวัฒนาการจาก UC Berkeley Sky Lab ด้วยแบ็กเอนด์ MLX และชั้นการแปล CUDA-to-MLX แบบมีโครงสร้างที่ปรับเคอร์เนล CUDA ที่มีอยู่ให้เป็นเคอร์เนลสำหรับ Apple Silicon บนเคอร์เนล attention ของ MLX วิธีนี้ทำความเร็วได้ 0.97 เท่าของความเร็วเคอร์เนล MLX Attention แบบเนทีฟของ Apple เพิ่มขึ้นจาก 0.26 เท่าเมื่อไม่มีบริบทการแปล และเคอร์เนล Mamba SSM ที่ผ่านวิวัฒนาการทำความเร็ว prefill ได้สูงสุดถึง 20 เท่าเมื่อเทียบกับการใช้งาน mlx-lm ของชุมชนบน M1 Max ผู้เขียนระบุว่าผลที่ได้ส่วนใหญ่มาจากคุณภาพของบริบทและข้อจำกัดที่ให้แก่ LLM มากกว่าความสามารถในการเขียนโค้ด Metal และกล่าวว่าวิธีนี้ไม่ได้จำเพาะเจาะจงกับ MLX

26 กรกฎาคมวันอาทิตย์
  1. Berkeley AI Research33

    ABBEL: สอน LLM ให้อัปเดตสถานะความเชื่อสำหรับการโต้ตอบระยะยาว

    Berkeley AI Research เปิดตัว ABBEL กรอบการทำงานที่แทนที่ประวัติการโต้ตอบทั้งหมดด้วยสถานะความเชื่อในภาษาธรรมชาติ และกำกับดูแลเนื้อหาผ่านการให้เกรดความเชื่อ บน CollabBench การเขียนโค้ดแบบร่วมมือ การให้เกรดความเชื่อแบบอิงการสร้างใหม่ช่วยลดช่องว่างกับโมเดลที่ใช้บริบทเต็มเหลือประมาณ 50% และฝึกใน 50 สเต็ปแทนที่จะเป็น 100 ขณะใช้โทเคนสูงสุดน้อยลง

15 กรกฎาคมวันพุธ
  1. Modal Blog60

    โมเดลมัลติโมดัล Inkling ของ Thinking Machines พร้อมใช้งานแล้วบน Modal

    Thinking Machines เปิดตัว Inkling โมเดลมัลติโมดัลอเนกประสงค์ที่รับอินพุตข้อความ รูปภาพ และเสียง แล้วส่งออกเป็นข้อความ โดย Modal ให้บริการตั้งแต่วันแรกในรูปแบบ Managed Endpoint ที่คิดราคาตามโทเคน Inkling เป็นทรานส์ฟอร์เมอร์แบบ mixture-of-experts ที่มีพารามิเตอร์รวม 975B เปิดใช้งาน 41B หน้าต่างบริบท 1M โทเคน พร้อมเสียงและภาพในตัว ใช้เลเยอร์ attention แบบ sliding-window ห้าเลเยอร์ต่อเลเยอร์ full-attention หนึ่งเลเยอร์ บนงานเอเจนต์กับ B200 8 ตัว speculator DFlash แบบกำหนดเองของ Modal ทำความเร็วได้ถึง 250 โทเคนต่อวินาทีต่อผู้ใช้ที่ปริมาณงาน 2.5M TPM ต่อ GPU ซึ่งโต้ตอบได้เร็วขึ้น 67% เมื่อเทียบกับเส้นทาง speculative ที่มีมาในโมเดลที่ปริมาณงานเท่ากัน

    ทำไมเรื่องนี้สำคัญ: endpoint วันแรกของ Modal สำหรับ Inkling ขนาด 975B พารามิเตอร์ของ Thinking Machines แสดงให้เห็นว่า speculator DFlash แบบกำหนดเองช่วยยกระดับการโต้ตอบได้ 67% เหนือเส้นทาง speculative ที่มีมาในโมเดล

6 กรกฎาคมวันจันทร์
  1. Modal Blog38

    วิธีกำหนดราคา GPU แบบเซิร์ฟเวอร์เลส: โมเดลต้นทุนแบบอินเทอร์แอกทีฟของ Modal

    Modal เผยแพร่เครื่องมือแบบอินเทอร์แอกทีฟสำหรับประเมินต้นทุน GPU แบบเซิร์ฟเวอร์เลสเทียบกับการจอง โดยค่าเริ่มต้นใช้ราคาปัจจุบันของ GPU B200 แบบเซิร์ฟเวอร์เลสบน Modal และแบบจองผ่านผู้ให้บริการคลาวด์รายใหญ่เป็นเวลา 3 ปี โมเดลนี้แสดงให้เห็นว่าเมื่ออัตราส่วนพีคต่อค่าเฉลี่ยของแอปพลิเคชันสูงกว่าอัตราส่วนลดของการจอง GPU แบบเซิร์ฟเวอร์เลสจะมีต้นทุนโดยรวมต่ำกว่า และ Modal อ้างถึงส่วนลดที่พบจริงอยู่ที่ 2-5 เท่า เทียบกับอัตราส่วนพีคต่อค่าเฉลี่ยที่ 5-10 เท่า

1 กรกฎาคมวันพุธ
  1. Modal Blog58

    Modal Research และ MRP ของ HeavyBall นำการทำนายหลายโทเคนมาสู่ diffusion LM

    Modal Research และ HeavyBall Research จาก NYU Shanghai แนะนำ Multi-token Residual Prediction (MRP) ซึ่งเป็นโมดูล 3 ชั้นที่ติดตั้งบน backbone ของ diffusion LM ที่ถูก freeze ไว้ โดยทำนาย logit residual ระหว่างขั้นแทนการทำนายการแจกแจงของขั้นถัดไปแบบเต็ม บน SDAR-4B GSM8K นั้น MRP รักษาความแม่นยำไว้ที่ 70.9% ที่ K=3 เทียบกับ 5.9% ของ naive MTP distillation และใน SGLang ทำ throughput ได้สูงสุดถึง 1.56 เท่าโดยไม่สูญเสียความแม่นยำในโหมด speculative หรือกู้คืนความแม่นยำได้ถึง +16 จุดภายใต้ aggressive low-threshold dynamic decoding เปิดตัว paper, code, SGLang implementation และโมเดล SDAR-MRP บน Hugging Face แล้ว

25 มิถุนายนวันพฤหัสบดี
  1. Modal Blog55

    Modal เปิดตัว Servers แบบเซิร์ฟเวอร์เลสสำหรับทราฟฟิก HTTP, WebSocket และ gRPC ที่มีความหน่วงต่ำ

    Modal เปิดตัว Servers ซึ่งเป็นพูลรีพลิกาของเซิร์ฟเวอร์ HTTP ที่ปรับขนาดอัตโนมัติแบบแบ่งตามภูมิภาค สำหรับทราฟฟิก HTTP, WebSocket และ gRPC มุ่งเป้าไปที่เวิร์กโหลดที่ไวต่อความหน่วง เช่น การอนุมาน LLM สำหรับเอเจนต์แบบโต้ตอบ Modal ระบุว่าลดความหน่วง p50 จาก 39ms เหลือ 6ms โดยการย้ายการค้นหาควบคุมเพลนและการเข้าคิวออกจากเส้นทางคำขอ ดังนั้นไคลเอนต์จะได้รับ 503 เมื่อไม่มีรีพลิกาพร้อมใช้งาน และต้องจัดการ load shedding ในแอปพลิเคชัน เลเยอร์การกำหนดเส้นทางทำงานบน AWS EKS โดยมี Envoy ที่เอดจ์ และพร็อกซี Rust ภายในของ Modal ชื่อ fprs ซึ่งสร้างบน pingora ของ Cloudflare ทำหน้าที่จัดการการเชื่อมโยงโดเมนและการโหลดบาลานซ์ โดยอ่านการกำหนดค่าจาก Spanner และแคชไว้ในหน่วยความจำ

24 มิถุนายนวันพุธ
  1. Modal Blog58

    Modal เปิดตัว Auto Endpoints โดยอ้างถึง speculative decoding สำหรับเวลาแฝงในการประมวลผลระดับสูงสุด

    Modal เปิดตัว Modal Auto Endpoints ซึ่งนำความสามารถในการขยายโครงสร้างพื้นฐานของ Modal มาสู่ประสิทธิภาพการประมวลผลระดับสูงสุดได้ในคลิกเดียว พร้อมยังคงควบคุมโค้ดได้ Modal กล่าวว่าการลดเวลาแฝงหลักมาจาก speculative decoding ด้วยโมเดล speculator DFlash แบบกำหนดเอง ซึ่งลดเวลาแฝงแบบ end-to-end ประมาณ 100ms ในกรณีศึกษา Decagon Voice หรือประมาณ 40% ของเวลาแฝงในการถอดรหัสฝั่งเซิร์ฟเวอร์ ทำให้เร็วกว่าทางเลือกเชิงพาณิชย์ที่เร็วที่สุดกว่า 60ms Modal ยังเปิดตัวโมเดล speculator DFlash แบบโอเพนซอร์สกับ Z Lab และ SGLang รวมถึงหนึ่งโมเดลสำหรับ Qwen 3.5 397B-A17B ที่ปรับปรุงเหนือ MTP มากกว่า 50%

23 มิถุนายนวันอังคาร
  1. Modal Blog60

    Modal เปิดตัว Auto Endpoints สำหรับการอนุมาน LLM แบบเซลฟ์เซอร์วิสที่เข้ากันได้กับ OpenAI API

    Modal เปิดตัว Auto Endpoints ซึ่งเป็นบริการเซลฟ์เซอร์วิสที่ปรับใช้การอนุมาน LLM ระดับโปรดักชันเป็นเอนด์พอยต์ที่เข้ากันได้กับ OpenAI API โดยมี Modal App เป็นแบ็กเอนด์ที่ผู้ใช้มองเห็นและควบคุมได้ แต่ละโมเดลที่รองรับมาพร้อมกับการปรับใช้เริ่มต้นที่ปรับแต่งจาก benchmarking ของ Modal เอง โดยใช้เอนจินเช่น SGLang และ DFlash speculative decoding drafter จาก Z Lab และผู้ใช้สามารถตรวจสอบการเลือก GPU, แฟล็กเอนจิน และเมตริกการอนุมานเช่น TTFT, ITL และ speculative decoding acceptance length นอกจากนี้ Modal ยังเปิดตัว Modal Servers จากเบต้าสำหรับการกำหนดเส้นทางแบบภูมิภาคด้วยโอเวอร์เฮด 5ms และระบุว่าสร้างการปรับใช้เอนด์พอยต์ด้วยระบบเอเจนติกภายในที่ยังคงมีวิศวกรมนุษย์ตรวจสอบ

    ทำไมเรื่องนี้สำคัญ: Auto Endpoints ของ Modal เปิดเผยสแตกการเสิร์ฟ เมตริกเอนจิน และสูตร benchmarking ที่ผู้ให้บริการการอนุมานแบบจัดการมักปิดไว้ ทำให้ทีมต่างๆ มีเส้นทางเซลฟ์เซอร์วิสสู่การเป็นเจ้าของการอนุมานโมเดลเปิด

19 มิถุนายนวันศุกร์
  1. Modal Blog60

    Modal ปล่อย DFlash speculators สำหรับ Qwen 3.5 และ 3.6 อ้างเพิ่มความเร็วได้อีก 5-20%

    Modal ปล่อยชุดโมเดล draft DFlash สำหรับซีรีส์ Qwen บน Hugging Face รวมถึง Qwen 3.6 35B-A3B-DFlash และ Qwen 3.5 หลายขนาดตั้งแต่ 4B ถึง 122B-A10B พร้อม DFlash speculator สำหรับ Qwen 3.5 397B-A17B ที่สร้างด้วย SGLang บริษัทระบุว่า drafter ใหม่เพิ่มความเร็ว 5-20% เหนือ baseline DFlash ที่มีอยู่ และสามารถรัน Qwen 3.5 122B-A10B ได้เกิน 1000 tok/s ที่ concurrency 1 บนโหนด B200 เทียบกับ 250 tok/s เมื่อไม่ใช้ speculation โพสต์โต้ว่า speculative decoding ให้ผลตอบแทน 2x-3x ในจุดที่การปรับ kernel ให้เพียงไม่กี่เปอร์เซ็นต์ และนำเสนอ roofline model สำหรับประเมินความเร็วที่ได้จาก acceptance length

    ทำไมเรื่องนี้สำคัญ: Modal อธิบายเหตุผลที่เดิมพันกับ speculative decoding และปล่อยโมเดล draft DFlash สำหรับซีรีส์ Qwen พร้อมความเร็วที่วัดได้และ roofline model สำหรับประเมินผลตอบแทน

11 มิถุนายนวันพฤหัสบดี
  1. Modal Blog34

    Modal ทำให้ FlashAttention-4 เร็วขึ้นสำหรับการอนุมาน LLM

    Modal ได้มีส่วนร่วมในการปรับแต่งเคอร์เนล FlashAttention-4 เพื่อเร่งความเร็วเวิร์กโหลดการอนุมาน LLM ที่เน้นการถอดรหัส ซึ่งแบนด์วิดท์หน่วยความจำเป็นคอขวด การเปลี่ยนแปลงรวมถึงการพอร์ตเทคนิคความขนานแบบ "split KV" ไปยัง FA4 และแทนที่การโหลด TMA cp.async.bulk ด้วย cp.async สำหรับการเข้าถึงหน่วยความจำที่ไม่สม่ำเสมอ PR อินพุต FP8 (ผสานเมื่อ 17 เมษายน 2026) ให้ปริมาณงานสูงสุดถึง 1.16 เท่าเมื่อเทียบกับพื้นฐาน bf16 และช่วยให้แคช KV เล็กลงได้

9 มิถุนายนวันอังคาร
  1. MiniMax Blog58

    MiniMax เผยรายละเอียด MaxProof: RL ด้วย generative-verifier และการค้นหาเชิงวิวัฒนาการสำหรับการพิสูจน์ทางคณิตศาสตร์

    MiniMax เผยแพร่บล็อกทางเทคนิคที่อธิบาย MaxProof ซึ่งเป็นเฟรมเวิร์กเบื้องหลัง M3 ที่ทำคะแนนเกินเกณฑ์เหรียญทองของมนุษย์ใน IMO 2025 และ USAMO 2026 โดยไปป์ไลน์นี้ฝึกโมเดลผู้เชี่ยวชาญสามตัวสำหรับการสร้างข้อพิสูจน์ การตัดสินข้อผิดพลาด และการซ่อมข้อพิสูจน์ จากนั้นจึงทำการค้นหาเชิงวิวัฒนาการ ณ เวลาทดสอบ ซึ่งสุ่มตัวอย่าง 32 ตัวเลือก ตรวจสอบแต่ละตัว 4 ครั้ง และปรับปรุงต่อเนื่องสูงสุด 10 รอบ MiniMax ระบุว่าบทเรียนสำคัญคือ generative verifier ที่ใช้เป็นรางวัล RL ควรให้น้ำหนักกับการมี false positive ต่ำมากกว่าความแม่นยำเฉลี่ย โดยอ้างถึง reward hacking ใน M2-cycle ซึ่งอัตรา false positive เพิ่มขึ้นจากประมาณ 2.9% เป็น 8.0% ระหว่างการฝึก

12 พฤษภาคมวันอังคาร
  1. Modal Blog58

    Modal ทำ GPU แบบ serverless ได้จริงได้อย่างไร

    Modal เผยแพร่บทความเชิงวิศวกรรมเกี่ยวกับวิธีที่พวกเขาลดเวลาการเริ่มต้นรีพลิกา AI inference จากประมาณ 2,000 วินาทีเหลือประมาณ 50 วินาที โดยใช้สี่องค์ประกอบ: บัฟเฟอร์ของ GPU ที่ว่างและมีสุขภาพดี ระบบไฟล์แบบ lazy content-addressed ที่ชื่อ ImageFS การ checkpoint/restore ฝั่งโฮสต์ผ่าน runsc ของ gVisor และการ checkpoint/restore ของ CUDA ที่สร้างบนการสนับสนุนไดรเวอร์ของ Nvidia จากการ cold start กว่าหมื่นครั้ง ค่าเฉลี่ยเวลา boot ของ vLLM ลดลงจาก 95,679 ms เหลือ 13,797 ms และ SGLang จาก 83,713 ms เหลือ 17,486 ms สำหรับโมเดล Qwen 3 0.6B ขนาด ~1 GiB ใน bf16 บทความยังระบุข้อจำกัด รวมถึงสแนปช็อตที่รองรับ GPU เดียวเท่านั้น และความอ่อนไหวต่อสภาพแวดล้อมโฮสต์ที่ต้องใช้หลายสแนปช็อตต่อการดีพลอย

8 พฤษภาคมวันศุกร์
  1. Berkeley AI Research38

    การให้เหตุผลแบบขนานเชิงปรับตัว: การสำรวจการขยายการอนุมานอย่างมีประสิทธิภาพ

    การสำรวจของ Berkeley AI Research ตรวจสอบการให้เหตุผลแบบขนานเชิงปรับตัว ซึ่งโมเดลการให้เหตุผลเองตัดสินใจว่าเมื่อใดควรแยกงานย่อย จะสร้างเธรดพร้อมกันจำนวนเท่าใด และจะประสานงานกันอย่างไร บทความเปรียบเทียบสิ่งนี้กับวิธีการแบบขนานคงที่ เช่น self-consistency, Best-of-N, Tree of Thoughts, MCTS, ParaThinker, GroupThink และ Hogwild! Inference ซึ่งกำหนดโครงสร้างแบบขนานจากภายนอก การให้เหตุผลแบบลำดับขยายตัวเป็นเส้นตรงตามจำนวนโทเค็นและเวลาแฝง และเสี่ยงต่อ context-rot จึงเป็นแรงจูงใจให้ใช้เธรดแบบขนานที่สำรวจอย่างอิสระและพร้อมกัน

4 พฤษภาคมวันจันทร์
  1. Modal Blog36

    Modal เพิ่มประสิทธิภาพการอนุมานมัลติโหมดของ SGLang ขึ้นกว่า 10% ด้วยแคช Python dict

    Modal ได้ทำโปรไฟล์ตัวจัดตารางของ SGLang บนงานมัลติโหมด และแทนที่การจัดการ CUDA IPC handle ซ้ำๆ ด้วยแคช Python dict อย่างง่าย ทำให้ปริมาณงานเพิ่มขึ้น 16.2% และลดค่าเฉลี่ย TTFT ลง 13.2% และ TPOT 17.2% บน Qwen2.5-VL-3B-Instruct บน H100 การแก้ไขนี้ถูกรวมใน SGLang v0.5.10 แล้ว

29 เมษายนวันพุธ
  1. Modal Blog33

    การสร้างเวิร์กโฟลว์พิสูจน์ทฤษฎีบทด้วย RL บน Modal

    AE Studio อธิบายรายละเอียดว่าพวกเขาฝึก LLM ให้พิสูจน์ทฤษฎีบททางคณิตศาสตร์ด้วยการเรียนรู้แบบเสริมกำลังบน Modal ได้อย่างไร โดยเปรียบเทียบ Evolution Strategies กับ GRPO ขณะที่คงลูปการฝึกให้คงที่ การตั้งค่านี้รันการอนุมาน vLLM บน GPU การตรวจสอบด้วยคอมไพเลอร์ Lean ในแซนด์บ็อกซ์ CPU แบบแยก และออร์เคสเตรเตอร์น้ำหนักเบา โดยใช้อิมเมจแยกตามฟังก์ชัน การกระจายงานด้วย .map() และ Volumes สำหรับน้ำหนักฐาน

20 เมษายนวันจันทร์
  1. Berkeley AI Research38

    GRASP: การวางแผนแบบไล่ระดับสำหรับโมเดลโลกในระยะยาว

    GRASP เป็นนักวางแผนแบบไล่ระดับใหม่สำหรับโมเดลโลกที่เรียนรู้ได้ ซึ่งทำให้การวางแผนระยะยาวเป็นเรื่องปฏิบัติได้จริงโดยการยกเส้นทางการเคลื่อนที่ขึ้นเป็นสถานะเสมือนเพื่อการปรับให้เหมาะสมแบบขนานในเวลา เพิ่มความสุ่มให้กับการวนซ้ำของสถานะเพื่อการสำรวจ และปรับรูปร่างของไล่ระดับเพื่อให้การกระทำได้รับสัญญาณที่ชัดเจนพร้อมทั้งหลีกเลี่ยงไล่ระดับสถานะ-อินพุตที่เปราะบางผ่านโมเดลการมองเห็นมิติสูง งานนี้จัดการกับกราฟการคำนวณที่มีสภาพไม่ดี จุดต่ำสุดเฉพาะที่แบบไม่โลภ และโหมดความล้มเหลวแฝงมิติสูงที่ทำให้การวางแผนระยะยาวเปราะบาง งานนี้ทำร่วมกับ Mike Rabbat, Aditi Krishnapriyan, Yann LeCun และ Amir Bar

13 มีนาคมวันศุกร์
  1. Berkeley AI Research38

    Berkeley AI Research เปิดตัว SPEX และ ProxySPEX สำหรับระบุปฏิสัมพันธ์ในระดับใหญ่สำหรับ LLMs

    นักวิจัยจาก Berkeley AI Research อธิบายถึง SPEX และ ProxySPEX อัลกอริทึมที่ระบุปฏิสัมพันธ์ที่มีอิทธิพลของคุณลักษณะ ข้อมูล และองค์ประกอบของโมเดลใน LLMs ในระดับที่ใหญ่กว่าวิธีก่อนหน้ามาก SPEX ตีความการค้นหาปฏิสัมพันธ์ใหม่เป็นการกู้คืนแบบเบาบางโดยใช้ความเบาบางและ low-degreeness ขณะที่ ProxySPEX ใช้ประโยชน์จากลำดับชั้นเพื่อจับคู่กับ SPEX ด้วยการ ablation น้อยลงประมาณ 10 เท่า ในการวิเคราะห์ความรู้สึก SPEX ให้ความซื่อสัตย์เทียบเท่า Faith-Shap และ Faith-Banzhaf บนอินพุตสั้นและคงไว้เมื่อบริบทขยายไปถึงหลายพันคุณลักษณะ

19 พฤศจิกายน 2025วันพุธ
  1. Modal Blog30

    Reducto ลดเวลาแฝง P90 ของการประมวลผลเอกสารองค์กรได้ 3 เท่าบน Modal

    Reducto ย้ายเวิร์กโหลดการอนุมานสำหรับโมเดลประมวลผลเอกสารกว่า 30 โมเดลไปยัง Modal ทำให้เวลาแฝง P90 ลดลง 3 เท่า การสแนปช็อตหน่วยความจำ GPU ลดเวลาบูตเย็นลง 83% จากประมาณ 70 วินาทีเหลือประมาณ 12 วินาที ขณะที่พูลออโตสเกลแยกตามลูกค้าแต่ละรายช่วยแยกการรับมือกับปริมาณการใช้งานที่พุ่งสูง ในระหว่างการทดสอบโหลด Reducto ขยายไปป์ไลน์การนำเข้าข้อมูลไปยัง GPU กว่า 1,000 ตัวได้ในเวลาไม่ถึงหนึ่งชั่วโมง เพื่อสาธิตความสามารถ 100,000 หน้าต่อนาที