Sing VL S1 โมเดลตัดสินใจมัลติโหมดัลขนาด 4B พารามิเตอร์ที่สร้างบน Qwen3.5 ขณะนี้มี GGUF release สำหรับการอนุมานบน CPU ผ่าน llama.cpp แล้ว จัดส่งในรูปแบบ decoder BF16 (8.42 GB), Q8_0 (4.48 GB) และ Q4_K_M (2.71 GB) พร้อม vision projector F16 ที่ใช้ร่วมกัน โดยมี context ขนาด 4096 โทเคนเป็นค่าเริ่มต้น การตรวจสอบ GGUF ครอบคลุม 9 ตัวอย่างและ 11 คำถาม คะแนนสาธารณะแบบเต็มสำหรับ GGUF variants ยังอยู่ระหว่างรอ
ระยะเวลาแคช ระดับบริการ ความพยายามในการให้เหตุผล และการตั้งค่า maxTokens ของ Amazon Bedrock สามารถเปลี่ยนค่าใช้จ่ายในการอนุมานโดยไม่ต้องเปลี่ยนโมเดลหรือพรอมต์ การเขียนแคช 5 นาทีบน Claude Sonnet 5 และ Claude Opus 5 มีค่าใช้จ่าย 1.25 เท่าของอัตราอินพุต การเขียนแคช 1 ชั่วโมงมีค่าใช้จ่าย 2 เท่า และการอ่านแคชมีค่าใช้จ่าย 0.1 เท่า คำขอระดับ Flex ไปยังโมเดลที่ไม่รองรับจะล้มเหลวด้วย ValidationException
Google DeepMind เปิดตัว Gemini 4 Hydrogen โมเดล Gemini 4 ที่สร้างขึ้นสำหรับการเขียนโค้ดในชีวิตประจำวันอย่างรวดเร็วและการทำงานแบบเอเจนต์ มากกว่าการให้เหตุผลระยะยาวของ Gemini 4 Carbon และ Argon โดยได้คะแนน 51 บน Artificial Analysis Intelligence Index ที่ระดับการคิดสูงเริ่มต้น เทียบกับ 50 ของ Argon และสูงถึง 54 ที่การตั้งค่า xhigh ใหม่ โดยมีราคาคงที่ 1.50 ดอลลาร์ต่อล้านโทเค็นอินพุต และ 7.50 ดอลลาร์ต่อล้านโทเค็นเอาต์พุตตลอดหน้าต่างบริบท 1 ล้านโทเค็น Google ยังเปิดตัว Orchestrator ใน Google Antigravity ซึ่งสลับระหว่างโมเดลอย่าง Carbon และ Hydrogen ภายในเซสชันเดียว และทำอัตราความสำเร็จของงานใกล้เคียง Carbon บน Terminal-Bench 4.0 โดยใช้โควตาน้อยลง 24% และเสร็จเร็วขึ้น 19%
ทำไมเรื่องนี้สำคัญ: Gemini 4 Hydrogen ของ Google มุ่งเป้าที่การเขียนโค้ดในชีวิตประจำวันอย่างรวดเร็วและงานแบบเอเจนต์ ด้วยราคาคงที่ 1.50/7.50 ดอลลาร์ต่อล้านโทเค็นตลอดหน้าต่างบริบท 1M และ Orchestrator ใหม่ที่สลับระหว่างโมเดล Gemini 4
OpenRouter เผยแพร่การวิเคราะห์จุดคุ้มทุนที่แสดงว่าเมื่อใดการโฮสต์ LLM แบบเปิดน้ำหนักเองมีต้นทุนต่ำกว่าการเรียกผ่าน API โดยใช้ราคาต่อผู้ให้บริการ ณ วันที่ 8 ตุลาคม 2026 ที่ราคาดังกล่าว Qwen3.8 27B บน RTX 3090 เช่าเครื่องละ 0.50 ดอลลาร์ต่อชั่วโมงคุ้มทุนที่โหลด 6 ถึง 12% ขณะที่ DeepSeek V4.1 Flash บน H200 สี่ตัวไม่เคยเอาชนะ endpoint แบบ zero-data-retention ที่ถูกที่สุดได้ โพสต์ยังระบุว่า provider.zdr และโดเมน EU และ US ครอบคลุมความต้องการด้านความเป็นส่วนตัวส่วนใหญ่ได้โดยไม่ต้องโฮสต์เอง และแนะนำให้รันโหลดพื้นฐานsteady ไว้ในเครื่องท้องถิ่นพร้อมส่งช่วงพีคไปที่ API
vLLM รองรับ Inkling 2 Small ของ Thinking Machines ใน day 0 ซึ่งเป็น MoE แบบมัลติโหมดข้อความและภาพที่มีพารามิเตอร์รวม 594B และพารามิเตอร์ที่ใช้งาน 17B และมีบริบทสูงสุด 1M โทเค็น การผสานรวมนี้เพิ่ม kernel fusion กับ PDL, sequence parallelism สำหรับ prefill ที่ลดขั้นตอน prefill 8K โทเค็นลง 22% ที่ TP4 และ 26% ที่ TP8 และ Gluon relative attention decode kernel ที่ลดขั้นตอน decode แบบ batch-1 ที่บริบท 100K จาก 15.1 ms เหลือ 4.8 ms vLLM รายงานสูงสุด 630 TPS/user ที่ TP4 บน GB200 ด้วย acceptance length 3.5 และยังรองรับ LoRA และ RL ผ่าน SkyRL
ทำไมเรื่องนี้สำคัญ: vLLM รองรับ Inkling 2 Small ในวันเปิดตัวพร้อมให้ข้อมูลการปรับแต่งที่เฉพาะเจาะจงของ kernel fusion, sequence parallelism และ Gluon decode kernel ซึ่งเป็นประโยชน์ต่อทีมที่ปรับใช้โมเดล MoE ขนาดใหญ่
vLLM รายงานการให้บริการ DeepSeek-V4.1-Flash บนตู้แร็ค NVIDIA Vera Rubin NVL72 เพียงตู้เดียวที่ 1.7M โทเคน/วินาที ต่อ GPU และ 387 โทเคน/วินาที ต่อผู้ใช้ คิดเป็น 58 เท่าของ GB300 NVL72 โดยพุ่งสูงสุดที่ 2.52M โทเคน/วินาที และ 1,810 โทเคน/วินาทีสำหรับผู้ใช้รายเดียว ผลตอบแทนเหล่านี้มาจากเคอร์เนลที่สร้างใหม่สำหรับโดเมนหน่วยความจำแยกส่วนและเทนเซอร์คอร์ FP4 ของ Rubin เส้นทางการถอดรหัส TP8 เฉพาะทาง และพูล KV และ Engram ทั่วทั้งแร็คที่แชร์ผ่าน NVLink ด้วยการรวมคำนำหน้า (prefix) ทั่วทั้งแร็คและการกำหนดเส้นทางตามภาระงานของ Dynamo อัตราการเข้าถึงคำนำหน้าจึงคงอยู่ที่ 96.5-97% แม้ในสภาวะที่มีการทำงานพร้อมกันสูง
ทำไมเรื่องนี้สำคัญ: โพสต์ที่สามของ vLLM เกี่ยวกับ DeepSeek-V4.1-Flash อธิบายรายละเอียดว่าเคอร์เนลเฉพาะสำหรับ Rubin และการรวมหน่วยความจำทั่วทั้งแร็คช่วยเพิ่มปริมาณงาน吞吐ได้ 58 เท่าเมื่อเทียบกับ GB300 NVL72 ซึ่งเป็นข้อมูลอ้างอิงที่เป็นรูปธรรมสำหรับการปรับแต่งการให้บริการในระดับขนาดใหญ่
เอนจินโอเพนซอร์สคำนวณการเปรียบต่างเชิงความหมายของนโยบายเชิงรูปแบบโดยใช้แอนติ-ยูนิฟิเคชันบนอีกราฟ แสดงโครงสร้างที่ใช้ร่วมกันเพียงครั้งเดียวและเก็บทั้งสองเวอร์ชันของแต่ละส่วนที่แตกต่างกัน โดยมุ่งเป้าไปที่ผลลัพธ์ของการทำให้เป็นรูปแบบอัตโนมัติในนโยบาย SMT-LIB, Cedar, Dogwood, OpenShell และ CEL ซึ่ง LLM เขียนอาร์ติแฟกต์แต่ไม่มีส่วนในการคำนวณการเปรียบต่าง
AWS จะจัดการประชุม re:Invent ประจำปีระหว่างวันที่ 30 พฤศจิกายนถึง 4 ธันวาคม โดยสาย AI/ML มีเซสชันที่ไม่ซ้ำกันกว่า 140 เซสชันจากเซสชันการเรียนรู้ทั้งหมดกว่า 2,000 เซสชัน คู่มือนี้จับคู่เซสชันกับสแตก AI ของ AWS ครอบคลุมตั้งแต่ชิป AI (AWS Trainium และ NVIDIA GPUs) โมเดลและการอนุมานบน Amazon Bedrock และ SageMaker AI ไปจนถึงการพัฒนาเอเจนต์ด้วย Amazon Bedrock AgentCore เซสชันถูกจัดเรียงตั้งแต่เนื้อหาสำหรับผู้เริ่มต้นไปจนถึงการเจาะลึกเชิงเทคนิค และหลายเซสชันสามารถรับชมแบบ on demand ได้
Google เปิดตัว Gemini Decisions API ซึ่งขับเคลื่อนโดยโมเดลใหม่ Gemini Decision 1 (gemini-decision-1) และพร้อมใช้งานผ่าน Gemini API ใน Google AI Studio อินพุตมัลติโมดัลเดียวสูงสุด 256K โทเค็นสามารถตรวจสอบกับคำถามแบบใช่/ไม่ใช่ แบบเลือกตอบ และแบบให้คะแนนตามเกณฑ์ได้สูงสุด 1,000 ข้อในการส่งต่อเพียงครั้งเดียว โดยคืนค่าความน่าจะเป็นและคะแนนความเชื่อมั่นที่ความหน่วงตั้งแต่ต้นจนจบ 150-250 มิลลิวินาที ในราคา 0.10 ดอลลาร์ต่อ 1M โทเค็นอินพุต โดยไม่มีค่าใช้จ่ายโทเค็นเอาต์พุต Google กล่าวว่าโมเดลนี้เป็นผู้นำชุดการทดสอบมาตรฐานด้วยค่าความคลาดเคลื่อนของการปรับเทียบต่ำที่สุด และมีราคาถูกกว่า Gemini 3.5 Flash-Lite กับ Interactions API เกือบ 5 เท่า การใช้งานภายในรวมถึงการกำหนดเส้นทางโมเดลใน Gemini Notebook การสร้างไวร์เฟรมใน Stitch และการตรวจสอบเนื้อหาเชิง adversarial สำหรับเครื่องมือ MCP ใน Search
ทำไมเรื่องนี้สำคัญ: เอนด์พอยต์ใหม่ของ Google ให้คะแนนคำถามมัลติมอดัลแบบใช่/ไม่ใช่ แบบเลือกตอบ และแบบตามเกณฑ์ได้สูงสุด 1,000 ข้อในครั้งเดียวที่ 150-250 มิลลิวินาที มอบทางเลือกที่ถูกกว่าการเรียกแบบเจเนอเรทีฟสำหรับการกำหนดเส้นทางของเอเจนต์และการตรวจสอบนโยบาย
Claude Opus 5.5 เป็นโมเดลเริ่มต้นใน Claude สำหรับแพ็กเกจ Pro, Max, Ultra และ Team แล้ว และ Anthropic แนะนำให้ใช้เป็นโมเดลหลักประจำวันสำหรับงานวิจัย การวิเคราะห์ และเอกสาร สไลด์ และสเปรดชีตที่เสร็จสมบูรณ์ Anthropic ระบุว่า Opus 5.5 ที่ระดับความพยายาม Medium ให้ผลเท่าหรือดีกว่า Opus 5 ที่ระดับ High ในการประเมินด้านการเขียนโค้ดและงานความรู้ และในการทดสอบวิเคราะห์การควบรวมกิจการภายใน ทำงานเสร็จใน 63 นาทีด้วยต้นทุนครึ่งหนึ่งของ Opus 5 ในงานเดียวกัน โพสต์ยังระบุการเปลี่ยนแปลงวิธีเขียนพรอมป์สำหรับโมเดลใหม่ รวมถึงการเลิกใช้คำสั่ง 'think hard' การเริ่มที่ระดับความพยายาม Medium และการแนบแผนภูมิแทนการพิมพ์ค่าซ้ำ
ทำไมเรื่องนี้สำคัญ: คู่มือของ Anthropic เองอธิบายว่าเหตุใด Opus 5.5 จึงเป็นโมเดลเริ่มต้นสำหรับงานความรู้ประจำวัน และนิสัยการเขียนพรอมป์แบบใดที่ควรเลิกใช้กับโมเดลนี้
inclusionAI เปิดตัว LemonDecider 4B v3 โมเดลตัดสินใจที่ผ่านการ fine-tune จาก Qwen3.5-4B ซึ่งคืนค่าความน่าจะเป็นของตัวเลือก ใช่/ไม่ใช่ หรือลำดับ ผ่านการ forward pass แบบร่วมเพียงครั้งเดียว แทนการสร้างโทเค็นคำตอบ ฝึกบนข้อมูล decision/QA ประมาณ 1.20M แถว และได้คะแนน 61.67 บนชุดทดสอบสาธารณะ Decision Index 0.4 โดยมีค่ามัธยฐานของเวลาแฝงต่อคำขอที่ 49.9 ms
inclusionAI เปิดตัว SingVL S1 โมเดลตัดสินใจมัลติโมดัลขนาด 4B ที่สร้างบน Qwen3.5 ซึ่งตอบคำถามที่ระบุชื่อได้จากข้อความหรือ JSON และรูปภาพสูงสุดสี่รูปในการประมวลผลไปข้างหน้าหนึ่งครั้งของ Transformers รองรับคำถามแบบตัวเลือก แบบใช่/ไม่ใช่ (noul) และแบบให้คะแนน 2–10 ระดับ โดยได้คะแนน 73.94 บน Public Vision Index และ 69.76 บน Public Text Index โมเดลนี้มาพร้อมโค้ดอนุมานภาษา Python และเซิร์ฟเวอร์ HTTP แบบ FastAPI
Google DeepMind เปิดให้ developers, องค์กร, นักวิทยาศาสตร์ และผู้บริโภคใช้งาน Gemini 4 Carbon ได้แล้ว โดยวางตำแหน่งให้เหนือกว่า Gemini 4 Argon สำหรับงานที่ต้องใช้การให้เหตุผลเชิงลึกและโทเคนมากขึ้น Carbon ครองอันดับ 1 บน CursorBench 4.0, WANDR ของ Perplexity และ AutomationBench ของ Zapier ด้วยต้นทุนต่องานต่ำกว่าโมเดลภายนอกที่ดีที่สุดเป็นอันดับถัดไปกว่า 2 เท่า และมีราคาอยู่ที่ 2 ดอลลาร์ต่อล้านโทเคนอินพุต และ 10 ดอลลาร์ต่อล้านโทเคนเอาต์พุต ซึ่งเป็นราคาเปิดตัวเดียวกับ Argon Google ยังได้พรีวิว /swarm ใน Google Antigravity ซึ่งเปลี่ยนพรอมป์เดียวให้กลายเป็นทีมเอเจนต์ที่ทำงานประสานกัน และรายงานว่า Carbon สามารถบล็อกเส้นทางการโจมตีได้ 99% ในการทดสอบจำลองการโจมตีทางไซเบอร์
ทำไมเรื่องนี้สำคัญ: บันทึกการเปิดตัวของ Google อธิบายว่า Gemini 4 Carbon แลกกับการใช้โทเคนที่สูงขึ้นเพื่อการให้เหตุผลที่ลึกขึ้น โดยครองอันดับ 1 บน CursorBench 4.0, WANDR และ AutomationBench ด้วยต้นทุนต่องานต่ำกว่าครึ่งหนึ่งของโมเดลภายนอกอันดับถัดไป
นักวิจัยของ OpenAI ตรวจสอบว่าการฝึกก่อน (pretraining) สถาปัตยกรรม การเรียนรู้แบบเสริมกำลัง (reinforcement learning) และข้อมูลที่สร้างโดยโมเดลส่งผลต่อตัวชี้วัดสองตัวสำหรับความสามารถในการตรวจสอบ chain-of-thought อย่างไร ได้แก่ ความสามารถแบบไม่มี CoT และความสามารถในการควบคุม CoT พวกเขารายงานว่าความสามารถแบบไม่มี CoT ติดตาม perplexity ของโมเดลฐานที่ต่ำลงอย่างราบรื่น ว่าความสามารถในการควบคุม CoT เพิ่มขึ้นระหว่าง RL แม้ไม่มีการกำกับกระบวนการนอกเหนือจากข้อจำกัดด้านความยาวและการให้คะแนนคำตอบสุดท้าย และว่าความสามารถในการควบคุมสามารถส่งต่อไปยังโมเดลนักเรียนผ่าน SFT บน rollouts ของครู ผู้เขียนเตือนว่าตัวชี้วัดทั้งสองไม่สมบูรณ์แบบ และโมเดลอาจตรวจสอบได้ยากขึ้นผ่าน CoT เมื่อความสามารถขยายตัว
ทำไมเรื่องนี้สำคัญ: การศึกษาในวงจรชีวิตของ OpenAI เชื่อมโยง perplexity ของการฝึกก่อนที่ต่ำลงและการขยาย RL เข้ากับความสามารถในการตรวจสอบ CoT ที่อ่อนลง โดยเสนอกรอบที่ชัดเจนว่าการเลือกการฝึกส่งผลต่อความเสี่ยงในการกำกับดูแลอย่างไร
Hugging Face เผยแพร่บทอธิบายเกี่ยวกับโมเดลการตัดสินใจ ซึ่งรับสถานะพร้อมคำถามที่มีชนิดข้อมูลและคืนค่าความน่าจะเป็นเหนือคำตอบที่กำหนดไว้ล่วงหน้าแทนการสร้างข้อความ โพสต์ดังกล่าวลงรายละเอียดเกี่ยวกับ primitive ของ choice, score และ noul สูตรความเชื่อมั่น และการรองรับใหม่ผ่าน DecisionPipeline และ AutoModelForDecision ของ Transformers, endpoint /v1/systemone ที่ใช้ร่วมกันใน Transformers และ llama.cpp, แท็ก Hub สำหรับการค้นพบ และการ fine-tuning ด้วย Trainer API พร้อมระบุว่า endpoint เดียวกันยังใช้งานได้กับ autoregressive LLM ที่เข้ากันได้โดยการให้คะแนน logits ของคำตอบในการ forward pass แบบแบตช์
ทำไมเรื่องนี้สำคัญ: Hugging Face อธิบายว่าโมเดลการตัดสินใจเปลี่ยนการจำแนกประเภทให้เป็นอินเทอร์เฟซที่มีชนิดข้อมูลและไม่ใช่เชิงสร้างสรรค์อย่างไร และแสดงวิธีให้บริการและ fine-tune โมเดลเหล่านี้ด้วย Transformers และ llama.cpp
นักวิจัยจาก Apple และผู้ร่วมงานจาก Harvard เสนอ weighted state souping ซึ่งเป็นวิธีการที่เรียนรู้ค่าน้ำหนักที่ขึ้นกับคิวรีสำหรับการรวมการเข้ารหัสสถานะ SSM ที่แคชไว้ใหม่ ช่วยปรับปรุงประสิทธิภาพบริบทยาวในงานตอบคำถามจากเอกสารแบบ single-hop และ multi-hop การค้นคืนแบบ needle-in-a-haystack การติดตามตัวแปร และการใช้เครื่องมือ รูปแบบ sparse บรรลุต้นทุนการเข้ารหัสที่เกือบคงที่เมื่อเทียบกับความยาวบริบท พร้อมรักษาหรือบางครั้งปรับปรุงประสิทธิภาพ บทความนี้ได้รับการตอบรับที่งาน PALM workshop ใน NeurIPS 2026
งานวิจัยจาก Apple และ Harvard แสดงให้เห็นว่ากลไก gating ใน State Space Models (SSMs) ทำให้โมเดลเรียนรู้วิธีแก้แบบ "การจดจำ" (memorization) ที่ฝังอยู่ใน weights ก่อน ซึ่งทำให้การลู่เข้าสู่การเรียนรู้แบบ in-context ที่ถูกต้องล่าช้าหรืออาจไม่เกิดขึ้นเลย แม้ว่าสถาปัตยกรรมและความจุหน่วยความจำจะไม่ได้จำกัดพื้นฐานใดๆ ก็ตาม อย่างไรก็ตาม gating มักช่วยปรับปรุงการ generalize ไปยังความยาวลำดับที่ยาวขึ้น
Goodfire Research เผยแพร่งานศึกษาที่โต้แย้งว่าเซลล์ประสาท MLP แต่ละตัวใน Qwen3.6-35B-A3B สามารถตีความได้มากกว่าที่เคยคิด โดยอิงจากการทำให้เบาบาง เครื่องมือระบุที่มา และเอเจนต์วิจัย การตัดการทำงานของแอกทิเวชันเซลล์ประสาท MoE ที่อ่อนที่สุด 92.2% ต่อการส่งผ่านไปข้างหน้าหนึ่งครั้ง ทำให้ loss ของโมเดลภาษาสูงขึ้นเพียง 2.9% และ 69% ของขั้วเซลล์ประสาทมีโหมดเดียวที่รับผิดชอบต่อผลเชิงสาเหตุอย่างน้อย 90% คำอธิบายเซลล์ประสาทด้วยภาษาธรรมชาติทำให้โมเดลผู้ตัดสินสามารถทำนายการทำงานได้ด้วยความแม่นยำ 95% เทียบกับข้อความสุ่ม และฟื้นคืนความเสียหายจากการตัดการทำงานได้ 73% ผ่านการจำลอง
ทำไมเรื่องนี้สำคัญ: งานศึกษาของ Goodfire เกี่ยวกับเซลล์ประสาทของ Qwen3.6-35B-A3B โต้แย้งว่าแอกทิเวชันที่แข็งแกร่งเพียงลำพังแบกการคำนวณส่วนใหญ่ของโมเดลไว้ พร้อมเสนอทางเลือกที่เป็นรูปธรรมต่อการตีความแบบ feature-dictionary
นักวิจัยแนะนำ HOPE ซึ่งเป็นวิธีการตัดแต่งผู้เชี่ยวชาญแบบอันดับสองสำหรับโมเดลภาษา Mixture-of-Experts ที่คำนึงถึงปฏิสัมพันธ์แบบคู่ระหว่างผู้เชี่ยวชาญที่ถูกกระตุ้นพร้อมกัน แทนที่จะให้คะแนนผู้เชี่ยวชาญแต่ละตัวแยกกัน ที่การตัดแต่ง 50% HOPE ทำอันดับเฉลี่ยได้ดีที่สุดในบรรดาวิธีทั้งหมด โดยมีผล增益สูงถึง +6.1% ในงานเขียนโค้ดแบบเอเจนต์เมื่อเทียบกับวิธีการตัดแต่งที่ดีรองลงมา งานนี้มุ่งเป้าไปที่คอขวดด้านหน่วยความจำในโมเดลอย่าง Qwen3.5-122B ซึ่ง MLP ของผู้เชี่ยวชาญกินพื้นที่ถึง 95% ของขนาดรวมประมาณ 250 GB
Preferred Networks เปิดตัว PLaMo 3.0 Fin โมเดลภาษาขนาดเล็กเฉพาะด้านการเงินที่สร้างบนโมเดลพรีเทรน PLaMo 3 NICT จากงานวิจัยร่วมกับ NICT และฝึกเพิ่มเติมด้วยข้อมูลการเงินภาษาญี่ปุ่น โดยเผยแพร่ open weights บน Hugging Face ภายใต้ PLaMo Community License โมเดลนี้เพิ่มความสามารถ Reasoning แบบทีละขั้นตอนโดยแสดง reasoning traces เป็นภาษาญี่ปุ่น พร้อม tool calling สำหรับค้นหาเว็บ คำนวณ และเข้าถึงฐานข้อมูลภายใน และสามารถรันบน GPU เดียวในสภาพแวดล้อมคลาวด์แบบปิดหรือ on-premise PFN ระบุว่าการฝึก instruction-following สำหรับ Reasoning และการใช้เครื่องมือดำเนินการบนชิป AI MN-Core 2 ของบริษัทเอง โดยพอร์ตโค้ดเสร็จภายในหนึ่งสัปดาห์และความเร็วในการฝึกเทียบได้กับสภาพแวดล้อม GPU
บทความ REINFORCE Zero ของ NVIDIA Research และ Inferact แสดงให้เห็นว่าการจัดแนวเคอร์เนลของ rollout และ trainer ทำให้ unclipped token-level importance sampling สามารถแก้ไข weight lag ที่เหลืออยู่ได้ ทำให้ฝึกได้อย่างเสถียรถึง 20,000 อัปเดตที่ policy lag 64 และได้ throughput ของ training-step เป็น 2.40 เท่าของการฝึกแบบ synchronous ด้วยเคอร์เนลที่จัดแนวแล้ว ด้วยเคอร์เนลมาตรฐาน ค่ามัธยฐาน rollout-to-learner KL เพิ่มขึ้น 83.33 เท่าตลอดการรัน และ online AIME24 pass@1 ลดลงจาก 34.27% เหลือ 13.96% ขณะที่ sequence gate ช่วยให้การฝึกเสถียรแต่ปฏิเสธ 24.48% ของ sequence ภายใน 1,000 อัปเดตสุดท้าย การตั้งค่า zero-mismatch ครอบคลุม DeepSeek-V4.1-Flash, Kimi K3.1 ในวันเปิดตัว และ DeepSeek-V4-Flash กับ Kimi K3.1 บน AMD MI355X โดยมีโค้ดอยู่ที่ Inferact/zero-mismatch-rl และ NVIDIA-NeMo/labs-molt
ทำไมเรื่องนี้สำคัญ: NVIDIA Research และ Inferact แยกช่องว่างระหว่าง rollout-learner ของ async RL ออกเป็น weight lag และ kernel mismatch โดยแสดงให้เห็นว่าการจัดแนวเคอร์เนลทำให้ unclipped importance sampling รักษาการฝึกที่เสถียรที่ policy lag 64 ได้
Zyphra Research เปิดตัว ZYFA เคอร์เนล causal prefill attention แบบ BF16 และ FP8 สำหรับ MI355X ของ AMD (CDNA4, gfx950) รองรับ head dimension 128 และรูปร่าง MLA ของ DeepSeek-V2 บนแอคติเวชันจาก Mistral-7B, Qwen3-8B และ DeepSeek-V2-Lite ที่ 16K โทเคน เคอร์เนล FP8 ของ ZYFA ทำ throughput ได้ 1.16–1.76× ของ AITER และบนอินพุตแบบเกาส์เซียนที่ 32K โทเคน ทำได้ 1.26–1.37× ที่ head dimension 128 และ 1.99× ที่รูปร่าง MLA ข้อผิดพลาดของ FP8 ต่ำกว่าของ AITER 62–78% ที่ head dimension 128
ASpec เป็นกรอบการฝึกอบรมปริมาณสูงสำหรับโมเดลร่างการถอดรหัสแบบคาดการณ์ สร้างจากฐานโค้ด TorchSpec พร้อมการปรับแต่ง attention, fused kernels และการคำนวณ head/loss แบบเลือกได้ ในการรัน Qwen3-8B 4K การฝึกแบบ Draft-only ทำได้ 15,256.44 input tokens/s บน GPU หนึ่งตัว เป็น 1.96× ของ TorchSpec ขณะที่หน้าต่าง steady แบบออนไลน์ 8-GPU ทำได้ 77,721.37 tokens/s เป็น 2.28× ของ TorchSpec รองรับ DSpark, DFlash, EAGLE3/4 และ MTP drafts แบบเนทีฟ พร้อม quickstart สำหรับ Qwen3-8B และ Ling tiny
Goodfire Research เสนอ mechanistic shaping ซึ่งเป็นกรอบการทำงานที่เพิ่มบทลงโทษต่อทิศทางแนวคิดภายในของโมเดลระหว่างการฝึก เพื่อให้โมเดลเรียนรู้ที่จะพึ่งพาหรือแสดงแนวคิดเฉพาะแทนที่จะเพียงเพิ่มรางวัลจากงานให้สูงสุด ในการทดลองกับภาพเอกซเรย์ทรวงอก เอเจนต์ LLM ใช้คุณลักษณะจาก sparse autoencoder เพื่อค้นหาทิศทางทางลัดที่มีลักษณะคล้ายท่อ และ reliance shaping เอาชนะทั้งการฝึกแบบมาตรฐานและฐานข้อมูลที่สมดุล
Buoyant 宣布推出 Kinference，这是一个采用 Apache v2 许可证的开源控制平面，可将兼容 OpenAI 和 Anthropic 的推理流量路由到 Kubernetes 上的 vLLM 工作节点，并新增令牌速率限制、按租户的使用量与成本跟踪、KV 缓存感知负载均衡以及 YAML 推理策略。在该项目的公开基准测试中，与标准 Kubernetes 服务负载均衡相比，Kinference 在某一工作负载上将首令牌时间中位数缩短了 95%，端到端延迟中位数降低了 45%；在容量测试中，共享前缀场景下的有效吞吐量达到 7.4 倍，多轮对话场景下约为 3.5 倍。策略可将较简单的提示词路由到更便宜的模型，将突发溢出流量发送到 Bedrock 和 Databricks 等提供商，或将带有 PII 标记的请求保留在集群内；按租户的指标涵盖令牌速率、TTFT、ITL 以及缓存与未缓存的提示词令牌。
ทำไมเรื่องนี้สำคัญ: Buoyant 的 Kinference 在 vLLM 之上增加了 KV 缓存感知负载均衡和 YAML 推理策略，基准测试声称其 TTFT 和有效吞吐量相较标准 Kubernetes 服务路由有大幅提升。
Ai2 เปิดตัว StateBench ซึ่งเป็นเบนช์มาร์กที่มีสี่ระดับความยากสำหรับการติดตามสถานะในบริบทแบบยาว ตั้งแต่การกำหนดค่าที่ไม่เปลี่ยนแปลง ไปจนถึงการอัปเดตแบบอ้างอิงตนเองและแบบอ้างอิงข้าม ในการทดสอบ Gemini 3.8 Flash, Claude Opus 5.5 และ GPT-6 Sol และ Luna จัดการระดับที่ง่ายกว่าได้ แต่ลดลงเหลือ 13% หรือต่ำกว่าบนปัญหาจำกัดทั่วไปที่ยาวที่สุด ขณะที่ Gated DeltaNet ขนาด 275M พารามิเตอร์และโมเดลไฮบริดที่ฝึกจากศูนย์สามารถ généralisé ได้เกือบสมบูรณ์แบบในสามระดับแรก และทรานส์ฟอร์เมอร์ไม่เคยเรียนรู้ระดับที่ยากที่สุดได้เลย
นักวิจัยของ Apple เสนอสูตรสองขั้นตอนสำหรับการกลั่น Transformer ให้เป็นสถาปัตยกรรม Mamba แท้ที่ไม่มีบล็อก Attention เลย วิธีการนี้เริ่มจากการกลั่น Transformer ที่ผ่านการฝึกมาก่อนให้เป็นโมเดล Attention แบบเชิงเส้นผ่านเทคนิคเคอร์เนลที่ดัดแปลง จากนั้นจึงกลั่นโมเดลนั้นให้เป็นโมเดล Mamba ที่ดัดแปลง ผลลัพธ์คือ Mamba ที่กลั่นแล้วยังคงประสิทธิภาพส่วนใหญ่ของ Pythia-1B ไว้ได้ โดยมี perplexity อยู่ที่ 14.01 เทียบกับ 13.86 ของโมเดลครู และยังมีช่องว่างในงานที่ต้องอาศัยการเรียกคืนจากบริบท
Google ได้รันเบนช์มาร์กเอเจนต์เขียนโค้ด 50 ข้อที่ตรวจอัตโนมัติ เพื่อทดสอบว่าคลาสซิฟายเออร์น้ำหนักเบาชื่อ Jev ของ TypeSafe สามารถจัดเส้นทางแต่ละงานไปยังการตั้งค่า Gemini ที่ถูกที่สุดซึ่งยังตอบถูกได้หรือไม่ regex แบบคงที่และฮิวริสติกตามความยาวพรอมป์ทำคะแนนได้ 93.8% บนคำถามพัฒนา 16 ข้อ แต่ลดลง 23.2 จุดเหลือ 70.6% บนงานที่กันไว้ทดสอบ 34 งาน ขณะที่ Jev ทำได้ 96.0% across ชุดทดสอบทั้งหมด การตั้งค่าที่ไม่มีเราเตอร์ที่แข็งแกร่งที่สุด คือ Gemini 3.8 Flash โหมดคิดต่ำ แก้ได้ทั้ง 50 งาน และเราเตอร์ Jev ที่ส่งงานไปยัง Flash-Lite ก่อนแล้วยกระดับงานที่ถูกตั้งธงก็แก้ได้ทั้ง 50 งานเช่นกัน พร้อมลดต้นทุนและเวลาตอบสนอง การจำกัด maxOutputTokens ที่ 300 ไม่ประหยัดอะไรบนงานง่าย และทำให้ 7 จาก 25 งานยากพัง
Zyphra 推出了 Zyphra Hierarchical Attention（ZHA），一种稀疏注意力方法，它构建压缩 KV-cache 摘要的树，并自上而下地通过该树路由查询，在合适的 top-p 阈值下实现次二次复杂度。现有的预训练模型可以通过仅使用数十亿 token 的简短 KL 蒸馏阶段进行适配；在 Qwen3.6-35B-A3B 上，ZHA 增加了 81,920 个可训练参数，约占基础模型的 0.00024%。在 256K token 的 RULER-13 上，宽树模型得分为 96.2%，而密集注意力为 96.0%；深六层树在 LongBench v2 上得分为 63.4%，而密集注意力为 58.0%，同时仅关注约 1.1% 的 KV 缓存；一个 GPU roofline 模型预测在 10M token 时比密集注意力快 32-35 倍。
Anthropic เปิดตัว FlashProve ต้นแบบโอเพนซอร์สที่ใช้ zkSNARK เพื่อพิสูจน์ว่าคำตอบมาจากโมเดลที่ผูกพันไว้โดยไม่เปิดเผยน้ำหนักของโมเดล บน Llama 4 Maverick (MoE ขนาด 400B พารามิเตอร์ น้ำหนัก 4-bit) H100 หนึ่งตัวสร้าง proof ได้ประมาณ 110 โทเค็น/วินาที โดยมี proof ขนาด ~19 MB ต่อคำขอ 1,024 โทเค็น คิดเป็นเวลาประมวลผลบน GPU ประมาณ 70-95 เท่าของที่ vLLM ต้องใช้สำหรับงานเดียวกัน การเปิดตัวนี้รวมโค้ด prover และ verifier ที่รันได้, verifier แบบ C++ ที่เร็ว, verifier แบบ Lean พร้อมข้อความ completeness, soundness และ zero-knowledge ที่ตรวจสอบด้วยเครื่อง และรายงานทางเทคนิค ทั้งหมดภายใต้ Apache 2.0
ทำไมเรื่องนี้สำคัญ: FlashProve ของ Anthropic แสดงให้เห็นว่า proof ของการอนุมานที่อิง zkSNARK กำลังเป็นไปได้จริงสำหรับโมเดล MoE ขนาด 400B พารามิเตอร์ พร้อมโค้ดเปิดและข้อกล่าวอ้างด้านความปลอดภัยที่ตรวจสอบด้วย Lean
Sakana AI จัดงานสัมมนา "From World Models to Real-World AI" ที่โตเกียวเมื่อวันที่ 26 ตุลาคม 2026 โดย Jürgen Schmidhuber ที่ปรึกษาวิทยาศาสตร์ระดับหัวหน้าได้กล่าวปาฐกถาหลัก และ Sakana AI ประกาศว่าจะพัฒนาโมเดลภาษาที่ผ่านการฝึกอบรมล่วงหน้าของตนเองในชื่อ Sakana Sawara (ชื่อชั่วคราว) โดยโมเดลขนาดเล็กตัวแรก Sawara Small (ชื่อชั่วคราว) มีแผนจะเปิดตัวในฤดูใบไม้ผลิปี 2027 หากการพัฒนาดำเนินไปอย่างราบรื่น งานนี้มีผู้เข้าร่วมมากกว่า 400 คน และยังมีการสนทนาระหว่าง Schmidhuber กับ David Ha ซีอีโออีกด้วย
การผสาน knowledge distillation เข้ากับเฟรมเวิร์ก Medusa ช่วยให้นักเรียน TinyLlama ขนาด 1.1B พารามิเตอร์มีคุณภาพทัดเทียมกับครู Llama-3.1 ขนาด 70B พารามิเตอร์ ขณะที่ทำงานเร็วขึ้น 10 ถึง 20 เท่าในต้นทุนต่ำกว่าหนึ่งในสาม การทำงานร่วมกับ Booking.com ใน AI Trip Planner, Smart Filters และการสร้างคำอธิบายที่พัก ไปป์ไลน์นี้ปิดช่องว่างคุณภาพได้กว่า 90% และเพิ่มความเร็วได้อีก 2 ถึง 3.6 เท่าจาก Medusa heads
Sakana AI นำระบบวิเคราะห์เรื่องเล่ามาใช้กับปฏิกิริยาราว 710,000 ครั้งบน X ต่อโพสต์ของผู้สมัครทั้งสองฝ่ายและองค์กรพรรคระดับรัฐในการเลือกตั้งวุฒิสภารัฐเท็กซัส ประเมินสัดส่วนการสนับสนุนและการวิพากษ์วิจารณ์พร้อมช่วงความคลาดเคลื่อนทางสถิติ ผลิตภัณฑ์ Sakana Marlin ตรวจสอบข้อมูลจาก SNS เทียบกับผลสำรวจ การเงินการหาเสียง ตลาดพยากรณ์ และข่าว พบการเปลี่ยนแปลงในการประเมินผู้สมัครประมาณสองเดือนก่อนที่หน่วยจัดอันดับหลักอย่าง Cook Political Report จะปรับการประเมิน
inclusionAI เปิดตัว Ling-3.0-flash-Sante-fp8 ซึ่งเป็นเวอร์ชันควอนไทซ์ FP8 ของโมเดล Ling-3.0-flash-Sante ที่เชี่ยวชาญด้านสุขภาพ โดยคงจำนวนพารามิเตอร์รวม 124B และพารามิเตอร์ที่ใช้งานต่อโทเคน 5.1B โดยทำคะแนนเฉลี่ยได้ 73.9 เท่ากับเช็กพอยต์ BF16 ในชุดทดสอบด้านสุขภาพ พร้อมลดหน่วยความจำของน้ำหนักโมเดลสำหรับฮาร์ดแวร์ที่รองรับ FP8 โมเดลนี้มีไว้เพื่อการวิจัยเท่านั้น รองรับบริบท 256K โทเคน และใช้โหมดคิดเป็นค่าเริ่มต้นพร้อมการเรียกใช้เครื่องมือ
Meta เผยรายละเอียด Andromeda รุ่นถัดไป ซึ่งเป็นเอนจินดึงโฆษณาเฉพาะบุคคล ที่ให้คะแนนโฆษณากว่าหนึ่งพันล้านรายการต่อวินาทีในการใช้งานจริง เพิ่มปริมาณงานขึ้น 100 เท่าเมื่อเทียบกับระบบในปี 2024 สถาปัตยกรรมใหม่นำ mixture-of-experts ที่ได้แรงบันดาลใจจาก LLM มาใช้ในการดึงข้อมูล เข้าใกล้ประสิทธิภาพของโมเดลระดับการจัดอันดับด้วย FLOPs ตอนอนุมานน้อยลงราว 300 เท่า โดยประมวลผลโฆษณากว่าหมื่นล้านรายการต่อวินาทีบน GPU NVIDIA GH200 เพียงตัวเดียว ตั้งแต่ปี 2025 Andromeda ช่วยเพิ่มอัตราการแปลงบน Facebook ขึ้น 2.4%
หน้าโครงการ UBTree นำเสนอ UBTree ซึ่งเป็นวิธีการ speculative decoding ที่ร่างต้นไม้โทเค็นแบบขนานโดยใช้โมเดล unigram และ bigram โดยมีรายละเอียดใน arXiv:2609.39972 วิดีโอสาธิตเปรียบเทียบ UBTree กับ AR, DFlash และ DSpark บน Ling3 Tiny และ Flash โดยใช้พรอมต์ HumanEval anti_shuffle และ bf ที่ไม่เปลี่ยนแปลง โดยทั้งสี่วิธีให้โทเค็นเอาต์พุตที่เหมือนกันทุกประการ ไซต์เป็น HTML/CSS/JS ล้วนให้บริการผ่าน GitHub Pages โดยตัวเลขในแผนภูมิและตารางจัดเก็บไว้ใน static/js/data.js
Google Research ได้นำเสนอกรอบงาน sleep สำหรับการเรียนรู้อย่างต่อเนื่อง ซึ่งสลับระหว่างการโต้ตอบแบบแอคทีฟกับการรวมความจำแบบออฟไลน์ ทำให้ LLM ดูดซับข้อเท็จจริงใหม่เข้าสู่พารามิเตอร์ Mixture-of-Experts ที่ขยายเพิ่ม แทนที่จะสูญเสียความรู้เดิม วิธีการนี้ผสานการขยายพารามิเตอร์ การกลั่นแบบ on-policy ด้วยการเลียนแบบที่อิงการเรียนรู้แบบเสริมกำลัง และขั้นตอน dreaming ที่สร้างและกรองตัวอย่างการฝึกแบบสังเคราะห์ ผู้เขียนรายงานว่าการลดลงของประสิทธิภาพเกือบเป็นศูนย์ในการแปลอย่างต่อเนื่องสำหรับภาษาที่ไม่เคยเห็น เช่น ภาษาแมนจูและภาษากาลามัง การขยายขนาดเกือบสมบูรณ์แบบถึง 10M โทเค็นบน BABILong ผลลัพธ์ 48.9% สำหรับงานเดี่ยวและ 46.2% สำหรับ CPT ในการincorporation ข้อเท็จจริงจาก SQuAD และ 79.2%, 69.0% และ 46.1% บน AIME 24/25 และ HMMT 25
Apple ประกาศเปิดตัว iMac รุ่นใหม่ที่ขับเคลื่อนด้วยชิป M6 มาพร้อม CPU สูงสุด 12 คอร์ และ GPU ที่มี Neural Accelerators ในทุกคอร์ พร้อม Dual 16-core Neural Engine ทำให้ประมวลผล AI บนอุปกรณ์ได้เร็วขึ้นสูงสุด 5 เท่าเมื่อเทียบกับ M4 Apple อ้างว่ามีประสิทธิภาพเร็วขึ้นสูงสุด 18 เท่าเมื่อเทียบกับ iMac ที่ใช้ Intel ซึ่งเป็นรุ่นยอดนิยมที่สุด และประมวลผลพรอมต์ AI ใน LM Studio เร็วขึ้นสูงสุด 12 เท่าเมื่อเทียบกับ M1 เปิดให้สั่งจองล่วงหน้าวันที่ 28 ตุลาคม และวางจำหน่ายตั้งแต่วันศุกร์ที่ 6 พฤศจิกายน
Apple ประกาศเปิดตัว MacBook Pro 14 นิ้วรุ่นใหม่พร้อม M6 มาพร้อม CPU 12 คอร์และ GPU 12 คอร์ ให้ประสิทธิภาพกราฟิกเร็วขึ้นสูงสุด 30 เปอร์เซ็นต์และงาน AI เร็วขึ้นสูงสุด 25 เปอร์เซ็นต์เมื่อเทียบกับ M5 ชิปนี้เพิ่ม Neural Engine แบบ Dual 16 คอร์และ GPU Neural Accelerators สำหรับ AI บนอุปกรณ์ พร้อมแบตเตอรี่สูงสุด 24 ชั่วโมง, Wi-Fi 7 และ Bluetooth 6 เปิดให้สั่งจองล่วงหน้าวันที่ 28 ตุลาคม โดยเริ่มวางจำหน่ายวันศุกร์ที่ 6 พฤศจิกายน
นักวิจัยจาก Apple นำเสนอ GHARP ซึ่งเป็นวิธีการสร้างแอนิเมชันศีรษะมนุษย์ 3 มิติแบบเรียลไทม์จากภาพอินพุตเพียงไม่กี่ภาพพร้อมสัญญาณการขับเคลื่อนสีหน้า โดยแบ่งงานออกเป็นขั้นตอนออฟไลน์สำหรับระบุตัวตนและขั้นตอนรันไทม์สำหรับแอนิเมชันที่มีน้ำหนักเบา เครือข่ายจัดแนวร่างกายช่วยขจัดความกำกวมจากท่าทางร่างกายและเสื้อผ้า และ GHARP บรรลุคุณภาพระดับสูงสุดบน基準 Ava-256 ขณะที่ทำงานเร็วขึ้นถึง 13 เท่าบน GPU A100 โดยใช้เกาส์เซียนน้อยลง 8 เท่า