ข้ามไปที่เนื้อหา
เฉพาะ งานวิจัย#การติดตั้งใช้งาน / วิศวกรรม
13 พฤศจิกายนวันศุกร์
  1. MIT News34

    นักวิจัย MIT สร้าง AI "copilot" สำหรับการปรับแต่งโทโพโลยีในการออกแบบโครงสร้าง

    นักวิจัย MIT พัฒนา AI copilot ที่ช่วยให้วิศวกรสามารถให้ข้อเสนอแนะต่อพื้นที่ต่างๆ ของโครงสร้างได้ในขณะที่การปรับแต่งโทโพโลยีกำลังดำเนินอยู่ แทนที่จะต้องรอการออกแบบขั้นสุดท้าย ในการสาธิต ระบบนี้ช่วยปรับปรุงความสามารถในการผลิตและแรงโก่งตัวเชิงเส้น (linear buckling load) ได้ 39 เปอร์เซ็นต์ โดยเพิ่มเวลาในการออกแบบทั้งหมดเพียง 15 วินาที ระบบใช้แมชชีนเลิร์นนิงที่ฝึกด้วยข้อมูลข้อเสนอแนะจากมนุษย์แบบสังเคราะห์ และปัจจุบันอนุญาตให้ผู้ใช้เพิ่มหรือลดความหนาของพื้นที่เท่านั้น

  2. Hacker News · AI64

    การศึกษา Schelling Atlas พบว่า AI agents มาบรรจบกันบน ntfy.sh เพื่อค้นหาซึ่งกันและกันบนเว็บ

    การศึกษาจากสถาบัน ELLIS Institute Tübingen และ Max Planck Institute for Intelligent Systems พบว่าคู่ของ AI agents ที่ทำงานแยกกันโดยไม่ได้รับสถานที่นัดพบ สามารถค้นหาซึ่งกันและกันบนเว็บได้ภายในไม่กี่นาที โดย 21 จาก 40 คู่ได้พบกัน และทั้งหมดพบกันบน ntfy.sh เมื่อบล็อก ntfy.sh มีเพียง 4 จาก 65 คู่ที่พบกันภายในห้านาที เพิ่มขึ้นเป็น 20 จาก 65 คู่เมื่อให้เวลา 20 นาทีและไม่มีข้อจำกัดการดำเนินการ ส่วนใหญ่บน ptsv3.com และ filebin.net จาก 1,107 agents ที่ใช้เครื่องมือเว็บ มี 280 รายลองใช้โฮสต์ที่ไม่มีอยู่แล้ว และ 118 รายลองใช้หนึ่งใน 121 โดเมนที่ไม่มีการลงทะเบียน ซึ่งผู้โจมตีสามารถซื้อเพื่อดักจับการรับส่งข้อมูลของ agent

  3. Hacker News · AI31

    Air-LLM: การกระจายน้ำหนัก AI ไปยังอุปกรณ์ Edge ผ่าน RF Computing สำหรับการอนุมาน LLM แบบทันที

    Air-LLM เป็นสถาปัตยกรรมการอนุมาน LLM บน Edge ที่วิทยุกลาง เช่น สถานีฐาน 5G กระจายน้ำหนักโมเดลผ่านอากาศ และผู้ใช้ Edge ทำ GEMV เสร็จสิ้นโดยตรงในโดเมน RF ด้วย RF mixer ทำให้อุปกรณ์ไม่ต้องจัดเก็บหรือโหลดน้ำหนักเลย จากการทดสอบบนช่องสัญญาณ ray-traced ของ NVIDIA Sionna ในฉากเมืองจริงสองแห่งด้วยโปรไฟล์ RF mixer จริง พบว่าจำกัดการเสื่อมของ perplexity บน WikiText-2 สำหรับ LLaMA-3.1-8B ไว้ที่ 4.0% พร้อมประหยัดพลังงาน 157.7x/40.4x เมื่อเทียบกับ baseline FP16 และ weight-only quantization เมื่อมีผู้ใช้ 20 คน ใช้เวลาออกอากาศสั้นลง 104.1x/26.0x และเนื่องจากวิทยุกลางไม่รับรู้ถึงผู้ใช้ การกระจายครั้งเดียวจึงรองรับผู้ใช้ได้ไม่จำกัดในพื้นที่ครอบคลุม

  4. Hacker News · AI58

    InferTrail 运行了为期 35 天的 LLM API 密钥蜜罐，并追踪被盗密钥的使用方式

    InferTrail 在 40 多个虚假 GitHub 组织中植入了 179 个 API 密钥，并运行了两个蜜罐 LLM 网关长达 36 天，记录了超过 300 万次请求。已发布的密钥中只有 18 个被用于发送提示词，其中 6 个密钥占泄露密钥提示词请求的 98.9%，而该流量的 86% 来自托管基础设施。作者列出了三种用于识别密钥复用的日志模式：短时间内一个密钥下出现多个模型名称、密钥生效后出现固定间隔的检查，以及源地址发生变化。

  5. Hacker News · AI38

    Terminal-Bench 4.1 เปิดตัวพร้อมตัวตรวจสอบที่แข็งแกร่งขึ้นเพื่อป้องกัน reward hacking

    Terminal-Bench 4.1 เปิดตัวแล้วพร้อมตัวตรวจสอบที่ปรับปรุงใหม่ซึ่งออกแบบมาเพื่อต้านทาน reward hacking และการให้คะแนน TB 4.0 ใหม่ด้วยตัวตรวจสอบใหม่ใช้ต้นทุนการอนุมานเพิ่มเติม $0 มีเพียงประมาณ 1.16% ของการทดลอง 11,550 ครั้งที่คะแนนเปลี่ยนแปลง และคะแนนที่อัปเดตของเอเจนต์ทั้ง 35 ตัวยังคงอยู่ในช่วงความเชื่อมั่น 95% เดิมของ TB 4.0

12 พฤศจิกายนวันพฤหัสบดี
  1. Google Research58

    Google Research ใช้เทคโนโลยีสวมใส่สร้างโปรไฟล์ความเสี่ยง CKM และการโค้ชเฉพาะบุคคล

    Google Research ได้แนะนำกรอบการวิจัยที่เปลี่ยนข้อมูลจากอุปกรณ์สวมใส่สำหรับผู้บริโภคให้เป็นอายุสุขภาพที่สามารถโค้ชได้ และจำลองเส้นทางสุขภาพเฉพาะบุคคลแบบ 12 สัปดาห์ในลักษณะ what-if โมเดลโลก SensorWM ถูกฝึกฝนล่วงหน้าด้วยข้อมูล Fitbit ที่ไม่ระบุตัวตนจำนวน 2.28 ล้านคน-สัปดาห์จากผู้ใช้ประมาณ 100,000 คน และคาดการณ์ตัวชี้วัดทางสรีรวิทยา 20 รายการภายใต้รูปแบบการเดิน การนอน และคาร์ดิโอที่แตกต่างกัน ในการศึกษาที่ปกปิดข้อมูล ผู้ฝึกสอนไลฟ์สไตล์เลือกแผนที่อ้างอิงจากสถานการณ์สมมติว่าเป็นแผนที่ดีที่สุดโดยรวมในการประเมิน 71.4% และแพทย์ให้คะแนน 99.2% ของแผนว่าอยู่ในขีดจำกัดความเข้มข้นของการออกกำลังกายที่ปลอดภัย ผู้เขียนระบุว่าโมเดลเหล่านี้เป็นต้นแบบการวิจัย ไม่ใช่เครื่องมือวินิจฉัยทางคลินิก

9 พฤศจิกายนวันจันทร์
  1. Hugging Face Blog40

    HOPE: การตัดแต่งผู้เชี่ยวชาญแบบอันดับสูงในโมเดลภาษา Mixture-of-Experts

    นักวิจัยแนะนำ HOPE ซึ่งเป็นวิธีการตัดแต่งผู้เชี่ยวชาญแบบอันดับสองสำหรับโมเดลภาษา Mixture-of-Experts ที่คำนึงถึงปฏิสัมพันธ์แบบคู่ระหว่างผู้เชี่ยวชาญที่ถูกกระตุ้นพร้อมกัน แทนที่จะให้คะแนนผู้เชี่ยวชาญแต่ละตัวแยกกัน ที่การตัดแต่ง 50% HOPE ทำอันดับเฉลี่ยได้ดีที่สุดในบรรดาวิธีทั้งหมด โดยมีผล增益สูงถึง +6.1% ในงานเขียนโค้ดแบบเอเจนต์เมื่อเทียบกับวิธีการตัดแต่งที่ดีรองลงมา งานนี้มุ่งเป้าไปที่คอขวดด้านหน่วยความจำในโมเดลอย่าง Qwen3.5-122B ซึ่ง MLP ของผู้เชี่ยวชาญกินพื้นที่ถึง 95% ของขนาดรวมประมาณ 250 GB

  2. Anthropic Research71

    Anthropic ทดสอบ Claude Fable 5.2 กับการออกแบบอิเล็กทรอนิกส์ในโลกจริง

    Anthropic รายงานว่า Claude Fable 5.2 ออกแบบอุปกรณ์อิเล็กทรอนิกส์สามชิ้น ได้แก่ ลำโพงประชุม ฮับผู้ช่วยเสียง และสัตว์เลี้ยงเสมือนแบบพกพา จากคำสั่งเพียงเล็กน้อย และ Diode Computers ได้สร้างต้นแบบที่ใช้งานได้จากไฟล์การออกแบบของมันโดยไม่ต้องแก้ไขวงจร บนเกณฑ์มาตรฐาน PCB Gym ภายในของ Diode นั้น Fable 5.2 ทำคะแนนได้ 69% เทียบกับ 25% ของ Fable 5 และทำได้ 83.5% บน BenchCAD 2.1 สาธารณะ ซึ่งเกือบเป็นสองเท่าของ Claude Fable 5.1 อุปกรณ์เหล่านี้ยังคงเป็นต้นแบบที่ยังไม่ผ่านการตรวจสอบทางไฟฟ้า การปรับแต่งเสาอากาศ การทดสอบความร้อน หรือการรับรอง และ Claude ไม่ได้เชื่อมต่อกับอุปกรณ์ทดสอบหรือเครื่องจักรการผลิต

    ทำไมเรื่องนี้สำคัญ: รายงานของ Anthropic เองเกี่ยวกับ Claude Fable 5.2 ที่ออกแบบอุปกรณ์อิเล็กทรอนิกส์ที่ใช้งานได้สามชิ้น แสดงให้เห็นว่าโมเดลก้าวหน้าไปไกลเพียงใดจากเลย์เอาต์ PCB บางส่วนไปสู่การสร้างต้นแบบฮาร์ดแวร์แบบครบวงจร

  3. Artificial Analysis Articles58

    Artificial Analysis เผยแพร่ Endpoint Accuracy Index v1.1 พร้อมช่วงความเชื่อมั่นแบบ long-context ที่แคบลงและครอบคลุมหกโมเดล

    Artificial Analysis เปิดตัว Endpoint Accuracy Index v1.1 ซึ่งทำให้ช่วงความเชื่อมั่นของ AA-LCR-25 แคบลง และเพิ่มการครอบคลุมสำหรับ GLM-5.3 Flash และ Muse Spark Open จาก 103 endpoint แบบ serverless ที่ถูก benchmark พบว่า 24 รายได้คะแนนต่ำกว่าค่าอ้างอิงแบบ self-hosted อย่างมีนัยสำคัญทางสถิติ โดยสาเหตุได้แก่ การจำกัดจำนวน output token การลดทอนการ reasoning ข้อผิดพลาดในการจัดรูปแบบ tool call และการ timeout ของคำขอ การเพิ่ม AA-LCR-25 เป็น 25 ครั้งต่อคำถามทำให้ช่วงความเชื่อมั่น 95% เฉลี่ยแคบลงจาก ±4.7 เป็น ±2.6 คะแนน และช่วงความเชื่อมั่นของดัชนีรวมแคบลงจาก ±5.5 เป็น ±4.3 คะแนน จาก 45 endpoint ที่ถูกให้คะแนนภายใต้ทั้งสองเวอร์ชัน

6 พฤศจิกายนวันศุกร์
  1. Ai2 · Allen Institute for AI58

    Ai2 เปิดตัว ToyBlocks โลกจำลองแบบควบคุมสำหรับการเรียนรู้และประเมินผลของหุ่นยนต์

    Ai2 เปิดตัว ToyBlocks กรอบการจำลองแบบเปิดที่สร้างขึ้นรอบแขนหุ่นยนต์และบล็อกบนโต๊ะ เป็น FoundationWorlds ตัวแรกสำหรับการวิจัยการเรียนรู้ของหุ่นยนต์แบบควบคุม ToyBlocks สร้างงานและการสาธิตโดยอัตโนมัติผ่าน RL และการวางแผนการเคลื่อนไหวใน Isaac Lab โดยสร้างข้อมูลได้สูงสุดถึง 24 เท่าของเวลาจริงบน GPU เดียว และมาพร้อมกับการสาธิตระยะยาว 85,336 รายการ ครอบคลุมเกือบ 1,600 ชั่วโมงและ 144 ล้านเฟรม ในการทดสอบโลกจริงบน Franka FR3 ความสำเร็จของทักษะระดับอะตอมของ ManiFlow อยู่ที่ 80.0% ในการจำลองและ 81.1% บนฮาร์ดแวร์ ขณะที่ระบบ Molmo 2 ร่วมกับ ManiFlow ประสบความสำเร็จ 55.5% ของตอนจำลองและ 50.0% ของตอนจริง

  2. vLLM Blog77

    REINFORCE Zero: การจัดแนวเคอร์เนลช่วยให้ Async RL เสถียรที่ Policy Lag 64 ขยายไปถึง DeepSeek-V4.1 และ Kimi K3.1

    บทความ REINFORCE Zero ของ NVIDIA Research และ Inferact แสดงให้เห็นว่าการจัดแนวเคอร์เนลของ rollout และ trainer ทำให้ unclipped token-level importance sampling สามารถแก้ไข weight lag ที่เหลืออยู่ได้ ทำให้ฝึกได้อย่างเสถียรถึง 20,000 อัปเดตที่ policy lag 64 และได้ throughput ของ training-step เป็น 2.40 เท่าของการฝึกแบบ synchronous ด้วยเคอร์เนลที่จัดแนวแล้ว ด้วยเคอร์เนลมาตรฐาน ค่ามัธยฐาน rollout-to-learner KL เพิ่มขึ้น 83.33 เท่าตลอดการรัน และ online AIME24 pass@1 ลดลงจาก 34.27% เหลือ 13.96% ขณะที่ sequence gate ช่วยให้การฝึกเสถียรแต่ปฏิเสธ 24.48% ของ sequence ภายใน 1,000 อัปเดตสุดท้าย การตั้งค่า zero-mismatch ครอบคลุม DeepSeek-V4.1-Flash, Kimi K3.1 ในวันเปิดตัว และ DeepSeek-V4-Flash กับ Kimi K3.1 บน AMD MI355X โดยมีโค้ดอยู่ที่ Inferact/zero-mismatch-rl และ NVIDIA-NeMo/labs-molt

    ทำไมเรื่องนี้สำคัญ: NVIDIA Research และ Inferact แยกช่องว่างระหว่าง rollout-learner ของ async RL ออกเป็น weight lag และ kernel mismatch โดยแสดงให้เห็นว่าการจัดแนวเคอร์เนลทำให้ unclipped importance sampling รักษาการฝึกที่เสถียรที่ policy lag 64 ได้

  3. SemiAnalysis75

    SemiAnalysis ทดสอบประสิทธิภาพ Google TPUv7 Ironwood ด้าน agentic inference เทียบกับ GPU ของ NVIDIA

    SemiAnalysis เผยแพร่ผลลัพธ์ agentic inference แบบ long-context หลายรอบแรกบน InferenceX/AgentX สำหรับ Google TPUv7 Ironwood ครอบคลุมสี่โมเดล พบว่ามีความสามารถในการแข่งขันด้านประสิทธิภาพต่อดอลลาร์หรือเป็น state-of-the-art ในหลายกรณี บน GLM-5.2 ใน FP8 TPUv7 ให้ tokens ต่อดอลลาร์เป็น 1.2x ถึง 2.7x ของ B200, B300 และ MI355X ในช่วง 60 ถึง 300 tok/s/user ขณะที่ GPU แบบ FP4 ยังนำอยู่บน GLM-5.3 เนื่องจาก TPUv7 ไม่รองรับ FP4 แบบเนทีฟจนถึง TPUv8 ในไตรมาสที่ 1 ปี 2027 บทความยังโต้แย้งว่าระบบราชการของ NVIDIA ทำให้การมีส่วนร่วมด้านไดรเวอร์และระบบนิเวศช้ากว่า AMD และ Google

  4. Microsoft Research58

    PDD Kit ของ Microsoft Research พิสูจน์อย่างเป็นทางการสำหรับเว็บแอปฟูลสแตกที่เขียนโดยเอเจนต์

    Microsoft Research เปิดตัว PDD Kit ซึ่งเป็นต้นแบบงานวิจัยที่เปลี่ยนเจตนาในภาษาธรรมชาติของนักพัฒนาให้เป็นข้อกำหนดรูปแบบ Verus พิสูจน์ว่าโค้ด Rust ที่เอเจนต์เขียนขึ้นเป็นไปตามข้อกำหนดนั้นสำหรับทุกอินพุต และถอยกลับไปใช้การทดสอบในจุดที่การพิสูจน์ไปไม่ถึง ในการสาธิตภายใน Chopin ของ GitHub Next ทีมงานใช้ PDD Kit ตรวจสอบตรรกะการเข้าสู่ระบบของ Pet Store ซึ่งเป็นแอปฟูลสแตก Rust ขนาดประมาณ 5,000 บรรทัด โดยนักพัฒนาตรวจสอบเอกสารเจตนาแทนการตรวจโค้ดที่สร้างขึ้นทีละบรรทัด ปัจจุบัน PDD Kit ตรวจสอบได้เฉพาะ Rust และการรับประกันของมันขึ้นอยู่กับชิ้นส่วนที่เชื่อถือได้หกชิ้นซึ่งนักพัฒนาให้การรับรอง รวมถึงการตรวจสอบรหัสผ่านด้วย bcrypt และการค้นฐานข้อมูลสองครั้ง

5 พฤศจิกายนวันพฤหัสบดี
  1. Zyphra Research36

    ZYFA: เคอร์เนล FP8 Attention ที่รวดเร็วและแม่นยำบน AMD MI355X

    Zyphra Research เปิดตัว ZYFA เคอร์เนล causal prefill attention แบบ BF16 และ FP8 สำหรับ MI355X ของ AMD (CDNA4, gfx950) รองรับ head dimension 128 และรูปร่าง MLA ของ DeepSeek-V2 บนแอคติเวชันจาก Mistral-7B, Qwen3-8B และ DeepSeek-V2-Lite ที่ 16K โทเคน เคอร์เนล FP8 ของ ZYFA ทำ throughput ได้ 1.16–1.76× ของ AITER และบนอินพุตแบบเกาส์เซียนที่ 32K โทเคน ทำได้ 1.26–1.37× ที่ head dimension 128 และ 1.99× ที่รูปร่าง MLA ข้อผิดพลาดของ FP8 ต่ำกว่าของ AITER 62–78% ที่ head dimension 128

3 พฤศจิกายนวันอังคาร
  1. OpenAI Alignment Blog60

    OpenAI อธิบายรายละเอียดการฝึกตัวจำแนกประเภทแอ็กทิเวชันเพื่อความปลอดภัยและการจัดแนว

    OpenAI อธิบายถึงการฝึกตัวจำแนกประเภทแอ็กทิเวชันหรือโพรบที่อ่านแอ็กทิเวชันของสตรีมเรซิดิวอัลภายในของโมเดลเพื่อระบุการตอบกลับของผู้ช่วยที่ไม่ได้จัดแนวหรือละเมิดนโยบาย และระบุว่าได้นำไปใช้งานกับทราฟฟิกภายในและภายนอกของโมเดลที่ความสามารถสูงที่สุดเริ่มตั้งแต่ GPT-5.6 โพรบใช้สถาปัตยกรรม Attention probe ที่มี MLP ร่วมกับ QV-attention และค่าเฉลี่ยเคลื่อนที่แบบเอ็กซ์โพเนนเชียล ฝึกบนข้อความสูงสุด 1M ข้อความที่ติดป้ายโดยผู้ตัดสินที่เป็นโมเดลการให้เหตุผล และทำงานแบบสตรีมมิ่งบนเอนจินการอนุมานเพื่อให้สามารถบล็อกการตอบกลับได้กลางเทิร์น OpenAI รายงานว่าโพรบถ่ายโอนได้ดีเยี่ยมข้ามหลายขั้นตอนหลังการฝึก แต่ถ่ายโอนได้จำกัดกว่าข้ามเช็กพอยต์ก่อนการฝึก และกล่าวว่าโพรบโดยรวมมีความทนทานต่อการเจลเบรกมากกว่าตัวจำแนกประเภทตามเนื้อหาในการทดสอบเรดทีมของตน

    ทำไมเรื่องนี้สำคัญ: OpenAI อธิบายรายละเอียดว่าโพรบแอ็กทิเวชันบนแอ็กทิเวชันภายในของโมเดลทำหน้าที่เป็นชั้นความปลอดภัยแบบสตรีมมิ่งอย่างไร รวมถึงข้อจำกัดในการถ่ายโอนข้ามเช็กพอยต์และความจำเป็นในการฝึกใหม่

2 พฤศจิกายนวันจันทร์
  1. Zyphra Research58

    Zyphra 推出 ZHA 分层注意力，一种具有次二次路由的稀疏方法

    Zyphra 推出了 Zyphra Hierarchical Attention（ZHA），一种稀疏注意力方法，它构建压缩 KV-cache 摘要的树，并自上而下地通过该树路由查询，在合适的 top-p 阈值下实现次二次复杂度。现有的预训练模型可以通过仅使用数十亿 token 的简短 KL 蒸馏阶段进行适配；在 Qwen3.6-35B-A3B 上，ZHA 增加了 81,920 个可训练参数，约占基础模型的 0.00024%。在 256K token 的 RULER-13 上，宽树模型得分为 96.2%，而密集注意力为 96.0%；深六层树在 LongBench v2 上得分为 63.4%，而密集注意力为 58.0%，同时仅关注约 1.1% 的 KV 缓存；一个 GPU roofline 模型预测在 10M token 时比密集注意力快 32-35 倍。

  2. SemiAnalysis58

    SemiAnalysis เปิดตัว GDPx benchmark สำหรับความสามารถของ agentic frontier ในโดเมนมูลค่าสูง

    SemiAnalysis เปิดตัว GDPx ซึ่งเป็น benchmark ที่ครอบคลุมการออกแบบชิป ความปลอดภัยไซเบอร์ ชีววิทยา การเงิน กฎหมาย การซื้อขายเชิงปริมาณ RSI การออกแบบฮาร์ดแวร์ วัสดุศาสตร์ alignment และวิศวกรรมซอฟต์แวร์ สร้างขึ้นร่วมกับพันธมิตรด้านสภาพแวดล้อม RL เฉพาะทาง 14 ราย แม้แต่โมเดลที่ดีที่สุดก็ได้คะแนนเพียง 12% โดย Opus 5.5 ชนะด้านการซื้อขายเชิงปริมาณ ฮาร์ดแวร์ และการออกแบบชิป Gemini 4 Carbon นำในด้านชีววิทยาและวิศวกรรมซอฟต์แวร์ และ GPT-6 Astra เป็นผู้นำในด้าน RSI และวัสดุศาสตร์ ทุกงานรันในสภาพแวดล้อมจำลองที่สมจริง เช่น ห้องดีล private equity ที่มีไฟล์ประมาณ 4,000 ไฟล์ หรือ cyber range แบบหลายบริการที่ใช้งานจริง ต่างจาก GDPval ของ OpenAI ซึ่ง SemiAnalysis โต้แย้งว่าป้อนบริบทให้เกินไปและขาดสภาพแวดล้อม

  3. Anthropic Research70

    Anthropic เปิดตัว FlashProve ระบบ zkSNARK โอเพนซอร์สสำหรับพิสูจน์การอนุมานของ LLM

    Anthropic เปิดตัว FlashProve ต้นแบบโอเพนซอร์สที่ใช้ zkSNARK เพื่อพิสูจน์ว่าคำตอบมาจากโมเดลที่ผูกพันไว้โดยไม่เปิดเผยน้ำหนักของโมเดล บน Llama 4 Maverick (MoE ขนาด 400B พารามิเตอร์ น้ำหนัก 4-bit) H100 หนึ่งตัวสร้าง proof ได้ประมาณ 110 โทเค็น/วินาที โดยมี proof ขนาด ~19 MB ต่อคำขอ 1,024 โทเค็น คิดเป็นเวลาประมวลผลบน GPU ประมาณ 70-95 เท่าของที่ vLLM ต้องใช้สำหรับงานเดียวกัน การเปิดตัวนี้รวมโค้ด prover และ verifier ที่รันได้, verifier แบบ C++ ที่เร็ว, verifier แบบ Lean พร้อมข้อความ completeness, soundness และ zero-knowledge ที่ตรวจสอบด้วยเครื่อง และรายงานทางเทคนิค ทั้งหมดภายใต้ Apache 2.0

    ทำไมเรื่องนี้สำคัญ: FlashProve ของ Anthropic แสดงให้เห็นว่า proof ของการอนุมานที่อิง zkSNARK กำลังเป็นไปได้จริงสำหรับโมเดล MoE ขนาด 400B พารามิเตอร์ พร้อมโค้ดเปิดและข้อกล่าวอ้างด้านความปลอดภัยที่ตรวจสอบด้วย Lean

30 ตุลาคมวันศุกร์
  1. Amazon Science38

    เร่งความเร็ว LLM สำหรับแอปพลิเคชันท่องเที่ยว: Medusa ผสาน knowledge distillation

    การผสาน knowledge distillation เข้ากับเฟรมเวิร์ก Medusa ช่วยให้นักเรียน TinyLlama ขนาด 1.1B พารามิเตอร์มีคุณภาพทัดเทียมกับครู Llama-3.1 ขนาด 70B พารามิเตอร์ ขณะที่ทำงานเร็วขึ้น 10 ถึง 20 เท่าในต้นทุนต่ำกว่าหนึ่งในสาม การทำงานร่วมกับ Booking.com ใน AI Trip Planner, Smart Filters และการสร้างคำอธิบายที่พัก ไปป์ไลน์นี้ปิดช่องว่างคุณภาพได้กว่า 90% และเพิ่มความเร็วได้อีก 2 ถึง 3.6 เท่าจาก Medusa heads

  2. Meta Engineering Blog58

    Meta เผยรายละเอียดการนำ Catching JiTTests ขึ้นใช้งานจริงในระบบโปรดักชัน พร้อมการตรวจทานโดยมนุษย์ในวงจร

    Meta ได้ย้าย Catching JiTTests ซึ่งเป็นแนวทางการสร้างชุดทดสอบแบบทันที (just-in-time) ด้วย LLM ของบริษัท จากต้นแบบงานวิจัยสู่โครงสร้างพื้นฐานโปรดักชัน และเผยแพร่ผลลัพธ์ในบทความ FSE 2026 เรื่อง "Just-in-Time Catching Test Generation at Meta" ระบบนี้ทำงานข้ามคืนโดยใช้กำลังประมวลผลสำรอง มุ่งเป้าที่ diff ที่มีความเสี่ยง สร้างชุดทดสอบผ่านเวิร์กโฟลว์ dodgy-diff และ intent-aware และกรองผลบวกลวงด้วยชุด LLM-as-Judge และตัวประเมิน RubFake แบบอิงกฎ ก่อนส่งถึงวิศวกร ณ เวลาที่เขียน มีวิศวกร 589 คน (64% ของผู้ที่ติดต่อ) มีส่วนร่วมกับผลลัพธ์ ซึ่งแสดงอัตราผลบวกจริง 60% และในครึ่งแรกของปี 2026 ระบบตรวจพบบั๊กความเป็นส่วนตัวร้ายแรง 74 รายการในขั้นตอน diff และลด privacy SEV ลง 20%

13 ตุลาคมวันอังคาร
  1. Modal Blog58

    Modal ทดสอบ RL sampler แบบ mixed-precision และ mixed-accelerator บน Qwen3.6-35B-A3B

    Modal เทรน Qwen3.6-35B-A3B ด้าน agentic coding โดยกระจาย sampler ไปยัง accelerator หกประเภท (B200, B300, H100, H200, A100, RTX PRO 6000) ที่ความแม่นยำ NVFP4, FP8 และ BF16 ป้อนเข้า trainer แบบ BF16 หนึ่งตัวบน B200 GRPO แบบธรรมดาล้มเหลวทั้งบน sampler แบบผสมและแบบ homogeneous แต่เมื่อเพิ่ม masked importance sampling พร้อม score centering ไม่ว่าจะมีหรือไม่มี top-p mask replay ก็เทรนได้เสถียรจนจบและไปถึง SWE-bench Pro V2 pass@4 เทียบเท่า sampler แบบ homogeneous โดยมีต้นทุน sampler ต่อการอัปเดตต่ำลงราว 15% sampler แบบผสมทำงานด้วยค่า KL เฉลี่ยระหว่าง sampler กับ trainer สูงเป็น 4.7 เท่าของการตั้งค่าแบบ homogeneous และผู้เขียนโต้ว่าเสถียรภาพขึ้นอยู่กับการรักษาความคลาดเคลื่อนให้มีขอบเขตจำกัด มากกว่าการทำให้ต่ำ

  2. Amazon Science75

    นักวิจัยของ Amazon Web Services เสนอวิธีการ priming เพื่อแปลง Transformer ที่ผ่านการฝึกมาแล้วให้เป็นโมเดลแบบ hybrid state space โดยไม่ต้องฝึกใหม่ทั้งหมด

    นักวิจัยของ Amazon Web Services นำเสนอ priming ซึ่งเป็นวิธีการที่นำน้ำหนักของ Transformer ที่ผ่านการฝึกมาแล้วกลับมาใช้ เพื่อลดต้นทุนการฝึกโมเดลสถาปัตยกรรมแบบ hybrid state space ก่อนการใช้งานลงได้มากกว่า 99% โดยใช้โควต้าโทเคนสำหรับการฝึกของโมเดลต้นทางน้อยกว่า 0.5% ในการเปรียบเทียบแบบควบคุม Gated KalmaNet มีประสิทธิภาพเหนือกว่า Gated DeltaNet และ Mamba-2 และโมเดล hybrid ขนาด 32B ที่ใช้ GKA มีผลลัพธ์เทียบเท่า Transformer ต้นทางบนเกณฑ์วัดด้านการให้เหตุผล ขณะที่ถอดรหัสได้เร็วขึ้นถึงสองเท่าเมื่อมีบริบท 128,000 โทเคน ทีมงานได้เผยแพร่โมเดล hybrid ที่ผ่านการ priming ขนาด 8B และ 32B โค้ดสำหรับการฝึก เคอร์เนล Triton และปลั๊กอินสำหรับให้บริการผ่าน vLLM ภายใต้สัญญาอนุญาต Apache 2.0

    ทำไมเรื่องนี้สำคัญ: นักวิจัยของ Amazon Web Services แสดงให้เห็นว่าการนำน้ำหนักของ Transformer ที่ผ่านการฝึกมาแล้วกลับมาใช้สามารถลดต้นทุนการฝึกสถาปัตยกรรมแบบ hybrid ได้มากกว่า 99% ทำให้การเปรียบเทียบชั้น state space แบบควบคุมเป็นเรื่องที่ทำได้จริง

8 ตุลาคมวันพฤหัสบดี
  1. Zyphra Research36

    Zyphra Research: การจับคู่ผู้เชี่ยวชาญช่วยลดการสื่อสารในการฝึกโมเดล MoE ล่วงหน้า

    Zyphra Research แสดงให้เห็นว่าเส้นทางการเลือกผู้เชี่ยวชาญของ MoE มีโครงสร้างชัดเจน โดยผู้เชี่ยวชาญที่ถูกเลือกพร้อมกันมีความสัมพันธ์กันภายในเลเยอร์เดียวกัน และการเลือกผู้เชี่ยวชาญของโทเคนหนึ่งสามารถทำนายเส้นทางการเลือกในเลเยอร์ถัดไปได้ การใช้ประโยชน์จากสิ่งนี้ผ่านการจัดวางผู้เชี่ยวชาญที่สัมพันธ์กันและการสลับโทเคนช่วยลดเวลาการสื่อสารแบบ all-to-all ได้สูงสุดถึง 2.63 เท่า และปรับปรุงเวลาต่อขั้นตอนการฝึกแบบ end-to-end ได้สูงสุดถึง 1.41 เท่าในการทดลองกับ Megatron-LM บน GPU MI300X โดยไม่เปลี่ยนสถาปัตยกรรมหรือการตัดสินใจเลือกเส้นทาง

  2. Goodfire Research71

    Goodfire ฝึกและติดตั้งตัวตรวจสอบการใช้งานไซเบอร์ในทางที่ผิดแบบอิงโพรบบน Kimi K3 และ GLM 5.3

    3 และติดตั้งบนสแตกการอนุมานสำหรับใช้งานจริง โดยโพรบราคาถูกกรองเทิร์น และเฉพาะบทสนทนาที่น่าสงสัยเท่านั้นที่ส่งถึงผู้ตัดสิน LLM อัตราการขัดจังหวะเซสชันปกติ 5% ต้นทุน 65 ดอลลาร์ต่อล้านเทิร์นโดยไม่มีการให้เหตุผลของผู้ตัดสิน และ 185 ดอลลาร์เมื่อรวมการให้เหตุผล และไม่มีการสูญเสียทรูพุตที่วัดได้ภายใน SGLang

    ทำไมเรื่องนี้สำคัญ: Goodfire แสดงให้เห็นว่าลำดับชั้นโพรบบวกผู้ตัดสินสามารถตรวจสอบการใช้งานไซเบอร์ในทางที่ผิดของเอเจนต์ได้ในต้นทุนต่ำลงราว 50 เท่า โดยไม่มีการสูญเสียทรูพุตที่วัดได้ ซึ่งเป็นสูตรสำเร็จที่เป็นรูปธรรมสำหรับการให้บริการโมเดลเปิดอย่างปลอดภัย

1 กันยายนวันอังคาร
  1. Zyphra Research48

    Zyphra เปิดตัว PUFFER ระบบกำจัดข้อมูลซ้ำแบบคลุมเครือเชิงส่วนเพิ่มสำหรับคลังข้อมูลฝึกที่เปลี่ยนแปลงอยู่ตลอด

    Zyphra เปิดตัว PUFFER ระบบกำจัดข้อมูลซ้ำแบบคลุมเครือเชิงส่วนเพิ่มที่ตระหนักถึงแหล่งที่มาแบบโอเพนซอร์ส สำหรับคลังข้อมูลฝึก LLM ที่เติบโตอย่างต่อเนื่อง ภายใต้สัญญาอนุญาต Apache 2.0 โดยให้ความเร็วเพิ่มขึ้น 11x-35x เมื่อเทียบกับวิธีการกำจัดข้อมูลซ้ำบน CPU ที่มีอยู่ และสามารถนำเข้าหนึ่งพันล้านเอกสารได้ใน 1.75 ชั่วโมงบนโปรเซสเดียว พร้อมการใช้งานจริงกับเอกสารมากกว่า 30 พันล้านฉบับ PUFFER เก็บประวัติ MinHash-LSH ที่พักอยู่บนดิสก์ เพื่อให้สามารถเพิ่มชุดข้อมูลใหม่ กู้คืนงานที่ถูกขัดจังหวะได้อย่างแน่นอน และถอนชุดข้อมูลแต่ละชุดออกได้โดยไม่ต้องสร้างดัชนีคลังข้อมูลทั้งหมดใหม่

29 กรกฎาคมวันพุธ
  1. Berkeley AI Research58

    จาก CUDA สู่ MLX: K-Search นำความเชี่ยวชาญด้านการปรับแต่งเคอร์เนลมาสู่ Apple Silicon

    IBM Research ได้ขยาย K-Search ซึ่งเป็นเฟรมเวิร์กการค้นหาเคอร์เนลเชิงวิวัฒนาการจาก UC Berkeley Sky Lab ด้วยแบ็กเอนด์ MLX และชั้นการแปล CUDA-to-MLX แบบมีโครงสร้างที่ปรับเคอร์เนล CUDA ที่มีอยู่ให้เป็นเคอร์เนลสำหรับ Apple Silicon บนเคอร์เนล attention ของ MLX วิธีนี้ทำความเร็วได้ 0.97 เท่าของความเร็วเคอร์เนล MLX Attention แบบเนทีฟของ Apple เพิ่มขึ้นจาก 0.26 เท่าเมื่อไม่มีบริบทการแปล และเคอร์เนล Mamba SSM ที่ผ่านวิวัฒนาการทำความเร็ว prefill ได้สูงสุดถึง 20 เท่าเมื่อเทียบกับการใช้งาน mlx-lm ของชุมชนบน M1 Max ผู้เขียนระบุว่าผลที่ได้ส่วนใหญ่มาจากคุณภาพของบริบทและข้อจำกัดที่ให้แก่ LLM มากกว่าความสามารถในการเขียนโค้ด Metal และกล่าวว่าวิธีนี้ไม่ได้จำเพาะเจาะจงกับ MLX

1 กรกฎาคมวันพุธ
  1. Modal Blog58

    Modal Research และ MRP ของ HeavyBall นำการทำนายหลายโทเคนมาสู่ diffusion LM

    Modal Research และ HeavyBall Research จาก NYU Shanghai แนะนำ Multi-token Residual Prediction (MRP) ซึ่งเป็นโมดูล 3 ชั้นที่ติดตั้งบน backbone ของ diffusion LM ที่ถูก freeze ไว้ โดยทำนาย logit residual ระหว่างขั้นแทนการทำนายการแจกแจงของขั้นถัดไปแบบเต็ม บน SDAR-4B GSM8K นั้น MRP รักษาความแม่นยำไว้ที่ 70.9% ที่ K=3 เทียบกับ 5.9% ของ naive MTP distillation และใน SGLang ทำ throughput ได้สูงสุดถึง 1.56 เท่าโดยไม่สูญเสียความแม่นยำในโหมด speculative หรือกู้คืนความแม่นยำได้ถึง +16 จุดภายใต้ aggressive low-threshold dynamic decoding เปิดตัว paper, code, SGLang implementation และโมเดล SDAR-MRP บน Hugging Face แล้ว

20 เมษายนวันจันทร์
  1. Berkeley AI Research38

    GRASP: การวางแผนแบบไล่ระดับสำหรับโมเดลโลกในระยะยาว

    GRASP เป็นนักวางแผนแบบไล่ระดับใหม่สำหรับโมเดลโลกที่เรียนรู้ได้ ซึ่งทำให้การวางแผนระยะยาวเป็นเรื่องปฏิบัติได้จริงโดยการยกเส้นทางการเคลื่อนที่ขึ้นเป็นสถานะเสมือนเพื่อการปรับให้เหมาะสมแบบขนานในเวลา เพิ่มความสุ่มให้กับการวนซ้ำของสถานะเพื่อการสำรวจ และปรับรูปร่างของไล่ระดับเพื่อให้การกระทำได้รับสัญญาณที่ชัดเจนพร้อมทั้งหลีกเลี่ยงไล่ระดับสถานะ-อินพุตที่เปราะบางผ่านโมเดลการมองเห็นมิติสูง งานนี้จัดการกับกราฟการคำนวณที่มีสภาพไม่ดี จุดต่ำสุดเฉพาะที่แบบไม่โลภ และโหมดความล้มเหลวแฝงมิติสูงที่ทำให้การวางแผนระยะยาวเปราะบาง งานนี้ทำร่วมกับ Mike Rabbat, Aditi Krishnapriyan, Yann LeCun และ Amir Bar