ข้ามไปที่เนื้อหา
เฉพาะ จากต้นทาง#ระบบนิเวศโอเพนซอร์ส
  1. AWS Machine Learning Blog66

    AWS อัปเดต AgentCore runtime เริ่มเซสชันเร็วขึ้น 15 เท่า และเพิ่มคอมพิวต์ 4 เท่า

    AWS ประกาศอัปเดต Amazon Bedrock AgentCore runtime ซึ่งเป็นเลเยอร์คอมพิวต์แบบจัดการสำหรับเอเจนต์ โดยเซสชันเริ่มทำงานเร็วขึ้นถึง 15 เท่า ขยายคอมพิวต์ได้มากขึ้น 4 เท่า (สูงสุด 8 vCPU และ 32 GB พร้อมอิมเมจคอนเทนเนอร์สูงสุด 10 GB) และทำงานมีประสิทธิภาพมากขึ้นถึง 68% โดยแต่ละเซสชันยังคงอยู่ใน Firecracker MicroVM ที่แยกฮาร์ดแวร์ของตัวเอง เซสชันเริ่มทำงานภายในไม่ถึง 2 วินาทีไม่ว่าจะมีขนาดอิมเมจหรือจำนวนคอนเคอร์เรนซีเท่าใด เอเจนต์ที่ไม่ได้ใช้งานจะสเกลลงเหลือศูนย์ และเอเจนต์สามารถเมานต์และบันทึกงานลงในไฟล์ซิสเต็ม เช่น บัคเก็ต Amazon S3 ที่รองรับ FUSE เพื่อให้ข้อมูลยังคงอยู่ในขอบเขตความเชื่อถือ runtime นี้พร้อมใช้งานแล้ววันนี้ในภูมิภาค AWS ทั่วอเมริกาเหนือ อเมริกาใต้ ยุโรป และเอเชียแปซิฟิก

    ทำไมเรื่องนี้สำคัญ: เวอร์ชันใหม่ของ AgentCore runtime ปรับทั้งการเริ่มเซสชัน เพดานคอมพิวต์ และการคิดค่าหน่วยความจำไปพร้อมกัน มอบทางเลือกระหว่างการแยกสภาพแวดล้อมกับต้นทุนใหม่ให้กับเอเจนต์ที่ต้องทำงานเป็นเวลานาน

  1. vLLM Blog64

    vLLM-Omni ทดสอบ MiniMax H3-Image บน Vera Rubin: สร้างภาพ 4K ใน 0.87 วินาที และ 6,115 ภาพต่อชั่วโมง

    vLLM-Omni นำ MiniMax H3-Image มาทำงานบน NVIDIA Vera Rubin และวัดเวลาแฝงมัธยฐานได้ 0.87 วินาทีสำหรับการสร้างภาพจากข้อความเป็น 4096×4096 แบบเนทีฟบนสี่ GPU พร้อมด้วย 6,115 ภาพต่อชั่วโมงในการกำหนดค่าด้านทรูพุตแยกต่างหาก H3-Image เป็นโมเดลสร้างและแก้ไขภาพจากข้อความแบบเปิดน้ำหนัก ที่จับคู่เอนโคเดอร์ Qwen3-VL กับ DiT แบบ dense 33.1B และ VAE สำหรับภาพ จัดการทั้งสองงานในหกขั้นตอนการสุ่มตัวอย่างด้วยภาพอ้างอิงสูงสุด 16 ภาพ ทีมรายงานว่าใช้ MXFP8 DiT GEMMs, Ulysses SP4, AdaLN caching และการเปลี่ยนแปลงการถอดรหัส VAE ที่ลดเวลาการถอดรหัสจาก 2.635 วินาทีเหลือ 0.213 วินาที พร้อมระบุสูตรการตั้งค่าสำหรับฮาร์ดแวร์ AMD, Intel, Huawei Ascend และ Moore Threads

    ทำไมเรื่องนี้สำคัญ: การทดสอบของ vLLM-Omni แสดงให้เห็น MiniMax H3-Image ทำงานบน Vera Rubin ด้วยเวลาแฝง 4K ต่ำกว่าหนึ่งวินาที พร้อมการกำหนดค่าต่อฮาร์ดแวร์และแบบจำลองต้นทุนสำหรับเศรษฐศาสตร์ของการให้บริการ

  2. vLLM Blog60

    vLLM เพิ่มการรองรับ day-0 สำหรับ Inkling 2 Small ของ Thinking Machines

    vLLM รองรับ Inkling 2 Small ของ Thinking Machines ใน day 0 ซึ่งเป็น MoE แบบมัลติโหมดข้อความและภาพที่มีพารามิเตอร์รวม 594B และพารามิเตอร์ที่ใช้งาน 17B และมีบริบทสูงสุด 1M โทเค็น การผสานรวมนี้เพิ่ม kernel fusion กับ PDL, sequence parallelism สำหรับ prefill ที่ลดขั้นตอน prefill 8K โทเค็นลง 22% ที่ TP4 และ 26% ที่ TP8 และ Gluon relative attention decode kernel ที่ลดขั้นตอน decode แบบ batch-1 ที่บริบท 100K จาก 15.1 ms เหลือ 4.8 ms vLLM รายงานสูงสุด 630 TPS/user ที่ TP4 บน GB200 ด้วย acceptance length 3.5 และยังรองรับ LoRA และ RL ผ่าน SkyRL

    ทำไมเรื่องนี้สำคัญ: vLLM รองรับ Inkling 2 Small ในวันเปิดตัวพร้อมให้ข้อมูลการปรับแต่งที่เฉพาะเจาะจงของ kernel fusion, sequence parallelism และ Gluon decode kernel ซึ่งเป็นประโยชน์ต่อทีมที่ปรับใช้โมเดล MoE ขนาดใหญ่

  1. NVIDIA Blog60

    NVIDIA มอบ OpenShell Agent Runtime ให้ CNCF และเพิ่มเครื่องมือ DSX Kubernetes

    NVIDIA กำลังมอบ OpenShell ซึ่งเป็นรันไทม์โอเพนซอร์สสำหรับการรักษาความปลอดภัยและการกำกับดูแลเอเจนต์อัตโนมัติ ให้แก่ Cloud Native Computing Foundation ในฐานะโครงการ Sandbox และยังมีส่วนร่วมใน Agent Substrate ที่นำโดย Google NVIDIA ประกาศองค์ประกอบใหม่สามส่วนของ DSX AI Factory Platform ได้แก่ NVIDIA Kubernetes Engine และ NVIDIA Kubernetes Recipes ซึ่งขณะนี้อยู่ในตัวอย่างสาธารณะ และ NVIDIA Snapshot ซึ่งกู้คืนรีพลิกาที่บันทึกจุดตรวจในไม่กี่วินาทีโดยไม่ต้องโหลดโมเดลใหม่หรือวอร์มอัพ Crusoe ทดสอบ GLM-5.3 บน Crusoe Cloud และลดเวลาพร้อมใช้งานของเวิร์กโหลดจากประมาณแปดนาทีเหลือ 31 วินาที ขณะที่ Saturn Cloud ลดเวลาสตาร์ท vLLM จากระหว่างสองถึง 8.5 นาทีเหลือหกนาที 34 วินาที

    ทำไมเรื่องนี้สำคัญ: NVIDIA มอบ OpenShell รันไทม์ความปลอดภัยของเอเจนต์ให้ CNCF และเพิ่มเครื่องมือ Kubernetes สำหรับ GPU AI factories โดยผลลัพธ์เบื้องต้นของ Snapshot ลดเวลาสตาร์ทการอนุมานจากนาทีเหลือวินาที

  1. Goodfire Research62

    Goodfire ศึกษาเซลล์ประสาทของ Qwen3.6-35B-A3B ในฐานะพื้นฐานที่ตีความได้

    Goodfire Research เผยแพร่งานศึกษาที่โต้แย้งว่าเซลล์ประสาท MLP แต่ละตัวใน Qwen3.6-35B-A3B สามารถตีความได้มากกว่าที่เคยคิด โดยอิงจากการทำให้เบาบาง เครื่องมือระบุที่มา และเอเจนต์วิจัย การตัดการทำงานของแอกทิเวชันเซลล์ประสาท MoE ที่อ่อนที่สุด 92.2% ต่อการส่งผ่านไปข้างหน้าหนึ่งครั้ง ทำให้ loss ของโมเดลภาษาสูงขึ้นเพียง 2.9% และ 69% ของขั้วเซลล์ประสาทมีโหมดเดียวที่รับผิดชอบต่อผลเชิงสาเหตุอย่างน้อย 90% คำอธิบายเซลล์ประสาทด้วยภาษาธรรมชาติทำให้โมเดลผู้ตัดสินสามารถทำนายการทำงานได้ด้วยความแม่นยำ 95% เทียบกับข้อความสุ่ม และฟื้นคืนความเสียหายจากการตัดการทำงานได้ 73% ผ่านการจำลอง

    ทำไมเรื่องนี้สำคัญ: งานศึกษาของ Goodfire เกี่ยวกับเซลล์ประสาทของ Qwen3.6-35B-A3B โต้แย้งว่าแอกทิเวชันที่แข็งแกร่งเพียงลำพังแบกการคำนวณส่วนใหญ่ของโมเดลไว้ พร้อมเสนอทางเลือกที่เป็นรูปธรรมต่อการตีความแบบ feature-dictionary

  1. OpenClaw Blog69

    OpenClaw เปิดตัว Multiplayer สำหรับเอเจนต์และบริบทที่แชร์ร่วมกัน

    OpenClaw ได้เปิดตัว Multiplayer ซึ่งเป็นฟีเจอร์ฟรีและโอเพนซอร์สที่ให้หลายคนเชื่อมต่อกับเอเจนต์และเวิร์กสเปซ OpenClaw เดียวกันได้ โดยพรอมป์จะปรากฏแบบเรียลไทม์บนแล็ปท็อปหลายเครื่อง และคำขอต่างๆ จะถูกประสานงานผ่านคิวที่แชร์ร่วมกัน ในการสาธิตที่งาน GitHub Universe ในซานฟรานซิสโก ผู้เข้าร่วมสองคนแก้ไขฉาก 3D เดียวกันโดยพิมพ์พรอมป์บนเครื่องแยกกันโดยไม่ต้องระบุบริบทซ้ำ OpenClaw Foundation กล่าวว่ามีผู้คนกว่า 50 คนร่วมมือกันในสภาพแวดล้อมที่แชร์ร่วมกันเดียวกัน และกำลังขยายฟีเจอร์นี้อย่างต่อเนื่อง

    ทำไมเรื่องนี้สำคัญ: OpenClaw ทำให้การแชร์เอเจนต์และบริบทเดียวกันamongหลายคนเป็นฟีเจอร์ฟรีและโอเพนซอร์ส ซึ่งเสนอแนวทางที่สามารถนำไปปรับใช้ได้สำหรับปัญหาการสร้างบริบทซ้ำแล้วซ้ำเล่าในการทำงานร่วมกันเป็นทีม

  1. vLLM Blog73

    Buoyant 发布 Kinference，一个面向 vLLM 和 Kubernetes 的开源推理控制平面

    Buoyant 宣布推出 Kinference，这是一个采用 Apache v2 许可证的开源控制平面，可将兼容 OpenAI 和 Anthropic 的推理流量路由到 Kubernetes 上的 vLLM 工作节点，并新增令牌速率限制、按租户的使用量与成本跟踪、KV 缓存感知负载均衡以及 YAML 推理策略。在该项目的公开基准测试中，与标准 Kubernetes 服务负载均衡相比，Kinference 在某一工作负载上将首令牌时间中位数缩短了 95%，端到端延迟中位数降低了 45%；在容量测试中，共享前缀场景下的有效吞吐量达到 7.4 倍，多轮对话场景下约为 3.5 倍。策略可将较简单的提示词路由到更便宜的模型，将突发溢出流量发送到 Bedrock 和 Databricks 等提供商，或将带有 PII 标记的请求保留在集群内；按租户的指标涵盖令牌速率、TTFT、ITL 以及缓存与未缓存的提示词令牌。

    ทำไมเรื่องนี้สำคัญ: Buoyant 的 Kinference 在 vLLM 之上增加了 KV 缓存感知负载均衡和 YAML 推理策略，基准测试声称其 TTFT 和有效吞吐量相较标准 Kubernetes 服务路由有大幅提升。

  1. Anthropic Newsroom71

    Anthropic บริจาคมาตรฐาน Agent Skills ให้แก่ Agentic AI Foundation

    Anthropic บริจาค Agent Skills ซึ่งเป็นมาตรฐานเปิดสำหรับมอบความรู้และเวิร์กโฟลว์เฉพาะทางให้แก่ AI agents ให้แก่ Agentic AI Foundation (AAIF) ภายใต้ Linux Foundation นับตั้งแต่เผยแพร่ในเดือนธันวาคม 2025 มีแพลตฟอร์ม agent มากกว่า 70 แห่งรวมถึง ChatGPT, Cursor, GitHub Copilot และ VS Code ได้ผสานรวมมาตรฐานนี้แล้ว โดยมี skills ที่เผยแพร่ 1 ล้านรายการและติดตั้งเกือบ 280 ล้านครั้ง การบริจาคครอบคลุมชื่อและโลโก้ Agent Skills, องค์กร GitHub และโดเมน agentskills.io โดยมีวิศวกรจาก Anthropic, Google, OpenAI และบริษัทอื่นๆ ดูแลในฐานะบุคคลภายใต้ Lead Maintainers David Soria Parra และ Mahesh Murag

    ทำไมเรื่องนี้สำคัญ: Anthropic มอบมาตรฐาน Agent Skills ให้แก่ AAIF ของ Linux Foundation ซึ่งเป็นบ้านกลางแห่งเดียวกับ MCP ทำให้ชุมชนมีเสียงอย่างเป็นทางการต่อ roadmap ของข้อกำหนดนี้

  1. Meta AI Research Blog88

    Meta เปิดตัว Muse Spark Open โมเดลมัลติโมดัลน้ำหนักเปิดขนาด 816B ที่รันบน Mac Studio สองเครื่อง

    Meta เปิดตัวน้ำหนักของ Muse Spark Open โมเดลมัลติโมดัลแบบเนทีฟน้ำหนักเปิดที่มีพารามิเตอร์รวม 816B (ใช้งานจริง 42B) และหน้าต่างบริบท 1M โทเคน วางตำแหน่งสำหรับงานเขียนโค้ดและงานเอเจนติก เป็นโมเดลแรกในคลาสเดียวกันที่รันบนเดสก์ท็อปด้วย Apple M5 Ultra Mac Studio สองเครื่องผ่านเฟรมเวิร์ก MLX และพร้อมใช้งานผ่านพาร์ตเนอร์ API ได้แก่ Baseten, Fireworks AI, Groq, Modal, Nebius, OpenRouter และ Together AI โดยมีน้ำหนักอยู่บน Hugging Face, Amazon SageMaker AI, Google Cloud Model Garden และ Microsoft Foundry Models Meta ระบุว่าโมเดลนี้มาพร้อมเคอร์เนล GPU Helion ที่ปรับแต่งอัตโนมัติได้ใน SGLang ให้ความเร็วระดับเคอร์เนลเพิ่มขึ้น 1.03-3.95 เท่าบน GPU NVIDIA และ AMD และเร็วขึ้นแบบ end-to-end 3% บน AMD MI350

    ทำไมเรื่องนี้สำคัญ: Meta เปิดน้ำหนักโมเดลมัลติโมดัลขนาด 816B พารามิเตอร์ที่รันบน Mac Studio สองเครื่อง มอบทางเลือกแบบโลคอลให้นักพัฒนาสำหรับงานเขียนโค้ดระยะยาวและงานเอเจนติก

  1. Goodfire Research71

    Goodfire ฝึกและติดตั้งตัวตรวจสอบการใช้งานไซเบอร์ในทางที่ผิดแบบอิงโพรบบน Kimi K3 และ GLM 5.3

    3 และติดตั้งบนสแตกการอนุมานสำหรับใช้งานจริง โดยโพรบราคาถูกกรองเทิร์น และเฉพาะบทสนทนาที่น่าสงสัยเท่านั้นที่ส่งถึงผู้ตัดสิน LLM อัตราการขัดจังหวะเซสชันปกติ 5% ต้นทุน 65 ดอลลาร์ต่อล้านเทิร์นโดยไม่มีการให้เหตุผลของผู้ตัดสิน และ 185 ดอลลาร์เมื่อรวมการให้เหตุผล และไม่มีการสูญเสียทรูพุตที่วัดได้ภายใน SGLang

    ทำไมเรื่องนี้สำคัญ: Goodfire แสดงให้เห็นว่าลำดับชั้นโพรบบวกผู้ตัดสินสามารถตรวจสอบการใช้งานไซเบอร์ในทางที่ผิดของเอเจนต์ได้ในต้นทุนต่ำลงราว 50 เท่า โดยไม่มีการสูญเสียทรูพุตที่วัดได้ ซึ่งเป็นสูตรสำเร็จที่เป็นรูปธรรมสำหรับการให้บริการโมเดลเปิดอย่างปลอดภัย

  1. OpenClaw Blog74

    Microsoft Autopilot สร้างบน OpenClaw โดยมีการสนับสนุนจากทั้งสองฝ่าย

    Microsoft เปิดตัว Autopilot ซึ่งเป็นเอเจนต์ส่วนบุคคลแบบต่อเนื่องที่สร้างบน OpenClaw โดยเป็นส่วนหนึ่งของประสบการณ์ Copilot ใหม่ โดยจะขยายการพรีวิวแบบส่วนตัวให้กับลูกค้ากลุ่มแรกภายในสิ้นเดือนนี้ Autopilot เป็นชื่อใหม่ของ Microsoft Scout ที่ประกาศไปเมื่อต้นปีนี้ และทีมของ Omar Shahine กล่าวว่ากำลังร่วมงานกับ OpenClaw และ OpenClaw Foundation เพื่อพัฒนา runtime ระดับองค์กร OpenClaw เน้นย้ำถึงการสนับสนุนจากวิศวกรของ Microsoft ที่ส่งต่อไปยังต้นน้ำ รวมถึงการตรวจสอบความสอดคล้องตามนโยบาย คอมแพเนียนสำหรับ Windows แบบเนทีฟ และการแก้ไขความเสถียรสำหรับงานเบื้องหลัง การรีสตาร์ท และการตอบกลับซ้ำ

    ทำไมเรื่องนี้สำคัญ: Autopilot ของ Microsoft สร้างบน OpenClaw และการสนับสนุนต้นน้ำที่ระบุไว้ที่นี่แสดงให้เห็นว่า runtime ของเอเจนต์ที่ใช้ร่วมกันพัฒนาขึ้นอย่างไรในแต่ละแพลตฟอร์ม

  1. OpenClaw Blog60

    OpenClaw เพิ่มโมเดลการตัดสินใจแบบเลือกใช้ได้และอินเทอร์เฟซ Plugin SDK ที่ใช้ร่วมกัน

    OpenClaw ได้เพิ่มการรองรับโมเดลการตัดสินใจที่กำหนดค่าแยกต่างหาก ซึ่งแกนหลักและปลั๊กอินสามารถเรียกใช้ผ่าน api.runtime.decisions.evaluate ใน Plugin SDK โดยคืนค่าการเลือก คะแนน หรือความน่าจะเป็นแทนการตอบกลับแบบแชท ฟีเจอร์นี้เป็นแบบเลือกใช้ได้และไม่แทนที่โมเดลแชท และแพ็กเกจผู้ให้บริการยังรอการเปิดตัวที่รองรับอยู่ อะแดปเตอร์ TypeSafe รองรับ Jev แบบโฮสต์และเซิร์ฟเวอร์ System One ภายในเครื่อง เช่น Kev ของ Jared Palmer และเครื่องมือประเมินกำลังย้ายเข้าสู่แกนหลักของ OpenClaw ในชื่อ decision_evaluate

    ทำไมเรื่องนี้สำคัญ: OpenClaw เพิ่มชั้นโมเดลการตัดสินใจแบบเลือกใช้ได้ซึ่งคืนคำตอบที่มีชนิดข้อมูลจากโค้ดแอปพลิเคชัน พร้อมอินเทอร์เฟซ Plugin SDK ที่ใช้ร่วมกันเพื่อให้ปลั๊กอินใช้งานได้โดยไม่ต้องผสานรวมแยกตามผู้ให้บริการ

  1. MiniMax Blog71

    MiniMax เปิดตัว Music 3.0 โมเดลสร้างเพลงแบบ open-weights สำหรับเพลงเต็มความยาวสูงสุดห้านาที

    MiniMax เปิดตัว Music 3.0 โมเดลสร้างเพลงแบบ open-weights ที่สามารถแต่งเพลง เรียบเรียง และผลิตเพลงที่สมบูรณ์ความยาวสูงสุดห้านาทีจากแนวคิดสร้างสรรค์และเนื้อเพลงเสริม (ถ้ามี) ในการสร้างครั้งเดียว ไปป์ไลน์นี้จับคู่ Global LLM ขนาด 8B ที่เริ่มต้นจาก Qwen3.5-8B กับ Local LLM ขนาด 0.6B หลอมรวม continuous hidden states ของทั้งสองเพื่อเป็นเงื่อนไขให้โมดูล flow-matching ขนาด 2.4B และ Flow-VAE ขนาด 123M และใช้ RVQ แปดชั้นพร้อม Structured Captions ที่อธิบายอารมณ์ เครื่องดนตรี และการขับร้องตามช่วงเวลา MiniMax กล่าวว่าสิ่งนี้ทำให้ตีความเจตนาเชิงสร้างสรรค์ได้แม่นยำขึ้น การเรียบเรียงเต็มอิ่มขึ้น และเสียงร้องชัดเจนเป็นธรรมชาติมากขึ้น

    ทำไมเรื่องนี้สำคัญ: การแจกแจงสถาปัตยกรรมของ MiniMax แสดงให้เห็นว่า Global LLM ขนาด 8B ที่จับคู่กับโมเดล local ขนาด 0.6B และสแต็ก flow-matching มุ่งเป้าแก้ปัญหาความต่อเนื่องของเพลงยาวอย่างไร

  1. Modal Blog75

    Kimi K3 ของ Moonshot เปิดให้ใช้งานบน Modal แล้ว พร้อมรองรับ vLLM ตั้งแต่วันแรก

    Modal เปิดให้ Kimi K3 ของ Moonshot ใช้งานได้บนแพลตฟอร์มของตนในวันเปิดตัว โดยเสนอโมเดลมัลติโหมดัลขนาด 2.8 ล้านล้านพารามิเตอร์ที่มีหน้าต่างบริบท 1M โทเคน ผ่าน Shared API ที่คิดราคาตามโทเคนและ Auto Endpoints แบบเฉพาะ Modal ระบุว่า DFlash speculator แบบกำหนดเองที่ปรับให้เข้ากับสถาปัตยกรรมของ K3 ช่วยเพิ่มความโต้ตอบจาก 100 เป็น 460 โทเคนต่อวินาที และปริมาณงานจาก 800k เป็น 1.5 ล้าน TPM ต่อ GPU ในงานเอเจนติก โมเดลนี้ใช้การออกแบบ mixture-of-experts โดยมี 16 จาก 896 experts ทำงานต่อโทเคน และ Moonshot ได้ร่วมพัฒนา prefix-caching รูปแบบใหม่ให้กับ vLLM ก่อนการเปิดตัว

    ทำไมเรื่องนี้สำคัญ: Modal อธิบายรายละเอียดว่าตนนำ Kimi K3 ขนาด 2.8 ล้านล้านพารามิเตอร์ของ Moonshot ขึ้นแพลตฟอร์มในวันเปิดตัวได้อย่างไร รวมถึง DFlash speculator แบบกำหนดเองที่ยกระดับความโต้ตอบจาก 100 เป็น 460 โทเคนต่อวินาที

  1. Modal Blog60

    Modal เปิดตัว Auto Endpoints สำหรับการอนุมาน LLM แบบเซลฟ์เซอร์วิสที่เข้ากันได้กับ OpenAI API

    Modal เปิดตัว Auto Endpoints ซึ่งเป็นบริการเซลฟ์เซอร์วิสที่ปรับใช้การอนุมาน LLM ระดับโปรดักชันเป็นเอนด์พอยต์ที่เข้ากันได้กับ OpenAI API โดยมี Modal App เป็นแบ็กเอนด์ที่ผู้ใช้มองเห็นและควบคุมได้ แต่ละโมเดลที่รองรับมาพร้อมกับการปรับใช้เริ่มต้นที่ปรับแต่งจาก benchmarking ของ Modal เอง โดยใช้เอนจินเช่น SGLang และ DFlash speculative decoding drafter จาก Z Lab และผู้ใช้สามารถตรวจสอบการเลือก GPU, แฟล็กเอนจิน และเมตริกการอนุมานเช่น TTFT, ITL และ speculative decoding acceptance length นอกจากนี้ Modal ยังเปิดตัว Modal Servers จากเบต้าสำหรับการกำหนดเส้นทางแบบภูมิภาคด้วยโอเวอร์เฮด 5ms และระบุว่าสร้างการปรับใช้เอนด์พอยต์ด้วยระบบเอเจนติกภายในที่ยังคงมีวิศวกรมนุษย์ตรวจสอบ

    ทำไมเรื่องนี้สำคัญ: Auto Endpoints ของ Modal เปิดเผยสแตกการเสิร์ฟ เมตริกเอนจิน และสูตร benchmarking ที่ผู้ให้บริการการอนุมานแบบจัดการมักปิดไว้ ทำให้ทีมต่างๆ มีเส้นทางเซลฟ์เซอร์วิสสู่การเป็นเจ้าของการอนุมานโมเดลเปิด

  1. Modal Blog60

    Modal ปล่อย DFlash speculators สำหรับ Qwen 3.5 และ 3.6 อ้างเพิ่มความเร็วได้อีก 5-20%

    Modal ปล่อยชุดโมเดล draft DFlash สำหรับซีรีส์ Qwen บน Hugging Face รวมถึง Qwen 3.6 35B-A3B-DFlash และ Qwen 3.5 หลายขนาดตั้งแต่ 4B ถึง 122B-A10B พร้อม DFlash speculator สำหรับ Qwen 3.5 397B-A17B ที่สร้างด้วย SGLang บริษัทระบุว่า drafter ใหม่เพิ่มความเร็ว 5-20% เหนือ baseline DFlash ที่มีอยู่ และสามารถรัน Qwen 3.5 122B-A10B ได้เกิน 1000 tok/s ที่ concurrency 1 บนโหนด B200 เทียบกับ 250 tok/s เมื่อไม่ใช้ speculation โพสต์โต้ว่า speculative decoding ให้ผลตอบแทน 2x-3x ในจุดที่การปรับ kernel ให้เพียงไม่กี่เปอร์เซ็นต์ และนำเสนอ roofline model สำหรับประเมินความเร็วที่ได้จาก acceptance length

    ทำไมเรื่องนี้สำคัญ: Modal อธิบายเหตุผลที่เดิมพันกับ speculative decoding และปล่อยโมเดล draft DFlash สำหรับซีรีส์ Qwen พร้อมความเร็วที่วัดได้และ roofline model สำหรับประเมินผลตอบแทน

  1. MiniMax Blog87

    MiniMax M3 เปิดตัวพร้อมบริบท 1M การเขียนโค้ดระดับแนวหน้าและมัลติโมดัลแบบเนทีฟ

    MiniMax เปิดตัว M3 โมเดลน้ำหนักเปิดที่บริษัทกล่าวว่าเป็นตัวแรกที่รวมความสามารถด้านการเขียนโค้ดระดับแนวหน้าและประสิทธิภาพแบบเอเจนต์ หน้าต่างบริบท 1M โทเคน และการรับข้อมูลภาพและวิดีโอแบบเนทีฟ M3 ใช้สถาปัตยกรรม MSA sparse attention ใหม่ของ MiniMax ซึ่งบริษัทรายงานว่าลดการคำนวณต่อโทเคนที่บริบท 1M เหลือ 1/20 ของรุ่นก่อนหน้า และเร่ง prefill ได้มากกว่า 9 เท่าและการถอดรหัสมากกว่า 15 เท่า ทำคะแนนได้ 59.0% บน SWE-Bench Pro, 66.0% บน Terminal-Bench 2.1 และ 74.2% บน MCP Atlas และพร้อมใช้งานผ่าน MiniMax Code, Token Plan และ API โดยสัญญาว่าจะเปิดน้ำหนักและรายงานทางเทคนิคภายใน 10 วัน

    ทำไมเรื่องนี้สำคัญ: MiniMax M3 รวมบริบท 1M โทเคน คะแนนการเขียนโค้ดระดับแนวหน้าและแบบเอเจนต์ และการรับข้อมูลภาพและวิดีโอแบบเนทีฟไว้ในโมเดลน้ำหนักเปิดเดียว โดย MSA ลดการคำนวณต่อโทเคนที่บริบทยาว

  1. Modal Blog78

    Modal เปิดตัว GLM-5 endpoint ฟรี พร้อมเผยแพร่คู่มือการติดตั้งใช้งานเองและการเชื่อมต่อฝั่งฟรอนต์เอนด์

    Modal เปิดตัว endpoint ที่รองรับ OpenAI API ของ GLM-5 แบบฟรี ใช้งานได้ถึงสิ้นเดือนเมษายน จำกัดการร้องขอแบบทีละ concurrence พร้อมเผยแพร่โค้ดที่ทำซ้ำได้สำหรับการติดตั้งใช้งานด้วย SGLang บนโหนดเดียวกับการ์ด B200 จำนวน 8 ใบ

    ทำไมเรื่องนี้สำคัญ: Modal ให้บริการ endpoint ที่รองรับ OpenAI สำหรับ GLM-5 ของ Z.ai แบบฟรี พร้อมระบุการตั้งค่าเฉพาะสำหรับการเชื่อมต่อใน OpenCode, OpenClaw, Claude Code และ Vercel AI SDK

อ่านครบทั้งหมดแล้ว