Tới nội dung
Chỉ Chính chủ#Hệ sinh thái mã nguồn mở
13 tháng 11Thứ Sáu
  1. Hugging Face Blog58

    llama.cpp phát hành v1.0.0, ổn định API downstream theo quy tắc phiên bản ngữ nghĩa

    llama.cpp phát hành v1.0.0, đồng thời ggml cũng phát hành v1.0.0; từ nay hai dự án sẽ dùng việc thay đổi số phiên bản chính để đánh dấu các thay đổi không tương thích của C API và ABI công khai. Phía dự án cho biết, cùng với nhu cầu AI cục bộ và quyền riêng tư ngày càng tăng, số lượng ứng dụng downstream tăng lên, giao diện thư viện ổn định trở nên then chốt, trong tương lai ranh giới đối với các thay đổi phá vỡ sẽ chặt chẽ hơn.

  2. OpenClaw Blog20

    OpenClaw mang Claw Hack Hackathon và ClawCon đến Thâm Quyến

    OpenClaw mang hackathon Claw Hack kéo dài ba ngày và hội nghị ClawCon đến Thâm Quyến từ ngày 4–6 tháng 12 năm 2026, tiếp nối sự kiện tại Thượng Hải. Claw Hack bao gồm các hạng mục phần mềm và phần cứng, với M5Stack, reBot Arm B601 và phần cứng Pamir của Seeed Studio, và hạn chót nộp đơn là ngày 25 tháng 11. ClawCon diễn ra ngày 6 tháng 12 với các bài nói về AI mã nguồn mở, mô hình trọng số mở và chạy tác nhân cục bộ và trên đám mây.

  3. Databricks Blog36

    Bright Machines dùng Debezium và Iceberg để cung cấp cho khách hàng bảng điều khiển trực tiếp từ các nhà máy cách ly mạng

    Bright Machines hiện cung cấp cho khách hàng bảng điều khiển dữ liệu nhà máy trực tiếp, có quản trị từ các nhà máy cách ly mạng mà không cần mở bất kỳ quyền truy cập vào nào. Công ty ghi lại các thay đổi PostgreSQL tại biên với Debezium, ghi chúng dưới dạng Apache Iceberg, đẩy ra ngoài qua một đường ra duy nhất có thể kiểm toán, và đọc tại chỗ trong Databricks thông qua liên kết Unity Catalog. Bảng điều khiển đầu tiên mà khách hàng nhìn thấy đã đi vào hoạt động khoảng hai tháng sau khi khởi động, với các hàng đã cam kết có thể truy vấn trong một đến hai phút và bảng điều khiển làm mới mỗi mười phút.

  4. AWS Machine Learning Blog58

    AWS phát hành SGLang-Neuron, cho phép triển khai các mô hình tiên tiến trên Trainium với giao diện SGLang hiện có

    Amazon đã công bố tính khả dụng công khai của SGLang-Neuron, một plugin out-of-tree chạy SGLang trên AWS Trainium thông qua AWS Deep Learning Container, được phát hành bởi RadixArk cùng Annapurna Labs. Người dùng giữ nguyên giao diện máy chủ SGLang và các API sinh, trong khi plugin cung cấp các mô hình, attention, MoE dành riêng cho Trainium và một graph runner được xây dựng trên các kernel PyTorch và NKI gốc được biên dịch bằng torch.compile. Nó cũng hỗ trợ PD disaggregation, chuyển bộ nhớ đệm KV prefill sang máy chủ decode qua NIXL trên EFA, và hướng dẫn thực hành phục vụ openai/gpt-oss-120b trên một phiên bản EC2 Trainium3 với container pytorch-inference-sglang-neuronx.

  5. AWS Machine Learning Blog66

    AWS cập nhật runtime AgentCore: khởi tạo phiên nhanh gấp 15 lần và tính toán nhiều gấp 4 lần

    AWS công bố cập nhật cho runtime Amazon Bedrock AgentCore, lớp tính toán được quản lý dành cho agent, với các phiên nay khởi tạo nhanh hơn tới 15 lần, mở rộng lên tới 4 lần năng lực tính toán (tối đa 8 vCPU và 32 GB, với container image lên tới 10 GB) và chạy hiệu quả hơn tới 68%, trong khi mỗi phiên vẫn nằm trong Firecracker MicroVM cách ly phần cứng riêng. Phiên khởi tạo dưới 2 giây bất kể kích thước image hay mức đồng thời, agent nhàn rỗi tự động co về 0, và agent có thể gắn kết và lưu công việc vào hệ thống tệp như bucket Amazon S3 với hỗ trợ FUSE để dữ liệu nằm trong ranh giới tin cậy. Runtime hiện có sẵn tại các AWS Region ở Bắc Mỹ, Nam Mỹ, Châu Âu và Châu Á - Thái Bình Dương.

    Vì sao đáng chú ý: Phiên bản mới của runtime AgentCore điều chỉnh đồng thời việc khởi tạo phiên, giới hạn tính toán và tính phí bộ nhớ, mang lại cho các agent cần chạy lâu dài một sự đánh đổi mới giữa cách ly và chi phí.

  6. AWS Machine Learning Blog40

    AWS mở danh mục 23 tài sản AI tạo sinh có thể tái sử dụng từ Trung tâm Đổi mới của mình

    AWS đã công bố danh mục 23 tài sản AI tạo sinh mã nguồn mở, sẵn sàng cho môi trường sản xuất, từ Trung tâm Đổi mới AI tạo sinh của mình, nay thuộc AWS Frontier AI Engineering & Services. Các khối xây dựng này bao gồm pipeline RAG, bộ xử lý tài liệu, khung tác nhân (agent scaffolding) và khung đánh giá, và AWS cho biết chúng có thể rút ngắn thời gian phát triển từ nhiều tháng xuống còn vài tuần. DoorDash báo cáo năng lực kiểm thử tăng 50 lần và Ricoh tăng thông lượng gấp 7 lần sau khi xây dựng trên các tài sản này.

12 tháng 11Thứ Năm
  1. vLLM Blog60

    vLLM hỗ trợ day-0 cho Inkling 2 Small của Thinking Machines

    vLLM hỗ trợ Inkling 2 Small của Thinking Machines ngay từ ngày đầu tiên, một MoE đa phương thức văn bản và thị giác với tổng 594B và 17B tham số hoạt động, ngữ cảnh lên đến 1M token. Tích hợp này bổ sung kernel fusion với PDL, sequence parallelism cho prefill giúp giảm bước prefill 8K token 22% ở TP4 và 26% ở TP8, cùng kernel decode attention tương đối Gluon giúp giảm bước decode batch-1 ở ngữ cảnh 100K từ 15,1 ms xuống 4,8 ms. vLLM báo cáo lên đến 630 TPS/người dùng ở TP4 trên GB200 với độ dài chấp nhận 3,5, đồng thời hỗ trợ LoRA và RL qua SkyRL.

    Vì sao đáng chú ý: vLLM hỗ trợ Inkling 2 Small ngay trong ngày ra mắt, đồng thời cung cấp dữ liệu tối ưu cụ thể về kernel fusion, sequence parallelism và kernel decode Gluon, có thể làm tài liệu tham khảo cho các nhóm triển khai mô hình MoE lớn.

  2. vLLM Blog64

    vLLM-Omni benchmark MiniMax H3-Image trên Vera Rubin: tạo ảnh 4K trong 0,87 giây và 6.115 ảnh/giờ

    vLLM-Omni đã đưa MiniMax H3-Image lên NVIDIA Vera Rubin và đo được độ trễ trung vị 0,87 giây cho text-to-image gốc 4096×4096 trên bốn GPU, cùng 6.115 ảnh/giờ trong một cấu hình thông lượng riêng. H3-Image là mô hình text-to-image và chỉnh sửa ảnh trọng số mở, kết hợp bộ mã hóa Qwen3-VL với DiT dày đặc 33,1B và VAE hình ảnh, xử lý cả hai tác vụ trong sáu bước lấy mẫu với tối đa 16 ảnh tham chiếu. Nhóm báo cáo MXFP8 DiT GEMMs, Ulysses SP4, bộ nhớ đệm AdaLN và một thay đổi giải mã VAE giúp giảm thời gian giải mã từ 2,635 giây xuống 0,213 giây, đồng thời liệt kê các công thức cho phần cứng AMD, Intel, Huawei Ascend và Moore Threads.

    Vì sao đáng chú ý: Benchmark của vLLM-Omni cho thấy MiniMax H3-Image chạy trên Vera Rubin với độ trễ 4K dưới một giây, kèm cấu hình theo từng phần cứng và mô hình chi phí cho kinh tế phục vụ.

  3. Mastra Blog40

    Mastra Agents Private Model Gateways cho các mô hình tự lưu trữ

    Mastra đã bổ sung các cổng mô hình riêng tư cho phép các agent định tuyến yêu cầu đến các mô hình trọng số mở tự lưu trữ, được tham chiếu bằng tiền tố như private/ollama/gpt-oss:20b. Tự lưu trữ giữ dữ liệu nhạy cảm trong mạng nội bộ và thay thế chi phí theo token bằng chi phí hạ tầng, và việc đặt AUTO_BLOCK_EXTERNAL_PROVIDERS=true sẽ ẩn các nhà cung cấp bên ngoài trong Studio. Tính năng này yêu cầu @mastra/core@1.82.0 trở lên.

11 tháng 11Thứ Tư
  1. Modal Blog58

    Modal gia nhập nhóm maintainer của gVisor khi Google trao tặng dự án cho CNCF

    Modal là một trong ba công ty, cùng với Ant Group và Tines, gia nhập nhóm maintainer của gVisor khi Google trao tặng dự án và các nhãn hiệu của nó cho CNCF theo mô hình quản trị do maintainer dẫn dắt. Modal cho biết họ khởi chạy hơn 40 triệu container gVisor mỗi ngày và đã đóng góp upstream từ năm 2023, bao gồm hỗ trợ GPU nvproxy, một proxy thiết bị RDMA có tên rdmaproxy, cùng các tối ưu hóa tmpfs và bộ cấp phát bộ nhớ. Công ty cho biết đang phát triển tính năng snapshot bộ nhớ đa GPU và hỗ trợ GPUDirect Storage cho gVisor.

  2. vLLM Blog58

    vLLM bổ sung phân tách encoder cho phục vụ đa phương thức với EPD

    vLLM đã mở rộng phân tách Encoder/Prefill/Decode (EPD) cho phục vụ đa phương thức, bổ sung yêu cầu chỉ chứa metadata, một đường thực thi encoder riêng, truyền embedding từ xa qua NIXL và Mooncake, tái sử dụng đầu ra cross-encoder, và điều phối thông qua vLLM Router, SMG và llm-d. Các năng lực cốt lõi bao gồm hỗ trợ MiMo và XPU có trong vLLM v0.32.0, trong khi hỗ trợ chỉ metadata cho DeepSeek V4.1 Flash có sẵn trên main qua #62802. Trong một thử nghiệm DeepSeek V4.1 Flash trên GB200, EPD đạt thông lượng trên mỗi GPU cao hơn 6,6–9,5% và P90 TTFT thấp hơn 44–47% so với baseline PD tám GPU ở mức đồng thời 64–128, nhưng có thông lượng trên mỗi GPU thấp hơn ở mức đồng thời 16.

  3. Meta Engineering Blog58

    Meta giải thích TLX, một tiện ích mở rộng trình biên dịch GPU gốc phần cứng cho Triton phục vụ ML trong sản xuất

    Meta đã trình bày chi tiết về TLX (Triton Low-Level Extensions), một tiện ích mở rộng cho Triton bổ sung điều phối cấp nhóm warp và cụm một cách tường minh trong khi vẫn giữ mô hình lập trình tensor của Triton. TLX đã được vận hành trong môi trường sản xuất trên toàn Meta, với 20-25% MFU end-to-end trên hàng nghìn GPU NVIDIA Blackwell cho huấn luyện GEM, giảm tới hai phần ba độ trễ mạng tính toán chuyên sâu cho suy luận RecSys, và một kernel GEMM nhóm phân tán được triển khai trong tiền huấn luyện LLM quy mô lớn. Meta cho biết TLX nhắm đến NVIDIA Hopper và Blackwell cùng AMD Mi300 và Mi350x, và đang phát triển thêm nhiều kiến trúc hơn, suy luận nhóm warp tự động và một backend torch.compile.

  4. NVIDIA Blog60

    NVIDIA đóng góp OpenShell Agent Runtime cho CNCF và bổ sung công cụ DSX Kubernetes

    NVIDIA đang đóng góp OpenShell, runtime mã nguồn mở của mình để bảo mật và quản trị các tác nhân tự trị, cho Cloud Native Computing Foundation với tư cách là dự án Sandbox, đồng thời cũng đóng góp cho Agent Substrate do Google dẫn đầu. NVIDIA đã công bố ba thành phần mới của DSX AI Factory Platform: NVIDIA Kubernetes Engine và NVIDIA Kubernetes Recipes, hiện đang ở giai đoạn xem trước công khai, và NVIDIA Snapshot, có thể khôi phục các bản sao đã lưu checkpoint trong vài giây mà không cần tải lại mô hình hoặc khởi động làm nóng. Crusoe đã thử nghiệm GLM-5.3 trên Crusoe Cloud và giảm thời gian sẵn sàng của khối lượng công việc từ khoảng tám phút xuống còn 31 giây, trong khi Saturn Cloud giảm thời gian khởi động vLLM từ khoảng 2 đến 8,5 phút xuống còn 6 phút 34 giây.

    Vì sao đáng chú ý: NVIDIA đóng góp runtime bảo mật tác nhân OpenShell của mình cho CNCF và bổ sung bộ công cụ Kubernetes cho các nhà máy AI GPU, với kết quả Snapshot ban đầu giúp giảm thời gian khởi động suy luận từ vài phút xuống còn vài giây.

10 tháng 11Thứ Ba
  1. LangChain Blog59

    Stripe đã xây dựng Kai trên Deep Agents trong một tuần như thế nào

    Stripe đã xây dựng Kai, Nền tảng AI Tri thức toàn công ty của mình, trên khung Deep Agents mã nguồn mở của LangChain, với một kỹ sư phát hành phiên bản đầu tiên chỉ trong một tuần. Ngăn xếp này xếp lớp một harness và lớp cấu hình dành riêng cho Stripe lên trên Deep Agents, sử dụng middleware hệ thống tệp được hỗ trợ bởi S3, middleware sandbox để thực thi mã, middleware tóm tắt cho các phiên dài và tải công cụ động dựa trên kỹ năng trên hơn 500 công cụ MCP nội bộ và hơn 1.000 kỹ năng. Kai đã tăng từ 296 lên hơn 5.000 người dùng trong khoảng bốn tuần và hiện được 83% nhân viên Stripe sử dụng hàng tuần với hơn 60k phiên.

  2. Meta Engineering Blog40

    Meta mở rộng LLDB với kiến trúc plugin tăng tốc trung lập nhà cung cấp cho gỡ lỗi CPU-GPU

    Meta đã xây dựng kiến trúc plugin tăng tốc trung lập nhà cung cấp trong lldb-server cho phép LLDB gỡ lỗi các ứng dụng trải rộng trên CPU và GPU trong một phiên duy nhất. Thiết kế biểu diễn CPU và GPU thành các target LLDB riêng biệt, mỗi target có kiến trúc, luồng, thanh ghi và không gian địa chỉ riêng, trong khi một plugin chuyển dịch các API gỡ lỗi thiết bị của nhà cung cấp thành các khái niệm LLDB. Hỗ trợ GPU chỉ kích hoạt khi ứng dụng sử dụng runtime GPU được hỗ trợ, do đó gỡ lỗi chỉ CPU vẫn giữ nguyên đường dẫn native hiện có mà không tăng thêm chi phí.

  3. Goodfire Research62

    Goodfire nghiên cứu các neuron của Qwen3.6-35B-A3B như một nền tảng có thể diễn giải

    Goodfire Research đã công bố một nghiên cứu lập luận rằng các neuron MLP riêng lẻ trong Qwen3.6-35B-A3B có thể diễn giải được hơn so với giả định, dựa trên các công cụ thưa hóa, quy gán và các tác nhân nghiên cứu. Việc loại bỏ 92,2% kích hoạt neuron MoE yếu nhất mỗi lượt truyền xuôi chỉ làm tăng mất mát của mô hình ngôn ngữ thêm 2,9%, và 69% các cực neuron có một chế độ duy nhất chịu trách nhiệm cho ít nhất 90% hiệu ứng nhân quả của chúng. Các mô tả neuron bằng ngôn ngữ tự nhiên cho phép một mô hình giám khảo dự đoán việc kích hoạt với độ chính xác 95% so với văn bản ngẫu nhiên và phục hồi 73% thiệt hại do loại bỏ thông qua mô phỏng.

    Vì sao đáng chú ý: Nghiên cứu của Goodfire về các neuron của Qwen3.6-35B-A3B lập luận rằng chỉ riêng các kích hoạt mạnh đã mang phần lớn tính toán của mô hình, đưa ra một giải pháp thay thế cụ thể cho cách diễn giải bằng từ điển đặc trưng.

9 tháng 11Thứ Hai
  1. Preferred Networks News55

    Preferred Networks phát hành PLaMo 3.0 Fin - mô hình ngôn ngữ nhỏ chuyên ngành tài chính dưới dạng trọng số mở

    Preferred Networks đã phát hành PLaMo 3.0 Fin, một mô hình ngôn ngữ nhỏ chuyên ngành tài chính được xây dựng trên mô hình tiền huấn luyện PLaMo 3 NICT từ nghiên cứu chung với NICT và được huấn luyện thêm trên dữ liệu tài chính tiếng Nhật, công bố trọng số mở trên Hugging Face theo PLaMo Community License. Mô hình bổ sung Reasoning từng bước với các dấu vết suy luận được xuất bằng tiếng Nhật, cùng với tool calling cho tìm kiếm web, tính toán và truy cập cơ sở dữ liệu nội bộ, và có thể chạy trên một GPU duy nhất trong môi trường đám mây kín hoặc tại chỗ. PFN cho biết quá trình huấn luyện theo chỉ dẫn cho Reasoning và sử dụng công cụ được thực hiện trên chip AI MN-Core 2 của riêng họ, với việc chuyển mã hoàn thành trong vòng một tuần và tốc độ huấn luyện tương đương với môi trường GPU.

6 tháng 11Thứ Sáu
  1. vLLM Blog58

    vLLM chuyển bản dựng CUDA của mình sang LibTorch Stable ABI

    vLLM đã chuyển bản dựng CUDA của mình sang LibTorch Stable ABI, và kể từ v0.33.0, nó phát hành LibTorch ABI Stable CUDA wheels, nhờ đó có thể import một PyTorch wheel mới mà không cần rebuild vLLM. Nhóm đã chuyển các nguồn trong cây và bảy phụ thuộc phụ thuộc LibTorch, bao gồm FlashMLA, DeepGEMM và FlashAttention-2/3, sang các API ổn định, sử dụng torch-abi-audit trong CI để xác nhận không còn ký hiệu không ổn định nào. Bài viết nêu các đánh đổi như tập con API ổn định bị giới hạn và chi phí nhỏ ở phía host, và cho biết các bản dựng CPU và ROCm sẽ là bước tiếp theo.

  2. OpenClaw Blog50

    OpenClaw bổ sung danh mục mô hình tự cập nhật để mô hình mới hoạt động mà không cần cập nhật ứng dụng

    OpenClaw đã xây dựng lại cách nó phát hiện mô hình để các mô hình mới như GPT-6.1 Sol xuất hiện mà không cần phát hành bản cập nhật, lấy danh sách từ một danh mục tự cập nhật tại catalog.openclaw.ai (được xây dựng lại bốn giờ một lần, khoảng 1.000 mô hình), danh sách mô hình của nhà cung cấp riêng cho từng tài khoản, và một bắt tay với Codex mới hơn trên PATH của bạn. Danh mục chuyển đổi trực tiếp trên một Gateway đang chạy, và danh sách mô hình không còn bị thu hẹp sau khi nhà cung cấp hết thời gian chờ hoặc hoán đổi danh mục.

  3. OpenClaw Blog69

    OpenClaw phát hành Multiplayer cho các agent và ngữ cảnh dùng chung

    OpenClaw đã phát hành Multiplayer, một tính năng miễn phí và mã nguồn mở cho phép nhiều người kết nối với cùng một agent và workspace của OpenClaw, với các prompt hiển thị trực tiếp trên nhiều laptop và các yêu cầu được điều phối qua một hàng đợi dùng chung. Trong các bản demo tại GitHub Universe ở San Francisco, hai người tham dự đã chỉnh sửa cùng một cảnh 3D bằng cách nhập prompt trên các máy riêng biệt mà không cần nhắc lại ngữ cảnh. OpenClaw Foundation cho biết đã có hơn 50 người cộng tác trong cùng một môi trường dùng chung và đang tiếp tục mở rộng tính năng này.

    Vì sao đáng chú ý: OpenClaw biến việc nhiều người dùng chung một Agent và ngữ cảnh thành tính năng miễn phí, mã nguồn mở, mang đến một cách làm có thể chuyển giao cho vấn đề phải liên tục tái tạo ngữ cảnh trong cộng tác nhóm.

5 tháng 11Thứ Năm
  1. Mastra Blog38

    Mastra ra mắt Chương trình Harness Tùy chỉnh với các Kỹ sư Triển khai Tiền tuyến nhúng

    Mastra đã ra mắt Chương trình Harness Tùy chỉnh, trong đó các kỹ sư triển khai tiền tuyến nhúng vào đội ngũ khách hàng để cùng xây dựng các harness agent phù hợp. Chương trình bao gồm khả năng quan sát, đánh giá, MCP tùy chỉnh, quy trình làm việc có con người tham gia, xác thực và RBAC, cùng quyền truy cập sớm vào Nền tảng Doanh nghiệp Mastra. Mastra dẫn chứng Workday, đơn vị đã chuyển khỏi Amazon Bedrock Agents trong 31 ngày, cắt giảm 3.000 dòng mã và giảm chi phí lưu trữ vector 98%.

4 tháng 11Thứ Tư
  1. Ai2 · Allen Institute for AI38

    Ai2 và Google hợp tác phát triển mô hình khí hậu NeuralGCM+

    Ai2 đã khởi động một sáng kiến mô hình hóa khí hậu với nguồn tài trợ ba năm từ Google.org và hỗ trợ kỹ thuật từ Google Research nhằm phát triển NeuralGCM+, một mô hình mã nguồn mở cho các dự báo khí hậu nhanh hơn và đáng tin cậy hơn. Dự án mở rộng NeuralGCM của Google Research, vốn kết hợp các phương trình vật lý cho động lực quy mô lớn với AI cho các quá trình quy mô nhỏ hơn như hình thành mây và lượng mưa, để mô phỏng đồng thời khí quyển và đại dương. Ai2 hướng tới việc giảm sai số nhiệt độ và lượng mưa khu vực trong 50 năm qua và phát hành các mô hình cùng khung làm việc với quy trình được ghi chép cho các nhà nghiên cứu bên ngoài.

  2. vLLM Blog73

    Buoyant phát hành Kinference, một control plane suy luận mã nguồn mở cho vLLM và Kubernetes

    Buoyant công bố Kinference, một control plane mã nguồn mở Apache v2 định tuyến lưu lượng suy luận tương thích OpenAI và Anthropic đến các worker vLLM trên Kubernetes, bổ sung giới hạn tốc độ token, theo dõi mức sử dụng và chi phí theo từng tenant, cân bằng tải nhận biết KV-cache và các chính sách suy luận bằng YAML. Trong các benchmark công khai của dự án, Kinference giảm 95% thời gian đến token đầu tiên trung vị và 45% độ trễ end-to-end trung vị so với cân bằng tải dịch vụ Kubernetes tiêu chuẩn trên một workload, và phục vụ goodput gấp 7,4 lần trên shared-prefix và khoảng 3,5 lần trên multiturn trong một bài kiểm tra công suất. Các chính sách có thể định tuyến prompt đơn giản hơn đến các mô hình rẻ hơn, đẩy lưu lượng đột biến tràn sang các nhà cung cấp như Bedrock và Databricks, hoặc giữ các yêu cầu gắn thẻ PII bên trong cluster, và các chỉ số theo từng tenant bao gồm tốc độ token, TTFT, ITL và token prompt có cache so với không có cache.

    Vì sao đáng chú ý: Kinference của Buoyant bổ sung cân bằng tải nhận biết KV-cache và các chính sách suy luận bằng YAML lên trên vLLM, với các benchmark tuyên bố cải thiện lớn về TTFT và goodput so với định tuyến dịch vụ Kubernetes tiêu chuẩn.

2 tháng 11Thứ Hai
  1. Zyphra Research58

    Zyphra giới thiệu ZHA hierarchical attention, một phương pháp thưa với định tuyến dưới bậc hai

    Zyphra đã giới thiệu Zyphra Hierarchical Attention (ZHA), một phương pháp attention thưa xây dựng một cây các bản tóm tắt KV-cache nén và định tuyến các truy vấn từ trên xuống qua cây đó, mang lại độ phức tạp dưới bậc hai với các ngưỡng top-p phù hợp. Các mô hình đã được huấn luyện trước hiện có thể được thích nghi thông qua một giai đoạn chưng cất KL ngắn chỉ sử dụng vài tỷ token; trên Qwen3.6-35B-A3B, ZHA thêm 81.920 tham số có thể huấn luyện, khoảng 0,00024% của mô hình cơ sở. Trên RULER-13 ở 256K token, mô hình cây rộng đạt 96,2% so với 96,0% của dense attention, và cây sâu sáu tầng đạt 63,4% trên LongBench v2 so với 58,0% của dense trong khi chỉ chú ý đến khoảng 1,1% của KV cache; một mô hình roofline trên GPU dự báo tốc độ nhanh hơn 32-35 lần so với dense attention ở 10M token.

  2. Ai2 · Allen Institute for AI32

    Olmo 3 đã đạt được xếp hạng AI đạo đức cao nhất của Nextcloud như thế nào

    Olmo 3 của Ai2 đã nhận được xếp hạng AI Đạo đức cao nhất của Nextcloud, màu xanh lá, đòi hỏi phần mềm huấn luyện và suy luận mã nguồn mở, một mô hình đã huấn luyện có thể tự lưu trữ, và dữ liệu huấn luyện công khai. Nextcloud đóng gói Olmo 3 với backend LLM cục bộ llm2 của mình, và biến thể 7B được chọn để người dùng không có 16 hoặc 32 GB VRAM vẫn có được trải nghiệm cục bộ tốt ngay khi dùng.

1 tháng 11Chủ Nhật
  1. Sakana AI Blog40

    Hội thảo Sakana AI: Jürgen Schmidhuber về quá khứ và tương lai của AI, Nhật Bản thúc đẩy mô hình ngôn ngữ, mô hình thế giới và AI vật lý

    Sakana AI đã tổ chức hội thảo "Từ Mô hình Thế giới đến AI Thực tế" tại Tokyo vào ngày 26 tháng 10 năm 2026, nơi Cố vấn Khoa học Chính Jürgen Schmidhuber có bài phát biểu chính và Sakana AI công bố sẽ phát triển dòng mô hình ngôn ngữ tiền huấn luyện của riêng mình, Sakana Sawara (tên tạm thời). Mô hình nhỏ đầu tiên, Sawara Small (tên tạm thời), dự kiến ra mắt vào mùa xuân năm 2027 nếu quá trình phát triển diễn ra suôn sẻ. Hơn 400 người tham dự đã tham gia sự kiện, cũng bao gồm cuộc trò chuyện giữa Schmidhuber và CEO David Ha.

29 tháng 10Thứ Năm
  1. Meta Newsroom · AI22

    Meta hợp tác với năm trường đại học Hoa Kỳ để thúc đẩy các đột phá y học và khoa học

    Meta đang hợp tác với năm trường đại học Hoa Kỳ — Caltech, Trường Y của Ohio State, Đại học Bang Louisiana, Đại học Indiana và UTHealth Houston — và tài trợ 2 triệu đô la để hỗ trợ nghiên cứu sử dụng các mô hình của mình trong y học, vật lý, hóa học, sinh học, khoa học máy tính và toán học. Các dự án bao gồm một hệ thống thị giác máy tính được xây dựng trên các mô hình SAM trọng số mở của Meta để phát hiện lệch ống mở khí quản ở trẻ sơ sinh, AI đa phương thức giúp các tác nhân hội thoại thích ứng với người mắc chứng sa sút trí tuệ, và các mô hình trọng số mở dự đoán nguy cơ suy tim từ các ca chụp CT thường quy và hồ sơ y tế.

23 tháng 10Thứ Sáu
  1. Modal Blog58

    Modal và Sakana AI đã phục vụ một mô hình MoE ~1T tham số cho API Sakana Namazu như thế nào

    Nhóm kỹ sư triển khai tại chỗ của Modal đã làm việc với Sakana AI để chạy Sakana Namazu, một mô hình MoE ~1T tham số được tinh chỉnh cho bối cảnh kinh doanh Nhật Bản, trên Modal cho lần ra mắt API công khai của mô hình này. Nhóm đã áp dụng lượng tử hóa NVFP4 chọn lọc chỉ cho các routed expert, giữ attention, router và shared expert ở BF16, đồng thời hiệu chỉnh trên các cuộc hội thoại chủ yếu bằng tiếng Nhật để cả 23.040 expert đều thấy lưu lượng đại diện. Một mô hình draft DFlash tùy chỉnh được huấn luyện trên hơn 30 tỷ raw token ID đã tăng tỷ lệ chấp nhận token suy đoán thêm 25% và giảm độ trễ giải mã mỗi token khoảng 35%, trong khi một drafter thứ hai được huấn luyện trên khoảng 1 triệu yêu cầu thực tế đã nâng độ dài chấp nhận trung bình từ 3,51 lên 5,01 và giảm độ trễ p99 từ 68s xuống 52s.

22 tháng 10Thứ Năm
  1. Anthropic Newsroom71

    Anthropic tặng chuẩn Agent Skills cho Agentic AI Foundation

    Anthropic đang tặng Agent Skills, chuẩn mở giúp cung cấp kiến thức chuyên biệt và quy trình làm việc cho các tác nhân AI, cho Agentic AI Foundation (AAIF) thuộc Linux Foundation. Hơn 70 nền tảng tác nhân bao gồm ChatGPT, Cursor, GitHub Copilot và VS Code đã tích hợp chuẩn này kể từ khi được công bố vào tháng 12 năm 2025, với 1 triệu kỹ năng được công bố và gần 280 triệu lượt cài đặt. Việc tặng bao gồm tên và logo Agent Skills, tổ chức GitHub và tên miền agentskills.io, với các kỹ sư từ Anthropic, Google, OpenAI và các công ty khác duy trì nó với tư cách cá nhân dưới sự dẫn dắt của các Lead Maintainer David Soria Parra và Mahesh Murag.

    Vì sao đáng chú ý: Anthropic trao chuẩn Agent Skills của mình cho AAIF thuộc Linux Foundation, cùng một ngôi nhà trung lập như MCP, mang lại cho cộng đồng tiếng nói chính thức về lộ trình của đặc tả.

21 tháng 10Thứ Tư
  1. Mistral AI48

    Mistral và NVIDIA hợp tác về AI cho quy trình kỹ thuật

    Mistral và NVIDIA đang hợp tác để xây dựng các quy trình kỹ thuật bản địa AI, kết hợp Mistral Large 4 với các thư viện NVIDIA CUDA-X và Warp, nhằm tăng tốc mô phỏng và cho phép thiết kế vòng kín. Sự hợp tác cũng sẽ tạo ra các chuẩn đánh giá công khai và bộ dữ liệu mở cho các mô hình vật lý và AI tác tử trong CAE và EDA, cùng với tích hợp với NVIDIA Omniverse để tạo cảnh 3D và tài sản SimReady. Mistral Large 4, được gọi là Le Chonk, có tổng cộng khoảng 1 nghìn tỷ tham số và 49 tỷ tham số hoạt động, được huấn luyện trên 3.800 GPU NVIDIA Grace Blackwell.

  2. OpenClaw Blog22

    OpenClaw ra mắt Tuần lễ Tập trung, bắt đầu với Control UI

    OpenClaw đã ra mắt Tuần lễ Tập trung, một chương trình mỗi tuần tập trung vào một lĩnh vực trong lộ trình của mình với một Maintainer phụ trách và mời cộng đồng đóng góp mã nguồn, báo cáo lỗi, kiểm thử, tài liệu và phản hồi về khả năng tiếp cận. Tuần lễ Tập trung đầu tiên diễn ra từ ngày 19–25 tháng 10 năm 2026 về Control UI, với Vyctor Brzezowski là Maintainer. Một nhóm Clawtributors luân phiên được chọn cũng nhận quyền truy cập khách tạm thời vào môi trường OpenClaw Team dùng chung để kiểm thử các tính năng cộng tác nhiều người của nó.

15 tháng 10Thứ Năm
  1. Modal Blog34

    Tăng cường LiveKit Agent của bạn với Modal GPUs

    Modal giải thích cách chạy LiveKit Agents với các mô hình open-weights hoặc tùy chỉnh trên GPU serverless của mình, sử dụng Expression Video Avatar open-weights của BitHuman với giọng đọc từ Qwen3-TTS để nhân bản Charles Frye. Thiết lập này mở endpoint /launch của container avatar thông qua một Modal Server và dùng Sticky Sessions để giữ các client WebSocket trên cùng một container, với GPU snapshots che giấu cold start.

  2. Meta AI Research Blog88

    Meta phát hành Muse Spark Open, mô hình đa phương thức trọng số mở 816B chạy trên hai Mac Studio

    Meta đã phát hành trọng số cho Muse Spark Open, một mô hình đa phương thức gốc với trọng số mở có tổng cộng 816B tham số (42B hoạt động) và cửa sổ ngữ cảnh 1M token, định hướng cho công việc lập trình và tác tử. Đây là mô hình đầu tiên trong phân khúc của nó chạy trên máy tính để bàn bằng hai Apple M5 Ultra Mac Studio với framework MLX, và có sẵn thông qua các đối tác API bao gồm Baseten, Fireworks AI, Groq, Modal, Nebius, OpenRouter và Together AI, với trọng số trên Hugging Face, Amazon SageMaker AI, Google Cloud Model Garden và Microsoft Foundry Models. Meta cho biết mô hình đi kèm với các kernel GPU Helion có thể tự động tinh chỉnh trong SGLang, mang lại tốc độ tăng tốc cấp kernel từ 1,03-3,95 lần trên GPU NVIDIA và AMD và tăng tốc end-to-end 3% trên AMD MI350.

    Vì sao đáng chú ý: Meta phát hành trọng số mở cho một mô hình đa phương thức 816B tham số chạy trên hai Mac Studio, mang đến cho nhà phát triển một lựa chọn cục bộ cho các tác vụ lập trình và tác tử dài hạn.

13 tháng 10Thứ Ba
  1. LiveKit Blog18

    Khắc phục sự cố LiveKit Egress: Các lỗi thường gặp và cách sửa

    LiveKit đã xuất bản hướng dẫn khắc phục sự cố cho Egress, bao gồm các lỗi thường gặp như lỗi 412 "không nhận được tín hiệu khởi động" từ các template không bao giờ gọi START_RECORDING, lỗi 404 không tìm thấy participant hoặc track trong vòng 30 giây, và lỗi 400 tải lên thất bại do thông tin xác thực S3/GCP/Azure không hợp lệ. Hướng dẫn cũng đề cập đến các vấn đề về layout, webhook và Egress tự lưu trữ, đồng thời lưu ý rằng hướng dẫn này áp dụng cho cả API StartEgress hiện tại và các API riêng theo nguồn đã bị ngừng hỗ trợ.

8 tháng 10Thứ Năm
  1. Goodfire Research71

    Goodfire huấn luyện và triển khai các bộ giám sát lạm dụng không gian mạng dựa trên probe trên Kimi K3 và GLM 5.3

    3 và triển khai chúng trên một ngăn xếp suy luận production, nơi một probe rẻ tiền lọc các lượt và chỉ những trao đổi đáng ngờ mới đến một LLM judge. Tỷ lệ gián đoạn phiên lành tính 5%, chi phí 65 đô la cho mỗi triệu lượt không có suy luận của judge và 185 đô la khi có nó, và không thêm tổn thất thông lượng đo được nào bên trong SGLang.

    Vì sao đáng chú ý: Goodfire cho thấy một chuỗi probe-cộng-judge có thể giám sát lạm dụng không gian mạng tác tử với chi phí thấp hơn khoảng 50 lần mà không có tổn thất thông lượng đo được, một công thức cụ thể để phục vụ các mô hình mở một cách an toàn.

1 tháng 10Thứ Năm
  1. Modal Blog58

    Modal Clusters chính thức khả dụng, chỉ với một dòng mã @modal.clustered để có cụm RDMA đa nút

    Modal thông báo Modal Clusters đã chính thức khả dụng cho tất cả workspace, cho phép người dùng yêu cầu cụm đa nút thông qua decorator duy nhất @modal.clustered. Các cụm cung cấp giao tiếp InfiniBand RDMA lên đến 6,4 Tbps, tự động cấu hình cho PyTorch và NCCL, cụm khởi động trong vài giây và tính phí theo giây. Modal cũng mô tả một gang scheduler mới đặt N nút cùng lúc và hỗ trợ RDMA được tích hợp vào runtime gVisor, với Decagon, 1x và Runway được nêu là người dùng cho tinh chỉnh nghìn tỷ tham số, tiền huấn luyện world model và suy luận video đa nút.

28 tháng 9Thứ Hai
  1. Mistral AI42

    Mistral mở trung tâm tại Munich cho AI vật lý và AI công nghiệp

    Mistral đã mở một trung tâm mới tại Munich, quy tụ các nhóm nghiên cứu tập trung vào AI vật lý và AI công nghiệp, cùng với các kỹ sư phục vụ các đối tác doanh nghiệp. Công ty cho biết sẽ xây dựng một gigawatt năng lực tính toán châu Âu vào năm 2030, và đang hợp tác với BMW về mô phỏng va chạm và Siemens Energy về các ứng dụng AI công nghiệp.

25 tháng 9Thứ Sáu
  1. OpenClaw Blog74

    Microsoft Autopilot được xây dựng trên OpenClaw, với các đóng góp theo cả hai chiều

    Microsoft đã giới thiệu Autopilot, một tác nhân cá nhân thường trực được xây dựng trên OpenClaw, như một phần trong trải nghiệm Copilot mới của hãng, với bản xem trước riêng tư sẽ mở rộng đến những khách hàng đầu tiên vào cuối tháng này. Autopilot là tên mới của Microsoft Scout, được công bố hồi đầu năm nay, và nhóm của Omar Shahine cho biết đang làm việc với OpenClaw và OpenClaw Foundation về một runtime cấp doanh nghiệp. OpenClaw nêu bật các đóng góp ngược dòng từ các kỹ sư Microsoft, bao gồm kiểm tra tuân thủ chính sách, một companion Windows gốc, và các bản sửa lỗi độ tin cậy cho các tác vụ nền, khởi động lại và phản hồi trùng lặp.

    Vì sao đáng chú ý: Autopilot của Microsoft được xây dựng trên OpenClaw, và các đóng góp ngược dòng được liệt kê ở đây cho thấy một runtime tác nhân dùng chung cải thiện như thế nào trên các nền tảng.

22 tháng 9Thứ Ba
  1. OpenClaw Blog60

    OpenClaw bổ sung mô hình quyết định tùy chọn và giao diện Plugin SDK dùng chung

    OpenClaw đã giới thiệu hỗ trợ cho một mô hình quyết định được cấu hình riêng mà lõi và các plugin của nó có thể gọi thông qua api.runtime.decisions.evaluate trong Plugin SDK, trả về một lựa chọn, điểm số hoặc xác suất thay vì phản hồi trò chuyện. Tính năng này là tùy chọn và không thay thế mô hình trò chuyện, và các gói nhà cung cấp vẫn đang chờ một bản phát hành hỗ trợ. Bộ chuyển đổi TypeSafe hỗ trợ Jev được lưu trữ và một máy chủ System One cục bộ như Kev của Jared Palmer, và công cụ đánh giá đang được chuyển vào lõi OpenClaw với tên decision_evaluate.

    Vì sao đáng chú ý: OpenClaw bổ sung một lớp mô hình quyết định tùy chọn trả về câu trả lời có kiểu từ mã ứng dụng, với giao diện Plugin SDK dùng chung để các plugin có thể sử dụng mà không cần tích hợp riêng cho từng nhà cung cấp.

21 tháng 9Thứ Hai
  1. LiveKit Blog38

    So sánh các framework mã nguồn mở cho AI agent thoại và video thời gian thực: LiveKit Agents và Pipecat

    Hướng dẫn này so sánh LiveKit Agents và Pipecat, hai framework mã nguồn mở mà bài viết cho là quan trọng nhất để xây dựng AI agent thoại và video cho môi trường production, trên các khía cạnh kiến trúc, mức độ được sử dụng, trải nghiệm nhà phát triển và mức độ sẵn sàng cho production. LiveKit Agents chạy trên hạ tầng WebRTC và SIP mã nguồn mở của LiveKit và tự nối pipeline cho bạn, trong khi Pipecat không giả định transport nào và để nhà phát triển tự lắp pipeline theo từng giai đoạn. Bài viết cũng đề cập vị trí của TEN Framework, Dograh, Vision Agents và Vocode.