Sing VL S1, một mô hình quyết định đa phương thức 4 tỷ tham số được xây dựng trên Qwen3.5, nay đã có bản phát hành GGUF cho suy luận CPU với llama.cpp. Nó được phát hành với các bộ giải mã BF16 (8,42 GB), Q8_0 (4,48 GB) và Q4_K_M (2,71 GB) cùng một bộ chiếu thị giác F16 dùng chung, với ngữ cảnh mặc định 4096 token. Kiểm định GGUF bao gồm 9 ví dụ và 11 câu hỏi; điểm số công khai đầy đủ cho các biến thể GGUF vẫn đang chờ.
Thời lượng bộ nhớ đệm, bậc dịch vụ, nỗ lực suy luận và cài đặt maxTokens của Amazon Bedrock có thể thay đổi chi phí suy luận mà không cần thay đổi mô hình hay prompt. Ghi bộ nhớ đệm 5 phút trên Claude Sonnet 5 và Claude Opus 5 tốn 1,25 lần mức giá đầu vào, ghi 1 giờ tốn 2 lần, và đọc bộ nhớ đệm tốn 0,1 lần; các yêu cầu bậc Flex đến các mô hình không được hỗ trợ sẽ thất bại với ValidationException.
Google DeepMind giới thiệu Gemini 4 Hydrogen, một mô hình Gemini 4 được xây dựng cho lập trình hàng ngày nhanh và thực thi tác tử thay vì suy luận tầm xa của Gemini 4 Carbon và Argon. Nó đạt 51 điểm trên Chỉ số Trí tuệ Artificial Analysis ở mức suy nghĩ cao mặc định so với 50 của Argon, đạt 54 ở cài đặt xhigh mới, và có giá cố định 1,50 USD mỗi triệu token đầu vào và 7,50 USD mỗi triệu token đầu ra trên cửa sổ ngữ cảnh 1 triệu token. Google cũng ra mắt Orchestrator trong Google Antigravity, công cụ chuyển đổi giữa các mô hình như Carbon và Hydrogen trong một phiên và đạt mức thành công nhiệm vụ gần bằng Carbon trên Terminal-Bench 4.0 trong khi sử dụng ít hơn 24% hạn mức và hoàn thành nhanh hơn 19%.
Vì sao đáng chú ý: Gemini 4 Hydrogen của Google nhắm đến lập trình hàng ngày nhanh và công việc tác tử, với giá cố định 1,50/7,50 USD mỗi triệu token trên cửa sổ ngữ cảnh 1M và Orchestrator mới chuyển đổi giữa các mô hình Gemini 4.
OpenRouter đã công bố phân tích hòa vốn cho thấy khi nào tự vận hành một LLM trọng số mở có chi phí thấp hơn so với gọi nó qua API, sử dụng giá theo từng nhà cung cấp tính đến ngày 8 tháng 10 năm 2026. Với mức giá đó, Qwen3.8 27B trên một RTX 3090 thuê với giá 0,50 đô la một giờ đạt hòa vốn ở mức tải 6 đến 12%, trong khi DeepSeek V4.1 Flash trên bốn H200 không bao giờ đánh bại được endpoint không lưu dữ liệu rẻ nhất. Bài viết cũng lưu ý rằng provider.zdr và các tên miền EU và US đáp ứng hầu hết nhu cầu riêng tư mà không cần tự vận hành, và khuyến nghị chạy một mức tải cơ bản ổn định tại chỗ trong khi gửi các đỉnh tải đến API.
vLLM hỗ trợ Inkling 2 Small của Thinking Machines ngay từ ngày đầu tiên, một MoE đa phương thức văn bản và thị giác với tổng 594B và 17B tham số hoạt động, ngữ cảnh lên đến 1M token. Tích hợp này bổ sung kernel fusion với PDL, sequence parallelism cho prefill giúp giảm bước prefill 8K token 22% ở TP4 và 26% ở TP8, cùng kernel decode attention tương đối Gluon giúp giảm bước decode batch-1 ở ngữ cảnh 100K từ 15,1 ms xuống 4,8 ms. vLLM báo cáo lên đến 630 TPS/người dùng ở TP4 trên GB200 với độ dài chấp nhận 3,5, đồng thời hỗ trợ LoRA và RL qua SkyRL.
Vì sao đáng chú ý: vLLM hỗ trợ Inkling 2 Small ngay trong ngày ra mắt, đồng thời cung cấp dữ liệu tối ưu cụ thể về kernel fusion, sequence parallelism và kernel decode Gluon, có thể làm tài liệu tham khảo cho các nhóm triển khai mô hình MoE lớn.
vLLM báo cáo việc phục vụ DeepSeek-V4.1-Flash trên một rack NVIDIA Vera Rubin NVL72 duy nhất đạt 1,7M token/s mỗi GPU với 387 token/s mỗi người dùng, gấp 58 lần GB300 NVL72, đạt đỉnh 2,52M token/s và 1.810 token/s cho một người dùng. Mức tăng đến từ các kernel được xây dựng lại cho các miền bộ nhớ tách biệt của Rubin và lõi tensor FP4, một đường giải mã TP8 chuyên dụng, và các pool KV và Engram toàn rack chia sẻ qua NVLink. Với các tiền tố được gộp chung trên toàn rack và định tuyến nhận biết khối lượng công việc của Dynamo, tỷ lệ trúng tiền tố giữ ở mức 96,5-97% ngay cả ở mức đồng thời cao.
Vì sao đáng chú ý: Bài đăng thứ ba của vLLM về DeepSeek-V4.1-Flash trình bày chi tiết cách các kernel dành riêng cho Rubin và gộp bộ nhớ toàn rack nâng thông lượng gấp 58 lần so với GB300 NVL72, mang lại một tham chiếu cụ thể cho tối ưu hóa phục vụ quy mô lớn.
Một engine mã nguồn mở tính toán khác biệt ngữ nghĩa của các chính sách hình thức bằng cách dùng phản hợp nhất trên một e-graph, hiển thị cấu trúc chung một lần và giữ lại cả hai phiên bản của mỗi phần khác biệt. Nó nhắm tới các đầu ra tự hình thức hóa trong các chính sách SMT-LIB, Cedar, Dogwood, OpenShell và CEL, nơi một LLM viết ra tạo tác nhưng không tham gia vào việc tính toán khác biệt.
AWS sẽ tổ chức hội nghị re:Invent thường niên từ ngày 30 tháng 11 đến ngày 4 tháng 12, với track AI/ML cung cấp hơn 140 phiên độc đáo trong tổng số hơn 2.000 phiên học tập. Hướng dẫn này ánh xạ các phiên vào ngăn xếp AI của AWS, bao gồm chip AI (AWS Trainium và NVIDIA GPUs), mô hình và suy luận trên Amazon Bedrock và SageMaker AI, và phát triển tác nhân với Amazon Bedrock AgentCore. Các phiên được tổ chức từ nội dung cho người mới đến các buổi đào sâu kỹ thuật, và nhiều phiên có thể xem theo yêu cầu.
Google đã giới thiệu API Gemini Decisions, được hỗ trợ bởi mô hình Gemini Decision 1 mới (gemini-decision-1) và có sẵn thông qua API Gemini trong Google AI Studio. Một đầu vào đa phương thức duy nhất lên tới 256K token có thể được kiểm tra với tối đa 1.000 câu hỏi có/không, trắc nghiệm và chấm điểm theo tiêu chí trong một lượt truyền xuôi, trả về xác suất và điểm tin cậy với độ trễ đầu-cuối 150-250 ms với giá 0,10 USD trên 1 triệu token đầu vào và không tính phí token đầu ra. Google cho biết mô hình này dẫn đầu bộ tiêu chuẩn đánh giá của họ với sai số hiệu chuẩn thấp nhất và rẻ hơn gần 5 lần so với Gemini 3.5 Flash-Lite với API Interactions; các ứng dụng nội bộ bao gồm định tuyến mô hình trong Gemini Notebook, tạo wireframe trong Stitch và kiểm tra nội dung đối kháng cho các công cụ MCP trong Search.
Vì sao đáng chú ý: Điểm cuối mới của Google chấm điểm tới 1.000 câu hỏi đa phương thức có/không, lựa chọn và theo tiêu chí trong một lượt với 150-250 ms, mang đến cho việc định tuyến tác nhân và kiểm tra chính sách một giải pháp thay thế rẻ hơn so với các lệnh gọi sinh tạo.
Claude Opus 5.5 hiện là mô hình mặc định trong Claude trên các gói Pro, Max, Ultra và Team, và Anthropic khuyến nghị đây là lựa chọn hàng ngày cho nghiên cứu, phân tích và hoàn thiện tài liệu, bài trình chiếu và bảng tính. Anthropic cho biết Opus 5.5 ở mức Medium đã ngang bằng hoặc vượt Opus 5 ở mức High trong các đánh giá về lập trình và công việc tri thức, và trong một bài kiểm tra phân tích sáp nhập nội bộ, mô hình hoàn thành trong 63 phút với chi phí bằng một nửa so với Opus 5 cho cùng tác vụ. Bài viết cũng liệt kê những thay đổi về cách viết prompt cho mô hình mới, bao gồm bỏ chỉ dẫn 'think hard', bắt đầu ở mức Medium và đính kèm biểu đồ thay vì gõ lại các giá trị của chúng.
Vì sao đáng chú ý: Hướng dẫn của chính Anthropic giải thích lý do Opus 5.5 giờ là mặc định cho công việc tri thức hàng ngày và những thói quen viết prompt nào nên bỏ đi đối với mô hình này.
inclusionAI đã phát hành LemonDecider 4B v3, một mô hình quyết định được tinh chỉnh từ Qwen3.5-4B, trả về xác suất lựa chọn, có/không hoặc thứ tự thông qua một lượt lan truyền xuôi kết hợp duy nhất thay vì sinh ra các token trả lời. Mô hình được huấn luyện trên khoảng 1,20M dòng quyết định/hỏi đáp và đạt 61,67 trên bộ công khai Decision Index 0.4, với độ trễ yêu cầu trung vị là 49,9 ms.
inclusionAI đã phát hành SingVL S1, một mô hình quyết định đa phương thức 4B được xây dựng trên Qwen3.5, có khả năng trả lời các câu hỏi có tên trên văn bản hoặc JSON và tối đa bốn hình ảnh trong một lần chạy xuôi duy nhất của Transformers. Mô hình hỗ trợ câu hỏi lựa chọn, có/không (noul) và câu hỏi chấm điểm từ 2–10 mức, đạt 73,94 trên Public Vision Index và 69,76 trên Public Text Index. Mô hình đi kèm mã suy luận Python và một máy chủ HTTP FastAPI.
Google DeepMind đã cung cấp Gemini 4 Carbon cho nhà phát triển, doanh nghiệp, nhà khoa học và người tiêu dùng, định vị nó cao hơn Gemini 4 Argon cho các tác vụ cần suy luận sâu hơn và nhiều token hơn. Carbon xếp hạng #1 trên CursorBench 4.0, WANDR của Perplexity và AutomationBench của Zapier với chi phí mỗi tác vụ thấp hơn hơn 2 lần so với mô hình bên ngoài tốt thứ hai, và có giá 2 USD mỗi triệu token đầu vào và 10 USD mỗi triệu token đầu ra, cùng mức giá giới thiệu như Argon. Google cũng đã xem trước /swarm trong Google Antigravity, biến một câu lệnh duy nhất thành một nhóm tác tử phối hợp, và báo cáo rằng Carbon đã chặn 99% quỹ đạo tấn công trong thử nghiệm tấn công mạng mô phỏng.
Vì sao đáng chú ý: Ghi chú phát hành của Google trình bày chi tiết cách Gemini 4 Carbon đánh đổi việc dùng nhiều token hơn để lấy suy luận sâu hơn, xếp hạng nhất trên CursorBench 4.0, WANDR và AutomationBench với chi phí mỗi tác vụ dưới một nửa so với mô hình bên ngoài tiếp theo.
Các nhà nghiên cứu OpenAI đã xem xét cách tiền huấn luyện, kiến trúc, học tăng cường và dữ liệu do mô hình tạo ra ảnh hưởng đến hai đại diện cho khả năng giám sát chuỗi suy nghĩ: năng lực không-CoT và khả năng kiểm soát CoT. Họ báo cáo rằng năng lực không-CoT theo dõi độ hỗn loạn (perplexity) của mô hình cơ sở thấp hơn một cách trơn tru, rằng khả năng kiểm soát CoT tăng lên trong quá trình RL ngay cả khi không có giám sát quy trình ngoài các ràng buộc về độ dài và chấm điểm câu trả lời cuối cùng, và rằng khả năng kiểm soát có thể được truyền sang mô hình học trò thông qua SFT trên các rollout của giáo viên. Các tác giả lưu ý rằng cả hai đại diện đều không hoàn hảo và các mô hình có thể trở nên khó giám sát hơn thông qua CoT của chúng khi năng lực mở rộng.
Vì sao đáng chú ý: Nghiên cứu vòng đời của OpenAI liên kết độ hỗn loạn tiền huấn luyện thấp hơn và mở rộng RL với khả năng giám sát CoT yếu hơn, đưa ra một khung cụ thể cho cách các lựa chọn huấn luyện định hình rủi ro giám sát.
Hugging Face đã công bố một bài giải thích về mô hình quyết định, loại mô hình nhận một trạng thái cùng các câu hỏi có kiểu và trả về xác suất trên các câu trả lời được định nghĩa trước thay vì sinh văn bản. Bài viết trình bày chi tiết các primitive choice, score và noul, công thức độ tin cậy, và sự hỗ trợ mới thông qua DecisionPipeline và AutoModelForDecision của Transformers, một endpoint /v1/systemone dùng chung trong Transformers và llama.cpp, một thẻ Hub để khám phá, và tinh chỉnh với Trainer API. Bài viết lưu ý rằng cùng endpoint đó cũng hoạt động với các LLM tự hồi quy tương thích bằng cách tính điểm logit của câu trả lời trong một lượt lan truyền xuôi theo lô.
Vì sao đáng chú ý: Hugging Face giải thích cách các mô hình quyết định biến phân loại thành một giao diện có kiểu, không sinh văn bản và chỉ ra cách phục vụ và tinh chỉnh chúng với Transformers và llama.cpp.
Các nhà nghiên cứu Apple và cộng tác viên Harvard đề xuất weighted state souping, một phương pháp học trọng số phụ thuộc truy vấn để tái tổ hợp các mã hóa trạng thái SSM đã lưu trong bộ nhớ đệm, cải thiện hiệu suất ngữ cảnh dài trên QA tài liệu đơn bước và đa bước, truy xuất needle-in-a-haystack, theo dõi biến và sử dụng công cụ. Một biến thể thưa đạt chi phí mã hóa gần như không đổi theo độ dài ngữ cảnh trong khi vẫn giữ nguyên hoặc đôi khi cải thiện hiệu suất. Bài báo đã được chấp nhận tại hội thảo PALM tại NeurIPS 2026.
Một nghiên cứu của Apple và Harvard chỉ ra rằng cơ chế gating trong Mô hình Không gian Trạng thái (SSM) khiến chúng trước tiên học một giải pháp "ghi nhớ" trong trọng số, làm chậm trễ hoặc thậm chí ngăn cản việc hội tụ đến học trong ngữ cảnh đúng đắn. Điều này xảy ra ngay cả khi kiến trúc và dung lượng bộ nhớ không đặt ra giới hạn cơ bản nào. Tuy nhiên, gating thường cải thiện khả năng tổng quát hóa cho độ dài chuỗi dài.
Goodfire Research đã công bố một nghiên cứu lập luận rằng các neuron MLP riêng lẻ trong Qwen3.6-35B-A3B có thể diễn giải được hơn so với giả định, dựa trên các công cụ thưa hóa, quy gán và các tác nhân nghiên cứu. Việc loại bỏ 92,2% kích hoạt neuron MoE yếu nhất mỗi lượt truyền xuôi chỉ làm tăng mất mát của mô hình ngôn ngữ thêm 2,9%, và 69% các cực neuron có một chế độ duy nhất chịu trách nhiệm cho ít nhất 90% hiệu ứng nhân quả của chúng. Các mô tả neuron bằng ngôn ngữ tự nhiên cho phép một mô hình giám khảo dự đoán việc kích hoạt với độ chính xác 95% so với văn bản ngẫu nhiên và phục hồi 73% thiệt hại do loại bỏ thông qua mô phỏng.
Vì sao đáng chú ý: Nghiên cứu của Goodfire về các neuron của Qwen3.6-35B-A3B lập luận rằng chỉ riêng các kích hoạt mạnh đã mang phần lớn tính toán của mô hình, đưa ra một giải pháp thay thế cụ thể cho cách diễn giải bằng từ điển đặc trưng.
Các nhà nghiên cứu giới thiệu HOPE, một phương pháp cắt tỉa chuyên gia bậc hai cho các mô hình ngôn ngữ Mixture-of-Experts, có tính đến tương tác cặp giữa các chuyên gia cùng kích hoạt thay vì chấm điểm từng chuyên gia một cách độc lập. Ở mức cắt tỉa 50%, HOPE đạt thứ hạng trung bình tốt nhất trong số mọi phương pháp, với mức cải thiện lên tới +6,1% trên các tác vụ lập trình dạng agent so với phương pháp cắt tỉa tốt thứ hai. Công trình nhắm vào nút thắt bộ nhớ ở các mô hình như Qwen3.5-122B, nơi các MLP chuyên gia chiếm 95% trong tổng dung lượng khoảng 250 GB.
Preferred Networks đã phát hành PLaMo 3.0 Fin, một mô hình ngôn ngữ nhỏ chuyên ngành tài chính được xây dựng trên mô hình tiền huấn luyện PLaMo 3 NICT từ nghiên cứu chung với NICT và được huấn luyện thêm trên dữ liệu tài chính tiếng Nhật, công bố trọng số mở trên Hugging Face theo PLaMo Community License. Mô hình bổ sung Reasoning từng bước với các dấu vết suy luận được xuất bằng tiếng Nhật, cùng với tool calling cho tìm kiếm web, tính toán và truy cập cơ sở dữ liệu nội bộ, và có thể chạy trên một GPU duy nhất trong môi trường đám mây kín hoặc tại chỗ. PFN cho biết quá trình huấn luyện theo chỉ dẫn cho Reasoning và sử dụng công cụ được thực hiện trên chip AI MN-Core 2 của riêng họ, với việc chuyển mã hoàn thành trong vòng một tuần và tốc độ huấn luyện tương đương với môi trường GPU.
Bài báo REINFORCE Zero của NVIDIA Research và Inferact cho thấy việc căn chỉnh kernel của rollout và trainer cho phép lấy mẫu quan trọng ở mức token không cắt (unclipped token-level importance sampling) hiệu chỉnh độ trễ trọng số còn lại, huấn luyện ổn định qua 20.000 lần cập nhật ở policy lag 64 và đạt thông lượng bước huấn luyện gấp 2,40 lần so với huấn luyện đồng bộ với kernel đã căn chỉnh. Với kernel tiêu chuẩn, KL trung vị từ rollout đến learner tăng 83,33 lần trong suốt quá trình chạy và pass@1 trực tuyến trên AIME24 giảm từ 34,27% xuống 13,96%, trong khi một sequence gate giúp ổn định huấn luyện nhưng loại bỏ 24,48% chuỗi tính đến 1.000 lần cập nhật cuối. Thiết lập zero-mismatch hiện bao phủ DeepSeek-V4.1-Flash, Kimi K3.1 vào ngày phát hành, cùng DeepSeek-V4-Flash và Kimi K3.1 trên AMD MI355X, với mã nguồn tại Inferact/zero-mismatch-rl và NVIDIA-NeMo/labs-molt.
Vì sao đáng chú ý: NVIDIA Research và Inferact tách khoảng cách giữa rollout và learner trong async RL thành độ trễ trọng số và sự không khớp kernel, cho thấy việc căn chỉnh kernel cho phép lấy mẫu quan trọng không cắt duy trì huấn luyện ổn định ở policy lag 64.
Zyphra Research đã phát hành ZYFA, các nhân tính toán attention prefill nhân quả BF16 và FP8 cho MI355X của AMD (CDNA4, gfx950), hỗ trợ head dimension 128 và hình dạng MLA của DeepSeek-V2. Trên các activation từ Mistral-7B, Qwen3-8B và DeepSeek-V2-Lite ở 16K token, các nhân FP8 của ZYFA đạt thông lượng 1,16–1,76× so với AITER, và trên đầu vào Gaussian ở 32K token đạt 1,26–1,37× ở head dimension 128 và 1,99× ở hình dạng MLA. Sai số FP8 thấp hơn 62–78% so với AITER ở head dimension 128.
ASpec là một khung huấn luyện thông lượng cao cho các mô hình nháp giải mã suy đoán, được xây dựng từ cơ sở mã TorchSpec với cơ chế attention tối ưu, các kernel hợp nhất và tính toán head/loss chọn lọc. Trên một lần chạy Qwen3-8B 4K, huấn luyện chỉ Draft đạt 15.256,44 token đầu vào/giây trên một GPU, gấp 1,96× TorchSpec, trong khi cửa sổ ổn định trực tuyến 8 GPU đạt 77.721,37 token/giây, gấp 2,28× TorchSpec. Nó hỗ trợ DSpark, DFlash, EAGLE3/4 và các draft MTP gốc, với quickstart Qwen3-8B và Ling tiny.
Goodfire Research đề xuất định hình cơ chế, một khung làm việc thêm các hình phạt lên các hướng khái niệm nội tại của mô hình trong quá trình huấn luyện để nó học cách dựa vào hoặc biểu đạt các khái niệm cụ thể thay vì chỉ tối đa hóa phần thưởng nhiệm vụ. Trong các thí nghiệm X-quang ngực, một tác nhân LLM đã sử dụng các đặc trưng autoencoder thưa để tìm các hướng tắt giống ống, và việc định hình sự phụ thuộc đã vượt qua cả huấn luyện tiêu chuẩn và một đường cơ sở dữ liệu cân bằng.
Buoyant công bố Kinference, một control plane mã nguồn mở Apache v2 định tuyến lưu lượng suy luận tương thích OpenAI và Anthropic đến các worker vLLM trên Kubernetes, bổ sung giới hạn tốc độ token, theo dõi mức sử dụng và chi phí theo từng tenant, cân bằng tải nhận biết KV-cache và các chính sách suy luận bằng YAML. Trong các benchmark công khai của dự án, Kinference giảm 95% thời gian đến token đầu tiên trung vị và 45% độ trễ end-to-end trung vị so với cân bằng tải dịch vụ Kubernetes tiêu chuẩn trên một workload, và phục vụ goodput gấp 7,4 lần trên shared-prefix và khoảng 3,5 lần trên multiturn trong một bài kiểm tra công suất. Các chính sách có thể định tuyến prompt đơn giản hơn đến các mô hình rẻ hơn, đẩy lưu lượng đột biến tràn sang các nhà cung cấp như Bedrock và Databricks, hoặc giữ các yêu cầu gắn thẻ PII bên trong cluster, và các chỉ số theo từng tenant bao gồm tốc độ token, TTFT, ITL và token prompt có cache so với không có cache.
Vì sao đáng chú ý: Kinference của Buoyant bổ sung cân bằng tải nhận biết KV-cache và các chính sách suy luận bằng YAML lên trên vLLM, với các benchmark tuyên bố cải thiện lớn về TTFT và goodput so với định tuyến dịch vụ Kubernetes tiêu chuẩn.
Ai2 giới thiệu StateBench, một bộ đánh giá với bốn mức độ khó cho việc theo dõi trạng thái trong ngữ cảnh dài, từ gán bất biến đến cập nhật tự tham chiếu và tham chiếu chéo. Trong các bài kiểm tra, Gemini 3.8 Flash, Claude Opus 5.5, và GPT-6 Sol và Luna xử lý được các mức dễ hơn nhưng giảm xuống còn 13% hoặc thấp hơn trên các bài toán hữu hạn tổng quát dài nhất, trong khi Gated DeltaNet 275M tham số và các mô hình lai được huấn luyện từ đầu tổng quát hóa gần như hoàn hảo ở ba mức đầu tiên và các transformer không bao giờ học được mức khó nhất.
Các nhà nghiên cứu của Apple đề xuất một công thức hai giai đoạn để chưng cất một Transformer thành kiến trúc Mamba thuần không có bất kỳ khối Attention nào. Phương pháp này trước tiên chưng cất một Transformer đã được huấn luyện trước thành một mô hình Attention tuyến tính hóa thông qua một kỹ thuật kernel được điều chỉnh, sau đó chưng cất mô hình đó thành một mô hình Mamba được điều chỉnh. Mamba được chưng cất thu được giữ lại phần lớn hiệu năng của Pythia-1B, đạt perplexity 14,01 so với 13,86 của mô hình giáo viên, với một số khoảng cách trên các tác vụ dựa vào khả năng nhớ trong ngữ cảnh.
Google đã chạy một bài đánh giá tác nhân lập trình tự động chấm gồm 50 câu hỏi để kiểm tra liệu một bộ phân loại nhẹ, Jev của TypeSafe, có thể định tuyến từng tác vụ đến cấu hình Gemini rẻ nhất mà vẫn trả lời đúng hay không. Một heuristic regex cố định và độ dài prompt đạt 93,8% trên 16 câu hỏi phát triển nhưng giảm 23,2 điểm xuống 70,6% trên 34 tác vụ giữ lại, trong khi Jev đạt 96,0% trên toàn bộ bộ kiểm thử. Thiết lập không định tuyến mạnh nhất, Gemini 3.8 Flash ở chế độ suy nghĩ thấp, giải được tất cả 50 tác vụ, và một bộ định tuyến Jev gửi tác vụ đến Flash-Lite trước rồi nâng cấp những tác vụ bị gắn cờ cũng giải được tất cả 50 tác vụ trong khi giảm chi phí và thời gian phản hồi; giới hạn maxOutputTokens ở 300 không tiết kiệm gì trên các tác vụ dễ và làm hỏng 7 trong số 25 tác vụ khó.
Zyphra đã giới thiệu Zyphra Hierarchical Attention (ZHA), một phương pháp attention thưa xây dựng một cây các bản tóm tắt KV-cache nén và định tuyến các truy vấn từ trên xuống qua cây đó, mang lại độ phức tạp dưới bậc hai với các ngưỡng top-p phù hợp. Các mô hình đã được huấn luyện trước hiện có thể được thích nghi thông qua một giai đoạn chưng cất KL ngắn chỉ sử dụng vài tỷ token; trên Qwen3.6-35B-A3B, ZHA thêm 81.920 tham số có thể huấn luyện, khoảng 0,00024% của mô hình cơ sở. Trên RULER-13 ở 256K token, mô hình cây rộng đạt 96,2% so với 96,0% của dense attention, và cây sâu sáu tầng đạt 63,4% trên LongBench v2 so với 58,0% của dense trong khi chỉ chú ý đến khoảng 1,1% của KV cache; một mô hình roofline trên GPU dự báo tốc độ nhanh hơn 32-35 lần so với dense attention ở 10M token.
Anthropic phát hành FlashProve, một nguyên mẫu mã nguồn mở sử dụng zkSNARK để chứng minh một phản hồi đến từ một mô hình đã cam kết mà không tiết lộ trọng số của nó. Trên Llama 4 Maverick (MoE 400 tỷ tham số, trọng số 4-bit), một H100 duy nhất tạo bằng chứng với tốc độ khoảng 110 token/giây với bằng chứng ~19 MB mỗi yêu cầu 1.024 token, tức khoảng 70-95 lần thời gian GPU mà vLLM cần cho cùng công việc. Bản phát hành bao gồm mã prover và verifier có thể thực thi, một verifier C++ nhanh, một verifier Lean với các tuyên bố completeness, soundness và zero-knowledge được máy kiểm chứng, và một báo cáo kỹ thuật, tất cả theo Apache 2.0.
Vì sao đáng chú ý: FlashProve của Anthropic cho thấy các bằng chứng dựa trên zkSNARK về suy luận đang trở nên thực tiễn đối với một mô hình MoE 400 tỷ tham số, với mã nguồn mở và các tuyên bố bảo mật được Lean kiểm chứng.
Sakana AI đã tổ chức hội thảo "Từ Mô hình Thế giới đến AI Thực tế" tại Tokyo vào ngày 26 tháng 10 năm 2026, nơi Cố vấn Khoa học Chính Jürgen Schmidhuber có bài phát biểu chính và Sakana AI công bố sẽ phát triển dòng mô hình ngôn ngữ tiền huấn luyện của riêng mình, Sakana Sawara (tên tạm thời). Mô hình nhỏ đầu tiên, Sawara Small (tên tạm thời), dự kiến ra mắt vào mùa xuân năm 2027 nếu quá trình phát triển diễn ra suôn sẻ. Hơn 400 người tham dự đã tham gia sự kiện, cũng bao gồm cuộc trò chuyện giữa Schmidhuber và CEO David Ha.
Kết hợp chưng cất tri thức với khung Medusa giúp một học trò TinyLlama 1,1 tỷ tham số đạt chất lượng tương đương giáo viên Llama-3.1 70 tỷ tham số trong khi chạy nhanh gấp 10 đến 20 lần với chi phí dưới một phần ba. Khi làm việc với Booking.com trên AI Trip Planner, Smart Filters và tạo mô tả chỗ ở, pipeline đã thu hẹp hơn 90% khoảng cách chất lượng và tăng thêm tốc độ gấp 2 đến 3,6 lần nhờ các đầu Medusa.
Sakana AI đã áp dụng hệ thống phân tích câu chuyện của mình cho khoảng 710.000 phản ứng trên X đối với bài đăng của cả hai ứng cử viên và các tổ chức đảng cấp bang trong cuộc đua Thượng viện Texas, ước tính tỷ lệ ủng hộ và chỉ trích kèm biên sai số thống kê. Sản phẩm Sakana Marlin của hãng đã đối chiếu chéo các quan sát trên SNS với thăm dò dư luận, tài chính chiến dịch, thị trường dự đoán và tin tức, phát hiện những thay đổi trong đánh giá ứng cử viên khoảng hai tháng trước khi các tổ chức đánh giá lớn như Cook Political Report thay đổi nhận định của họ.
inclusionAI đã phát hành Ling-3.0-flash-Sante-fp8, phiên bản lượng tử hóa FP8 của mô hình Ling-3.0-flash-Sante chuyên về chăm sóc sức khỏe, giữ nguyên 124B tổng tham số và 5.1B tham số hoạt động mỗi token. Mô hình đạt mức trung bình 73.9 trên các benchmark chăm sóc sức khỏe, tương đương checkpoint BF16, đồng thời giảm bộ nhớ trọng số cho phần cứng hỗ trợ FP8. Mô hình chỉ dành cho nghiên cứu này hỗ trợ ngữ cảnh 256K token và mặc định ở chế độ thinking với khả năng gọi công cụ.
Meta đã trình bày chi tiết về thế hệ tiếp theo của Andromeda, công cụ truy xuất quảng cáo được cá nhân hóa của họ, công cụ này chấm điểm hơn một tỷ quảng cáo mỗi giây trong môi trường production — tăng 100 lần thông lượng so với hệ thống năm 2024. Kiến trúc mới mang mixture-of-experts lấy cảm hứng từ LLM vào truy xuất, đạt hiệu năng mô hình gần mức xếp hạng với số FLOPs lúc suy luận ít hơn khoảng 300 lần, với hơn 10 tỷ quảng cáo mỗi giây trên một GPU NVIDIA GH200 duy nhất. Kể từ năm 2025, Andromeda đã mang lại mức tăng 2,4% về chuyển đổi trên Facebook.
Trang dự án UBTree giới thiệu UBTree, một phương pháp giải mã suy đoán soạn thảo cây token song song bằng mô hình unigram và bigram, được trình bày chi tiết trong arXiv:2609.39972. Video demo so sánh UBTree với AR, DFlash và DSpark trên Ling3 Tiny và Flash sử dụng các prompt HumanEval anti_shuffle và bf không thay đổi, với cả bốn phương pháp đều tạo ra token đầu ra giống hệt nhau. Trang web là HTML/CSS/JS thuần được phục vụ qua GitHub Pages, với số liệu biểu đồ và bảng được lưu trong static/js/data.js.
Google Research đã giới thiệu một khung "giấc ngủ" cho học liên tục, xen kẽ tương tác chủ động với củng cố bộ nhớ ngoại tuyến, cho phép LLM tiếp thu các sự kiện mới vào tham số Mixture-of-Experts mở rộng thay vì mất kiến thức trước đó. Cách tiếp cận kết hợp mở rộng tham số, chưng cất on-policy với mô phỏng dựa trên học tăng cường, và một giai đoạn mơ tạo và lọc các mẫu huấn luyện tổng hợp. Các tác giả báo cáo mức giảm hiệu suất gần bằng không trong dịch liên tục cho các ngôn ngữ chưa thấy như Manchu và Kalamang, khả năng mở rộng gần hoàn hảo lên 10M token trên BABILong, kết quả 48,9% đơn nhiệm vụ và 46,2% CPT trên việc tích hợp sự kiện dựa trên SQuAD, và 79,2%, 69,0% và 46,1% trên AIME 24/25 và HMMT 25.
Apple công bố iMac mới trang bị chip M6, với CPU lên đến 12 lõi và GPU có Neural Accelerators trong từng lõi, cùng Dual 16-core Neural Engine cho tốc độ AI trên thiết bị nhanh hơn tới 5 lần so với M4. Apple tuyên bố hiệu năng nhanh hơn tới 18 lần so với iMac dùng Intel phổ biến nhất và xử lý prompt AI trong LM Studio nhanh hơn tới 12 lần so với M1. Đặt trước mở từ ngày 28 tháng 10, bán ra từ thứ Sáu, ngày 6 tháng 11.
Apple đã công bố MacBook Pro 14 inch mới với chip M6, trang bị CPU 12 lõi và GPU 12 lõi mang lại hiệu năng đồ họa nhanh hơn tới 30% và khối lượng công việc AI nhanh hơn tới 25% so với M5. Con chip bổ sung Neural Engine kép 16 lõi và Bộ tăng tốc Neural trên GPU cho AI trên thiết bị, với thời lượng pin lên đến 24 giờ, Wi-Fi 7 và Bluetooth 6. Đặt trước mở từ ngày 28 tháng 10, bắt đầu bán ra từ thứ Sáu, ngày 6 tháng 11.
Các nhà nghiên cứu Apple giới thiệu GHARP, một phương pháp tạo hoạt ảnh cho đầu người 3D trong thời gian thực từ một vài ảnh đầu vào cộng với tín hiệu biểu cảm dẫn động, chia tách nhiệm vụ thành một giai đoạn nhận dạng ngoại tuyến và một giai đoạn hoạt ảnh thời gian chạy nhẹ. Một mạng căn chỉnh cơ thể loại bỏ sự mơ hồ về tư thế cơ thể và quần áo, và GHARP đạt chất lượng tiên tiến nhất trên bộ chuẩn Ava-256 trong khi chạy nhanh hơn tới 13× trên GPU A100 với số Gaussian ít hơn 8×.