Tới nội dung
#Hệ sinh thái mã nguồn mở
24 tháng 10Thứ Bảy
  1. Epoch AI · Gradient Updates42

    Epoch Brief: Thử nghiệm tự động hóa công việc bằng AI, Chuẩn đánh giá SpireClimb và bước tiến biên giới của Gemini 4 Argon

    Epoch AI đã thử nghiệm sáu mô hình hàng đầu trên 11 nhiệm vụ công việc thực tế của Epoch và nhận thấy không mô hình nào có thể đáp ứng đáng tin cậy tiêu chuẩn chất lượng của mình, với Claude Fable 5.1 và GPT-6 Astra gần như ngang bằng nhau ở vị trí dẫn đầu. Chuẩn đánh giá SpireClimb mới của họ cho thấy các mô hình biên giới đã đi từ chỗ chật vật với Slay the Spire đến chỗ thắng hơn 90% các lượt chơi ở độ khó cơ bản trong sáu tháng, với GPT-6 Astra đạt 98%. Gemini 4 Argon đạt 166 điểm trên Chỉ số Năng lực Epoch, ngang bằng với Claude Fable 5.1 và xếp sau Claude Opus 5.5 và GPT-6 Astra ở mức 169.

  2. SemiAnalysis60

    SemiAnalysis thử nghiệm bộ công cụ huấn luyện PyTorch gốc và trình phân tích Neuron Explorer của Amazon Trainium3

    Nhóm kỹ thuật của SemiAnalysis đã thử nghiệm các rack Trainium3 trên bộ công cụ TorchTitan và TorchNeuron và nhận thấy trải nghiệm PyTorch gốc là một cải tiến lớn so với cách tiếp cận PyTorch/XLA cũ, mặc dù vẫn còn lỗi và thời gian biên dịch kéo dài. Huấn luyện Qwen3-32B trên 16 chip Trainium2 đạt 14.156 token mỗi giây với MFU 30,47% ở chế độ biên dịch, tăng 1,28 lần so với chế độ eager, trong khi công thức gpt-oss 20B mất 27 phút 17 giây để biên dịch. Nhóm cũng đánh giá Neuron Explorer là trình phân tích hàng đầu trong ngành, vượt trước các công cụ của Nvidia và AMD, và báo cáo rằng Trainium3 đã vượt qua 89 trong số 96 trường hợp kiểm thử FlexAttention.

23 tháng 10Thứ Sáu
  1. Modal Blog58

    Modal và Sakana AI đã phục vụ một mô hình MoE ~1T tham số cho API Sakana Namazu như thế nào

    Nhóm kỹ sư triển khai tại chỗ của Modal đã làm việc với Sakana AI để chạy Sakana Namazu, một mô hình MoE ~1T tham số được tinh chỉnh cho bối cảnh kinh doanh Nhật Bản, trên Modal cho lần ra mắt API công khai của mô hình này. Nhóm đã áp dụng lượng tử hóa NVFP4 chọn lọc chỉ cho các routed expert, giữ attention, router và shared expert ở BF16, đồng thời hiệu chỉnh trên các cuộc hội thoại chủ yếu bằng tiếng Nhật để cả 23.040 expert đều thấy lưu lượng đại diện. Một mô hình draft DFlash tùy chỉnh được huấn luyện trên hơn 30 tỷ raw token ID đã tăng tỷ lệ chấp nhận token suy đoán thêm 25% và giảm độ trễ giải mã mỗi token khoảng 35%, trong khi một drafter thứ hai được huấn luyện trên khoảng 1 triệu yêu cầu thực tế đã nâng độ dài chấp nhận trung bình từ 3,51 lên 5,01 và giảm độ trễ p99 từ 68s xuống 52s.

22 tháng 10Thứ Năm
  1. SemiAnalysis75

    Cộng sinh Huawei-DeepSeek: Điểm chuẩn Ascend 950PR và hỗ trợ Ascend Kernel của DeepSeek

    SemiAnalysis xem xét quan hệ đối tác Huawei-DeepSeek, đánh giá điểm chuẩn Ascend 950PR (28 lõi cube, 128 GiB HBM) và xem xét bản phát hành ngày 30 tháng 9 của DeepSeek về hỗ trợ Ascend cho TileLang, DeepGEMM, DeepEP, TileKernels, FlashMLA và DeepSelect. 950PR đạt băng thông HBM đỉnh 1,6384 TB/s và vượt hiệu suất sử dụng băng thông của H100 ở kích thước tin nhắn nhỏ, trong khi tỷ lệ phần tính toán đạt được/khả thi trung vị của nó là 41,5% so với 46,8% của H100; chỉ TileLang là khả dụng cho đến nay vì CANN 9.2.0 cần thiết chưa được phát hành tại thời điểm viết. Các tác giả lập luận rằng ngăn xếp phần mềm gần mức tiên tiến ngay cả khi phần cứng Huawei còn kém hơn, và lưu ý rằng hầu hết các tối ưu hóa nhắm vào supernode, với vLLM-Ascend vẫn thất bại ngay khi chạy trên máy chủ x86.

  2. Anthropic Newsroom71

    Anthropic tặng chuẩn Agent Skills cho Agentic AI Foundation

    Anthropic đang tặng Agent Skills, chuẩn mở giúp cung cấp kiến thức chuyên biệt và quy trình làm việc cho các tác nhân AI, cho Agentic AI Foundation (AAIF) thuộc Linux Foundation. Hơn 70 nền tảng tác nhân bao gồm ChatGPT, Cursor, GitHub Copilot và VS Code đã tích hợp chuẩn này kể từ khi được công bố vào tháng 12 năm 2025, với 1 triệu kỹ năng được công bố và gần 280 triệu lượt cài đặt. Việc tặng bao gồm tên và logo Agent Skills, tổ chức GitHub và tên miền agentskills.io, với các kỹ sư từ Anthropic, Google, OpenAI và các công ty khác duy trì nó với tư cách cá nhân dưới sự dẫn dắt của các Lead Maintainer David Soria Parra và Mahesh Murag.

    Vì sao đáng chú ý: Anthropic trao chuẩn Agent Skills của mình cho AAIF thuộc Linux Foundation, cùng một ngôi nhà trung lập như MCP, mang lại cho cộng đồng tiếng nói chính thức về lộ trình của đặc tả.

21 tháng 10Thứ Tư
  1. Recode China AI72

    Dự thảo kiểm soát xuất khẩu AI của Trung Quốc nhắm vào các mô hình lớn và tác nhân AI nhưng miễn trừ các bản phát hành trọng số mở

    Bộ Thương mại và Bộ Khoa học và Công nghệ Trung Quốc ngày 16 tháng 10 đã công bố dự thảo bổ sung vào danh mục kiểm soát xuất khẩu, lần đầu tiên bao gồm các mô hình AI lớn tiên tiến, tác nhân AI và cụm máy tính lớn, với 14 công nghệ bị cấm và 26 công nghệ bị hạn chế.

  2. Mistral AI48

    Mistral và NVIDIA hợp tác về AI cho quy trình kỹ thuật

    Mistral và NVIDIA đang hợp tác để xây dựng các quy trình kỹ thuật bản địa AI, kết hợp Mistral Large 4 với các thư viện NVIDIA CUDA-X và Warp, nhằm tăng tốc mô phỏng và cho phép thiết kế vòng kín. Sự hợp tác cũng sẽ tạo ra các chuẩn đánh giá công khai và bộ dữ liệu mở cho các mô hình vật lý và AI tác tử trong CAE và EDA, cùng với tích hợp với NVIDIA Omniverse để tạo cảnh 3D và tài sản SimReady. Mistral Large 4, được gọi là Le Chonk, có tổng cộng khoảng 1 nghìn tỷ tham số và 49 tỷ tham số hoạt động, được huấn luyện trên 3.800 GPU NVIDIA Grace Blackwell.

  3. OpenClaw Blog22

    OpenClaw ra mắt Tuần lễ Tập trung, bắt đầu với Control UI

    OpenClaw đã ra mắt Tuần lễ Tập trung, một chương trình mỗi tuần tập trung vào một lĩnh vực trong lộ trình của mình với một Maintainer phụ trách và mời cộng đồng đóng góp mã nguồn, báo cáo lỗi, kiểm thử, tài liệu và phản hồi về khả năng tiếp cận. Tuần lễ Tập trung đầu tiên diễn ra từ ngày 19–25 tháng 10 năm 2026 về Control UI, với Vyctor Brzezowski là Maintainer. Một nhóm Clawtributors luân phiên được chọn cũng nhận quyền truy cập khách tạm thời vào môi trường OpenClaw Team dùng chung để kiểm thử các tính năng cộng tác nhiều người của nó.

18 tháng 10Chủ Nhật
  1. Recode China AI40

    Trung Quốc đề xuất kiểm soát xuất khẩu AI, DeepSeek đặt cược vào robot, Infinigence huy động 334 triệu USD

    Bộ Thương mại và Bộ Khoa học Trung Quốc đề xuất bổ sung mô hình AI, tác nhân AI, thiết kế chip và cụm máy tính vào danh mục kiểm soát xuất khẩu công nghệ, với quyền truy cập API, ứng dụng và SaaS được loại trừ khỏi dự thảo quy định. DeepSeek được cho là sẽ dẫn dắt vòng gọi vốn hạt giống cho startup AI robot Winverse AI, trong khi Infinigence AI hoàn tất vòng gọi vốn Series C trị giá 2,3 tỷ nhân dân tệ. DeepSeek cũng phát hành V4.1-Flash-1017 với trọng số theo giấy phép MIT và cửa sổ ngữ cảnh 1 triệu token.

15 tháng 10Thứ Năm
  1. Modal Blog34

    Tăng cường LiveKit Agent của bạn với Modal GPUs

    Modal giải thích cách chạy LiveKit Agents với các mô hình open-weights hoặc tùy chỉnh trên GPU serverless của mình, sử dụng Expression Video Avatar open-weights của BitHuman với giọng đọc từ Qwen3-TTS để nhân bản Charles Frye. Thiết lập này mở endpoint /launch của container avatar thông qua một Modal Server và dùng Sticky Sessions để giữ các client WebSocket trên cùng một container, với GPU snapshots che giấu cold start.

  2. Meta AI Research Blog88

    Meta phát hành Muse Spark Open, mô hình đa phương thức trọng số mở 816B chạy trên hai Mac Studio

    Meta đã phát hành trọng số cho Muse Spark Open, một mô hình đa phương thức gốc với trọng số mở có tổng cộng 816B tham số (42B hoạt động) và cửa sổ ngữ cảnh 1M token, định hướng cho công việc lập trình và tác tử. Đây là mô hình đầu tiên trong phân khúc của nó chạy trên máy tính để bàn bằng hai Apple M5 Ultra Mac Studio với framework MLX, và có sẵn thông qua các đối tác API bao gồm Baseten, Fireworks AI, Groq, Modal, Nebius, OpenRouter và Together AI, với trọng số trên Hugging Face, Amazon SageMaker AI, Google Cloud Model Garden và Microsoft Foundry Models. Meta cho biết mô hình đi kèm với các kernel GPU Helion có thể tự động tinh chỉnh trong SGLang, mang lại tốc độ tăng tốc cấp kernel từ 1,03-3,95 lần trên GPU NVIDIA và AMD và tăng tốc end-to-end 3% trên AMD MI350.

    Vì sao đáng chú ý: Meta phát hành trọng số mở cho một mô hình đa phương thức 816B tham số chạy trên hai Mac Studio, mang đến cho nhà phát triển một lựa chọn cục bộ cho các tác vụ lập trình và tác tử dài hạn.

13 tháng 10Thứ Ba
  1. Recode China AI34

    Blog lan truyền của kỹ sư DeepSeek về rủi ro AI và Anthropic thu hút sự chú ý của truyền thông toàn cầu

    Một blog của Liu Shengyu, kỹ sư machine learning và kernel của DeepSeek, đã lan truyền mạnh mẽ sau khi anh đặt câu hỏi liệu AI tiên tiến hiện nay có thể tự tối ưu hóa mã GPU cấp thấp của chính nó hay không và so sánh CEO Anthropic Dario Amodei với Adolf Hitler. Bài đăng đã được các cơ quan truyền thông như South China Morning Post và Business Insider đưa tin, làm gia tăng tranh luận về việc ai nên kiểm soát AI tiên tiến.

  2. LiveKit Blog18

    Khắc phục sự cố LiveKit Egress: Các lỗi thường gặp và cách sửa

    LiveKit đã xuất bản hướng dẫn khắc phục sự cố cho Egress, bao gồm các lỗi thường gặp như lỗi 412 "không nhận được tín hiệu khởi động" từ các template không bao giờ gọi START_RECORDING, lỗi 404 không tìm thấy participant hoặc track trong vòng 30 giây, và lỗi 400 tải lên thất bại do thông tin xác thực S3/GCP/Azure không hợp lệ. Hướng dẫn cũng đề cập đến các vấn đề về layout, webhook và Egress tự lưu trữ, đồng thời lưu ý rằng hướng dẫn này áp dụng cho cả API StartEgress hiện tại và các API riêng theo nguồn đã bị ngừng hỗ trợ.

8 tháng 10Thứ Năm
  1. Goodfire Research71

    Goodfire huấn luyện và triển khai các bộ giám sát lạm dụng không gian mạng dựa trên probe trên Kimi K3 và GLM 5.3

    3 và triển khai chúng trên một ngăn xếp suy luận production, nơi một probe rẻ tiền lọc các lượt và chỉ những trao đổi đáng ngờ mới đến một LLM judge. Tỷ lệ gián đoạn phiên lành tính 5%, chi phí 65 đô la cho mỗi triệu lượt không có suy luận của judge và 185 đô la khi có nó, và không thêm tổn thất thông lượng đo được nào bên trong SGLang.

    Vì sao đáng chú ý: Goodfire cho thấy một chuỗi probe-cộng-judge có thể giám sát lạm dụng không gian mạng tác tử với chi phí thấp hơn khoảng 50 lần mà không có tổn thất thông lượng đo được, một công thức cụ thể để phục vụ các mô hình mở một cách an toàn.

1 tháng 10Thứ Năm
  1. Modal Blog58

    Modal Clusters chính thức khả dụng, chỉ với một dòng mã @modal.clustered để có cụm RDMA đa nút

    Modal thông báo Modal Clusters đã chính thức khả dụng cho tất cả workspace, cho phép người dùng yêu cầu cụm đa nút thông qua decorator duy nhất @modal.clustered. Các cụm cung cấp giao tiếp InfiniBand RDMA lên đến 6,4 Tbps, tự động cấu hình cho PyTorch và NCCL, cụm khởi động trong vài giây và tính phí theo giây. Modal cũng mô tả một gang scheduler mới đặt N nút cùng lúc và hỗ trợ RDMA được tích hợp vào runtime gVisor, với Decagon, 1x và Runway được nêu là người dùng cho tinh chỉnh nghìn tỷ tham số, tiền huấn luyện world model và suy luận video đa nút.

28 tháng 9Thứ Hai
  1. Mistral AI42

    Mistral mở trung tâm tại Munich cho AI vật lý và AI công nghiệp

    Mistral đã mở một trung tâm mới tại Munich, quy tụ các nhóm nghiên cứu tập trung vào AI vật lý và AI công nghiệp, cùng với các kỹ sư phục vụ các đối tác doanh nghiệp. Công ty cho biết sẽ xây dựng một gigawatt năng lực tính toán châu Âu vào năm 2030, và đang hợp tác với BMW về mô phỏng va chạm và Siemens Energy về các ứng dụng AI công nghiệp.

  2. Import AI47

    Import AI 474: Không gian tâm trí Platon, TPU trong vũ trụ và vòng lặp RSI bên ngoài của Zhipu

    Import AI 474 đề cập đến bài báo của Michael Levin lập luận rằng tâm trí là những mẫu phi vật lý "xâm nhập" vào cơ thể, với xenobot và anthrobot là bằng chứng. Số này cũng thảo luận về TPU trong vũ trụ và việc Zhipu khởi động một vòng lặp RSI bên ngoài.

25 tháng 9Thứ Sáu
  1. OpenClaw Blog74

    Microsoft Autopilot được xây dựng trên OpenClaw, với các đóng góp theo cả hai chiều

    Microsoft đã giới thiệu Autopilot, một tác nhân cá nhân thường trực được xây dựng trên OpenClaw, như một phần trong trải nghiệm Copilot mới của hãng, với bản xem trước riêng tư sẽ mở rộng đến những khách hàng đầu tiên vào cuối tháng này. Autopilot là tên mới của Microsoft Scout, được công bố hồi đầu năm nay, và nhóm của Omar Shahine cho biết đang làm việc với OpenClaw và OpenClaw Foundation về một runtime cấp doanh nghiệp. OpenClaw nêu bật các đóng góp ngược dòng từ các kỹ sư Microsoft, bao gồm kiểm tra tuân thủ chính sách, một companion Windows gốc, và các bản sửa lỗi độ tin cậy cho các tác vụ nền, khởi động lại và phản hồi trùng lặp.

    Vì sao đáng chú ý: Autopilot của Microsoft được xây dựng trên OpenClaw, và các đóng góp ngược dòng được liệt kê ở đây cho thấy một runtime tác nhân dùng chung cải thiện như thế nào trên các nền tảng.

22 tháng 9Thứ Ba
  1. OpenClaw Blog60

    OpenClaw bổ sung mô hình quyết định tùy chọn và giao diện Plugin SDK dùng chung

    OpenClaw đã giới thiệu hỗ trợ cho một mô hình quyết định được cấu hình riêng mà lõi và các plugin của nó có thể gọi thông qua api.runtime.decisions.evaluate trong Plugin SDK, trả về một lựa chọn, điểm số hoặc xác suất thay vì phản hồi trò chuyện. Tính năng này là tùy chọn và không thay thế mô hình trò chuyện, và các gói nhà cung cấp vẫn đang chờ một bản phát hành hỗ trợ. Bộ chuyển đổi TypeSafe hỗ trợ Jev được lưu trữ và một máy chủ System One cục bộ như Kev của Jared Palmer, và công cụ đánh giá đang được chuyển vào lõi OpenClaw với tên decision_evaluate.

    Vì sao đáng chú ý: OpenClaw bổ sung một lớp mô hình quyết định tùy chọn trả về câu trả lời có kiểu từ mã ứng dụng, với giao diện Plugin SDK dùng chung để các plugin có thể sử dụng mà không cần tích hợp riêng cho từng nhà cung cấp.

21 tháng 9Thứ Hai
  1. LiveKit Blog38

    So sánh các framework mã nguồn mở cho AI agent thoại và video thời gian thực: LiveKit Agents và Pipecat

    Hướng dẫn này so sánh LiveKit Agents và Pipecat, hai framework mã nguồn mở mà bài viết cho là quan trọng nhất để xây dựng AI agent thoại và video cho môi trường production, trên các khía cạnh kiến trúc, mức độ được sử dụng, trải nghiệm nhà phát triển và mức độ sẵn sàng cho production. LiveKit Agents chạy trên hạ tầng WebRTC và SIP mã nguồn mở của LiveKit và tự nối pipeline cho bạn, trong khi Pipecat không giả định transport nào và để nhà phát triển tự lắp pipeline theo từng giai đoạn. Bài viết cũng đề cập vị trí của TEN Framework, Dograh, Vision Agents và Vocode.

16 tháng 9Thứ Tư
  1. Mistral AI55

    Mistral hợp tác với Mozilla để cung cấp năng lượng cho Firefox Smart Window tại Pháp và Bắc Mỹ

    Mistral thông báo hợp tác với Mozilla, theo đó các mô hình của họ hiện cung cấp năng lượng cho Firefox Smart Window (bản beta), trợ lý duyệt web AI của Mozilla, cho người dùng tại Pháp và Bắc Mỹ, với Vương quốc Anh và Đức dự kiến sẽ có sau trong năm nay. Mistral cho biết các cuộc hội thoại trên Smart Window không được lưu trên máy chủ của Mozilla theo mặc định và các đối tác đồng ý không lưu giữ dữ liệu, và họ mô tả thỏa thuận này là việc mang các mô hình trọng số mở, được tinh chỉnh theo khu vực đến với trình duyệt dành cho người tiêu dùng.

14 tháng 9Thứ Hai
  1. Modal Blog40

    Cập nhật sản phẩm Modal: Sandbox Sidecars, hỗ trợ Kimi K3 và GLM 5.3, giao diện Dashboard làm mới

    Modal đã bổ sung hỗ trợ day-zero cho bốn mô hình open-weight — Kimi K3, Qwen3.8-2.4T-A95B, GLM-5.3 và GLM-5.3-Flash — trên Auto Endpoints, với Kimi K3 chạy ở tốc độ 460 token mỗi giây trên các khối lượng công việc agentic thông qua một DFlash speculator tùy chỉnh. Sandbox Sidecars bước vào giai đoạn public alpha, VM Sandboxes đạt public beta, và hệ số giá đa khu vực rộng giảm từ 1.5x xuống 1.15x. Dashboard được làm mới với bản beta chế độ sáng, và Python SDK 1.5.5 cùng JavaScript và Go SDK 0.10.0 đã được phát hành.

18 tháng 8Thứ Ba
  1. LiveKit Blog40

    LiveKit: robot đa người tham gia vượt ra ngoài kết nối 1:1

    LiveKit đang mở rộng kiến trúc SFU của mình ra ngoài các liên kết ngang hàng đơn lẻ để các triển khai robot có thể chạy các phiên đa người tham gia, trong đó một Room cho phép mỗi camera, mô hình, người vận hành hoặc dịch vụ tham gia như một người tham gia riêng. LiveKit mô tả ba kiến trúc: ghi dữ liệu có con người trong vòng lặp với robot, policy, người vận hành và bộ ghi trong cùng một phiên; điều phối kỹ năng do VLM dẫn dắt, trong đó một mô hình ngôn ngữ-thị giác chọn kỹ năng ở tần suất khoảng 1 Hz trong khi các người tham gia policy riêng biệt điều khiển robot ở tần suất hàng chục hertz; và leo thang policy, trong đó một mô hình phần thưởng ở 30 Hz hoặc cao hơn đánh dấu các trạng thái bị kẹt hoặc không an toàn và robot thu hồi quyền từ policy chuyên biệt.

13 tháng 8Thứ Năm
  1. MiniMax Blog71

    MiniMax phát hành Music 3.0, mô hình tạo nhạc trọng số mở cho các bài hát đầy đủ dài tới năm phút

    MiniMax giới thiệu Music 3.0, một mô hình tạo nhạc trọng số mở có khả năng sáng tác, phối khí và sản xuất một bài hát hoàn chỉnh dài tới năm phút từ một ý tưởng sáng tạo và phần lời tùy chọn trong một lần tạo. Pipeline kết hợp một Global LLM 8B được khởi tạo từ Qwen3.5-8B với một Local LLM 0.6B, hợp nhất các trạng thái ẩn liên tục của chúng để điều kiện hóa một mô-đun flow-matching 2.4B và một Flow-VAE 123M, đồng thời sử dụng RVQ tám lớp cùng Structured Captions mô tả cảm xúc, nhạc cụ và cách thể hiện giọng hát theo thời gian. MiniMax cho biết điều này mang lại khả năng diễn giải ý định sáng tạo chính xác hơn, phối khí đầy đủ hơn và giọng hát rõ ràng, tự nhiên hơn.

    Vì sao đáng chú ý: Phân tích kiến trúc của MiniMax cho thấy cách một Global LLM 8B kết hợp với một mô hình cục bộ 0.6B và ngăn xếp flow-matching nhắm giải quyết vấn đề mạch lạc của bài hát dài.

4 tháng 8Thứ Ba
  1. Modal Blog34

    Modal chuyển Functions serverless sang mặt phẳng I/O theo khu vực, giảm độ trễ p50 khoảng 80ms

    Modal đã di chuyển toàn bộ Functions sang một mặt phẳng I/O phân tán theo địa lý mới, giảm độ trễ end-to-end của Function Call khoảng 80ms ở p50. Trước đây, đầu vào và đầu ra của mọi Function đều được định tuyến qua các máy chủ I/O ở us-east, cộng thêm tới vài 100ms mỗi lần gọi; mặt phẳng mới có sẵn ở ≥4 khu vực và có thể chọn thông qua cờ routing_region. Lớp máy chủ đã được viết lại bằng Go, với các công việc không quan trọng được chuyển ra khỏi hot path.

27 tháng 7Thứ Hai
  1. Modal Blog75

    Kimi K3 của Moonshot hiện đã có trên Modal với hỗ trợ vLLM ngay ngày đầu

    Modal đã đưa Kimi K3 của Moonshot lên nền tảng của mình ngay trong ngày phát hành, cung cấp mô hình đa phương thức 2,8 nghìn tỷ tham số với cửa sổ ngữ cảnh 1 triệu token thông qua Shared API tính phí theo token và các Auto Endpoint chuyên dụng. Modal cho biết một DFlash speculator tùy chỉnh được điều chỉnh cho kiến trúc của K3 giúp tăng khả năng tương tác từ 100 lên 460 token mỗi giây và thông lượng từ 800k lên 1,5 triệu TPM mỗi GPU trên các khối lượng công việc agentic. Mô hình sử dụng thiết kế mixture-of-experts với 16 trong số 896 expert hoạt động mỗi token, và Moonshot đã đóng góp một triển khai prefix-caching mới cho vLLM trước khi phát hành.

    Vì sao đáng chú ý: Modal trình bày chi tiết cách họ đưa Kimi K3 2,8 nghìn tỷ tham số của Moonshot lên nền tảng của mình ngay trong ngày phát hành, bao gồm một DFlash speculator tùy chỉnh giúp tăng khả năng tương tác từ 100 lên 460 token mỗi giây.

23 tháng 6Thứ Ba
  1. Modal Blog60

    Modal ra mắt Auto Endpoints cho suy luận LLM tự phục vụ, tương thích API OpenAI

    Modal ra mắt Auto Endpoints, một dịch vụ tự phục vụ triển khai suy luận LLM cấp sản xuất dưới dạng endpoint tương thích API OpenAI, được hỗ trợ bởi một Modal App mà người dùng có thể xem và kiểm soát. Mỗi mô hình được hỗ trợ đi kèm một bản triển khai khởi điểm được tinh chỉnh từ hoạt động benchmark của chính Modal, sử dụng các engine như SGLang và DFlash speculative decoding drafter từ Z Lab, và người dùng có thể kiểm tra lựa chọn GPU, cờ engine và các chỉ số suy luận như TTFT, ITL và độ dài chấp nhận giải mã suy đoán. Modal cũng phát hành Modal Servers từ bản beta cho định tuyến theo khu vực với chi phí 5ms, và cho biết họ tạo ra các bản triển khai endpoint bằng một hệ thống agentic nội bộ vẫn được các kỹ sư con người giám sát.

    Vì sao đáng chú ý: Auto Endpoints của Modal phơi bày ngăn xếp phục vụ, các chỉ số engine và công thức benchmark mà các nhà cung cấp suy luận được quản lý vẫn giữ kín, mang đến cho các đội một con đường tự phục vụ để sở hữu suy luận mô hình mở.

19 tháng 6Thứ Sáu
  1. Modal Blog60

    Modal phát hành DFlash speculators cho Qwen 3.5 và 3.6, tuyên bố tăng tốc thêm 5-20%

    Modal đã phát hành một bộ mô hình draft DFlash cho dòng Qwen trên Hugging Face, bao gồm Qwen 3.6 35B-A3B-DFlash và các biến thể Qwen 3.5 từ 4B đến 122B-A10B, cùng một DFlash speculator cho Qwen 3.5 397B-A17B được xây dựng với SGLang. Công ty cho biết các drafter mới tăng tốc thêm 5-20% so với các baseline DFlash hiện có và có thể chạy Qwen 3.5 122B-A10B ở tốc độ hơn 1000 tok/s tại concurrency 1 trên một node B200, so với 250 tok/s khi không có speculation. Bài viết lập luận rằng speculative decoding mang lại mức tăng 2x-3x trong khi tối ưu kernel chỉ mang lại vài phần trăm, và trình bày một mô hình roofline để ước tính mức tăng tốc từ độ dài chấp nhận.

    Vì sao đáng chú ý: Modal giải thích lý do họ đặt cược vào speculative decoding và phát hành các mô hình draft DFlash cho dòng Qwen, kèm theo mức tăng tốc đo được và một mô hình roofline để ước tính lợi ích.

11 tháng 6Thứ Năm
  1. Modal Blog34

    Modal giúp FlashAttention-4 nhanh hơn cho suy luận LLM

    Modal đã đóng góp các tối ưu hóa cho kernel FlashAttention-4 nhằm tăng tốc các khối lượng công việc suy luận LLM nặng về giải mã, nơi băng thông bộ nhớ là điểm nghẽn. Các thay đổi bao gồm việc chuyển kỹ thuật song song hóa "split KV" sang FA4 và thay thế các tải TMA cp.async.bulk bằng cp.async cho các truy cập bộ nhớ không đều. Một PR đầu vào FP8 (được hợp nhất ngày 17 tháng 4 năm 2026) mang lại thông lượng lên đến 1,16 lần so với đường cơ sở bf16 và cho phép bộ nhớ đệm KV nhỏ hơn.

1 tháng 6Thứ Hai
  1. MiniMax Blog87

    MiniMax M3 ra mắt với ngữ cảnh 1M, lập trình tiên tiến và đa phương thức gốc

    MiniMax đã phát hành M3, một mô hình trọng số mở mà họ nói là mô hình đầu tiên kết hợp hiệu năng lập trình và tác nhân tiên tiến, cửa sổ ngữ cảnh 1 triệu token, và đầu vào hình ảnh và video gốc. M3 sử dụng kiến trúc chú ý thưa MSA mới của MiniMax, mà công ty báo cáo cắt giảm tính toán mỗi token ở ngữ cảnh 1M xuống còn 1/20 so với thế hệ trước và tăng tốc prefill hơn 9 lần và giải mã hơn 15 lần. Nó đạt 59,0% trên SWE-Bench Pro, 66,0% trên Terminal-Bench 2.1 và 74,2% trên MCP Atlas, và có sẵn thông qua MiniMax Code, Token Plan và API, với trọng số và báo cáo kỹ thuật được hứa hẹn trong vòng 10 ngày.

    Vì sao đáng chú ý: MiniMax M3 kết hợp ngữ cảnh 1 triệu token, điểm số lập trình và tác nhân tiên tiến, và đầu vào hình ảnh và video gốc trong một mô hình trọng số mở, với MSA cắt giảm tính toán mỗi token ở ngữ cảnh dài.

4 tháng 5Thứ Hai
  1. Modal Blog36

    Modal tăng hiệu suất suy luận đa phương thức của SGLang hơn 10% nhờ bộ đệm dict Python

    Modal đã phân tích bộ lập lịch của SGLang trên một khối lượng công việc đa phương thức và thay thế việc ghi sổ lặp lại các handle CUDA IPC bằng một bộ đệm dict Python đơn giản, nâng thông lượng 16,2% và giảm TTFT trung bình 13,2% cùng TPOT 17,2% trên Qwen2.5-VL-3B-Instruct chạy trên H100. Bản sửa lỗi đã được hợp nhất trong SGLang v0.5.10.

14 tháng 2Thứ Bảy
  1. Charlie O'Neill38

    Công ty Giấy Michael Scott của AI: Vì sao chuyên môn hóa mã nguồn mở đánh bại các phòng thí nghiệm tiên phong về trần trí tuệ

    Opus 4.6 và GPT-5.3-Codex đều đã ra mắt tuần trước, nhưng cuộc tranh đua quyết định không phải là năng lực thô. Lập luận cho rằng phần lớn công việc có giá trị kinh tế nằm ở lớp chuyên môn hóa, nơi một mô hình dưới 80B được tinh chỉnh trên dữ liệu của chính khách hàng vượt trội hơn GPT-5.2 trên quy trình làm việc của khách hàng đó — nhanh hơn, rẻ hơn và không gửi dữ liệu độc quyền cho bên thứ ba. Mã nguồn mở chỉ cần đạt tới trần trí tuệ, không cần đạt tới biên giới tiên phong, và đồng hồ phụ thuộc vốn của các phòng thí nghiệm là vị thế yếu hơn.

11 tháng 2Thứ Tư
  1. Modal Blog78

    Modal ra mắt endpoint miễn phí cho GLM-5 và phát hành hướng dẫn tự triển khai cùng tích hợp frontend

    Modal giới thiệu endpoint tương thích OpenAI API miễn phí cho GLM-5, dùng được đến cuối tháng 4, giới hạn một yêu cầu đồng thời, đồng thời phát hành mã có thể tái lập để triển khai bằng SGLang trên 8 GPU B200 trong một nút đơn.

    Vì sao đáng chú ý: Modal cung cấp endpoint tương thích OpenAI miễn phí cho GLM-5 của Z.ai, và đưa ra cấu hình cụ thể để tích hợp trong OpenCode, OpenClaw, Claude Code và Vercel AI SDK.

2 tháng 12, 2025Thứ Ba
  1. Modal Blog42

    Modal bổ sung hỗ trợ Day 0 cho Mistral 3 với tính năng snapshot GPU giúp khởi động nguội nhanh gấp 10 lần

    Modal hiện cung cấp hỗ trợ Day 0 cho Mistral 3, cho phép các nhà phát triển triển khai dòng mô hình mở này trên GPU serverless mà không cần quản lý hạ tầng. Trên mô hình 3B Ministral 3, tính năng snapshot GPU của Modal đã giảm thời gian khởi động nguội trung vị từ khoảng 118 giây xuống còn khoảng 12 giây, tức giảm gần 10 lần. Ministral 3 có các kích thước 3B, 8B và 14B và đạt hiệu năng cạnh tranh với dòng Qwen 3-VL trên các benchmark.

18 tháng 11, 2025Thứ Ba
  1. Modal Blog36

    Blog Modal: Chi phí vận hành máy chủ đang giết chết hiệu quả suy luận của bạn

    Blog của Modal giải thích cách chi phí vận hành máy chủ—những khoảng trống khi GPU ngồi không chờ CPU chuẩn bị công việc—thể hiện qua mức sử dụng nhân GPU thấp trong suy luận AI. Với 50% chi phí vận hành máy chủ, chi phí suy luận trên GPU cao gấp 2 lần so với mức có thể. Bài viết trình bày chi tiết các giải pháp được dùng trong các engine suy luận mã nguồn mở trong môi trường production, bao gồm việc xây dựng tensor ngay trên thiết bị thay vì truyền chúng và giảm các lần khởi chạy nhân CUDA không cần thiết.

4 tháng 11, 2025Thứ Ba
  1. Modal Blog58

    Modal, Pipecat và các mô hình mở đạt độ trễ giọng nói sang giọng nói một giây

    Ben Shababo của Modal hướng dẫn cách xây dựng một bot thoại hội thoại trên Modal với framework mã nguồn mở Pipecat và các mô hình trọng số mở, đạt độ trễ trung vị giọng nói sang giọng nói khoảng một giây khi client và container ở gần nhau về mặt địa lý. Pipeline sử dụng NVIDIA parakeet-tdt-0.6b-v3 cho STT, Qwen3-4B-Instruct-2507 phục vụ bằng vLLM, KokoroTTS cho đầu ra giọng nói, và ChromaDB với all-minilm-l6-v2 cho RAG trên tài liệu của Modal. Modal Tunnels bỏ qua input plane để có các liên kết WebSocket và HTTP độ trễ thấp tới các dịch vụ STT, TTS và vLLM, trong khi một FunctionCall gắn với mỗi phiên hội thoại khôi phục khả năng tự động mở rộng, và việc ghim các dịch vụ tới các vùng gần đó cắt giảm độ trễ mạng.

30 tháng 10, 2025Thứ Năm
  1. Modal Blog38

    Modal và Datalab: Triển khai Marker và Surya Document Intelligence trong chưa đầy 5 phút

    Modal đã hợp tác với Datalab để cho phép các nhà phát triển triển khai mô hình phân tích tài liệu Marker và bộ công cụ OCR Surya trên GPU của Modal trong chưa đầy năm phút. Marker là một mô hình dưới một tỷ tham số hỗ trợ hơn 90 ngôn ngữ, và chạy nó trên Modal đạt khoảng 2,2 trang mỗi giây cho mỗi container, gấp khoảng 10 lần so với 0,22 trang mỗi giây trên một chiếc Mac M4 sử dụng Apple MPS. Các công cụ của Datalab vẫn miễn phí cho mục đích nghiên cứu, sử dụng cá nhân và các startup có vốn đầu tư hoặc doanh thu dưới 2 triệu USD, với giấy phép thương mại có sẵn.

23 tháng 7, 2025Thứ Tư
  1. Modal Blog52

    Modal benchmark mở các mô hình ASR cho phiên âm hàng loạt với tốc độ nhanh gấp 100 lần và tiết kiệm chi phí

    Modal đã triển khai dịch vụ phiên âm hàng loạt trên nền tảng của mình bằng cách sử dụng parakeet-tdt-0.6b-v2 và canary-1b-flash của NVIDIA, báo cáo hiệu suất end-to-end nhanh hơn 100 lần hoặc rẻ hơn 100 lần so với một API ASR độc quyền phổ biến trong khi vẫn đạt tỷ lệ lỗi tương đương trên khoảng một tuần âm thanh benchmark ESB. Nhóm nghiên cứu cho rằng những lợi ích này đến từ việc xáo trộn tệp giữa các lô yêu cầu, sắp xếp âm thanh theo thời lượng trong các lô GPU, tải xuống song song và các cấu hình GPU và worker được chọn theo thực nghiệm. Bài viết trình bày kiến trúc và các bước tối ưu hóa để người khác có thể xây dựng các dịch vụ tương tự.

11 tháng 7, 2025Thứ Sáu
  1. Modal Blog31

    Jamsocket gia nhập Modal

    Jamsocket, nền tảng backend đứng sau bộ điều phối mã nguồn mở Plane, Y-Sweet và ForeverVM, đang gia nhập Modal, với hai nhà đồng sáng lập Paul Butler và Taylor Baldwin gia nhập đội ngũ Modal. Các sản phẩm của Jamsocket sẽ tiếp tục hoạt động bình thường trong khi chức năng cốt lõi được chuyển sang Modal, mà theo các nhà sáng lập, điều này cho phép khách hàng lấy AI làm trung tâm triển khai suy luận GPU, hộp cát mã và backend thời gian thực từ một nền tảng duy nhất.

9 tháng 6, 2025Thứ Hai
  1. Modal Blog40

    Modal 1.0 ra mắt: SDK Python ổn định hơn với cấu hình tường minh

    Modal đã phát hành phiên bản 1.0 của SDK Python client, một cột mốc mà công ty cho biết mang lại mức độ trưởng thành và ổn định mới cho nền tảng điện toán đám mây serverless của mình, với ít thay đổi phá vỡ tương thích hơn trong tương lai. Bản phát hành loại bỏ các hành vi "ma thuật" như tự động gắn các gói cục bộ, tách chức năng cốt lõi thành các decorator riêng biệt như @modal.concurrent mới, và hợp nhất xử lý tệp cục bộ dưới lớp modal.Image. Modal cũng có kế hoạch phát triển SDK cho các ngôn ngữ khác và đang khám phá cách nền tảng nên phục vụ các quy trình công việc agent do AI điều khiển.