Tới nội dung
#Mã nguồn mở / repo
19 tháng 10Thứ Hai
  1. Sakana AI Blog55

    Sakana AI đề xuất QD-Rec, phương pháp gợi ý Quality-Diversity kết hợp ứng viên với giả thuyết do LLM viết

    Sakana AI phát triển QD-Rec, một phương pháp gợi ý coi ứng viên cùng giả thuyết giải thích lý do chọn ứng viên đó là đơn vị gợi ý và sử dụng tìm kiếm Quality-Diversity để tích lũy các đề xuất chất lượng cao, đa dạng. Trong thí nghiệm trên M&A, nhắm mục tiêu khách hàng và gợi ý bài báo, QD-Rec xây dựng kho lưu trữ có điểm trung bình cao hơn và quy mô lớn hơn so với baseline viết từng giả thuyết từ đầu, và mã nguồn được phát hành trên GitHub. Bài báo báo cáo các trường hợp một giả thuyết đạt 1/10 điểm cho một công ty được đột biến và chuyển sang ứng viên khác, nâng điểm lên 5.

  2. inclusionAI Repositories58

    inclusionAI phát hành mô hình tổng hợp giọng nói Ming-3.0-tts với hai biến thể 0.5B dense và 7.9B MoE tiny

    inclusionAI đã phát hành Ming-3.0-tts, một họ mô hình tổng hợp giọng nói đa ngôn ngữ với trọng số mở gồm hai mô hình: Ming-3.0-tts-0.5b, một mô hình dense 0.5B, và Ming-3.0-tts-tiny, một mô hình MoE xây dựng trên Ling V3 với tổng 7.9B tham số và 1.3B tham số hoạt động. Cả hai đều đi kèm mã suy luận, một cookbook tác vụ và các bảng benchmark, đồng thời hỗ trợ nhân bản giọng nói, thiết kế giọng nói dựa trên văn bản, điều khiển cách thể hiện bằng ngôn ngữ tự nhiên dạng tự do, 14 thẻ ngôn ngữ cận ngôn ngữ nội tuyến, điều khiển cảm xúc và tốc độ/cao độ/âm lượng, cùng tiếng Trung, tiếng Anh, tiếng Đức, tiếng Tây Ban Nha, tiếng Pháp, tiếng Hàn, tiếng Nhật, tiếng Tứ Xuyên và tiếng Quảng Đông. Trên bảng xếp hạng text-to-speech của Artificial Analysis tháng 10 năm 2026, Ming-3.0-tts xếp thứ 1 trong số các mô hình trọng số mở ở hạng mục Controlled Voice, thứ 1 tổng thể ở hạng mục Pronunciation Robustness với 93.2%, và thứ 3 trong số các mô hình trọng số mở ở hạng mục Provider Voice.

  3. inclusionAI Repositories58

    inclusionAI phát hành mô hình nhận dạng giọng nói nhận biết ngữ cảnh Ming-3.0-asr-tiny

    inclusionAI đã phát hành Ming-3.0-asr-tiny, một mô hình nhận dạng giọng nói kết hợp mô hình ngôn ngữ Ling-tiny-v3 với bộ mã hóa âm thanh để phiên âm tiếng Trung và tiếng Anh, nhận dạng phương ngữ và ASR theo ngữ cảnh. Đánh giá phương ngữ bao gồm 15 bộ kiểm thử gồm Hồ Nam, Mân Nam, Quảng Đông, Tứ Xuyên và Thượng Hải, và có thể cung cấp từ khóa nóng hoặc hội thoại trước đó trong prompt để phân giải tên riêng và thuật ngữ kỹ thuật. Kho lưu trữ cung cấp hướng dẫn phục vụ bằng Transformers và SGLang, mã nguồn và trọng số được phát hành theo Giấy phép MIT.

15 tháng 10Thứ Năm
  1. Mistral AI71

    Mistral ra mắt mô hình nền tảng chuỗi thời gian Timestral, đứng đầu GIFT-Eval, TIME và fev-bench

    Mistral đã ra mắt Timestral, họ mô hình nền tảng chuỗi thời gian đầu tiên của mình, với bốn kích thước từ 5M đến 209M tham số. Mô hình lớn nhất xếp hạng nhất trên cả ba bộ đánh giá công khai chính là GIFT-Eval, TIME và fev-bench, trong số các mô hình zero-shot đã được huấn luyện trước từ một checkpoint duy nhất mà không cần ensemble, chỉ sử dụng hai phần ba số tham số so với mô hình tốt nhất trước đó. Timestral tạo ra dự báo đa biến theo xác suất với 21 phân vị, hỗ trợ các biến đồng biến chỉ trong quá khứ và biến đồng biến đã biết trong tương lai, chạy trên CPU mà không cần GPU, và có sẵn thông qua Mistral Forge để tinh chỉnh, cùng với kho lưu trữ GitHub và báo cáo kỹ thuật được công bố theo giấy phép MIT đã sửa đổi.

    Vì sao đáng chú ý: Họ mô hình nền tảng chuỗi thời gian đầu tiên của Mistral tuyên bố đứng đầu xếp hạng zero-shot trên GIFT-Eval, TIME và fev-bench với checkpoint 209M tham số, cung cấp tài liệu tham khảo về đánh đổi kích thước-độ chính xác cho công việc dự báo.

  2. inclusionAI Repositories67

    inclusionAI phát hành các mô hình âm thanh Ming-3.0-audio-flash và Ming-3.0-audio-tiny

    inclusionAI đã phát hành Ming-3.0-audio-flash, một mô hình âm thanh Mixture-of-Experts 126 tỷ tham số với 6,5 tỷ tham số được kích hoạt, cùng với Ming-3.0-audio-tiny nhỏ gọn với 9,3 tỷ tham số và 2,7 tỷ tham số được kích hoạt. Mô hình flash bao phủ nhận dạng giọng nói tiếng Trung và tiếng Anh trên các phương ngữ và môi trường nhiều người nói ồn ào, hiểu âm thanh dài, nhận thức âm thanh không phải giọng nói và âm nhạc, suy luận âm thanh, và hội thoại nói đầu-cuối với đầu ra giọng nói tổng hợp tùy chọn. Nó đi kèm với các đường suy luận vLLM-Omni, SGLang và Transformers theo Giấy phép MIT, với các cấu hình Flash mặc định sử dụng song song tensor trên bốn GPU H800 80 GB ở ngữ cảnh 128K.

    Vì sao đáng chú ý: Bản phát hành mô tả chi tiết một mô hình âm thanh MoE 126 tỷ tham số với 6,5 tỷ tham số được kích hoạt, cùng với một biến thể tiny 9,3 tỷ, cung cấp một tham chiếu cụ thể cho việc định cỡ và triển khai mô hình ngôn ngữ-âm thanh mở.

  3. Goodfire Research62

    Bài luận nghiên cứu của Goodfire lập luận rằng mạng nơ-ron vốn đã trong sáng và superposition đã bị hiểu sai

    Một nhà nghiên cứu của Goodfire lập luận rằng bằng chứng kinh điển về tính đa nghĩa và superposition trong mạng nơ-ron đã bị hiểu sai, và thứ trông như sự đóng gói tùy tiện thực chất phần lớn là một mô-típ mà ông gọi là tổng quát hóa đệ quy. Huấn luyện lại InceptionV1 với các cải tiến kiến trúc thông thường và không thay đổi kích thước mô hình hay dữ liệu huấn luyện đã khiến 99-100% nơ-ron ở lớp cuối của nó trở nên dễ diễn giải, và các đợt kiểm toán sơ bộ Qwen3-32B ước tính khoảng 90% các cực nơ-ron có một nhiệm vụ chính. Bài luận kết luận mạng nơ-ron sử dụng một nguyên lý học thay vì hai, nên khả năng diễn giải có thể tiến hành bằng cách nghiên cứu trực tiếp nơ-ron và mạch thay vì trước tiên huấn luyện các mô hình phân rã như sparse autoencoder.

    Vì sao đáng chú ý: Một cách diễn giải lại trực tiếp bằng chứng kinh điển về tính đa nghĩa của lĩnh vực, lập luận rằng mạng nơ-ron tổng quát hóa một cách đệ quy thay vì đóng gói các khái niệm không liên quan, điều này sẽ khiến việc nghiên cứu cơ chế trực tiếp trở nên khả thi.

13 tháng 10Thứ Ba
  1. Amazon Science75

    Các nhà nghiên cứu của Amazon Web Services đề xuất phương pháp priming để chuyển đổi Transformer đã huấn luyện trước thành mô hình không gian trạng thái lai mà không cần huấn luyện lại toàn bộ

    Các nhà nghiên cứu của Amazon Web Services giới thiệu priming, một phương pháp tái sử dụng trọng số Transformer đã huấn luyện trước để cắt giảm chi phí huấn luyện trước của kiến trúc không gian trạng thái lai xuống hơn 99%, chỉ sử dụng dưới 0,5% ngân sách token huấn luyện trước của mô hình nguồn. Trong các so sánh có kiểm soát, Gated KalmaNet vượt trội hơn Gated DeltaNet và Mamba-2, và một mô hình lai dựa trên GKA 32B đạt kết quả tương đương Transformer nguồn trên các bài đánh giá suy luận trong khi giải mã nhanh gấp đôi ở ngữ cảnh 128.000 token. Nhóm đã phát hành các mô hình lai đã priming 8B và 32B, mã huấn luyện, Triton kernel và plugin phục vụ vLLM theo Giấy phép Apache 2.0.

    Vì sao đáng chú ý: Các nhà nghiên cứu của Amazon Web Services cho thấy việc tái sử dụng trọng số Transformer đã huấn luyện trước có thể cắt giảm chi phí huấn luyện trước kiến trúc lai xuống hơn 99%, giúp việc so sánh có kiểm soát các lớp không gian trạng thái trở nên khả thi.

29 tháng 9Thứ Ba
  1. OpenClaw Blog71

    OpenClaw Enterprise ra mắt dưới dạng nền tảng mã nguồn mở để quản lý các tác nhân thường trú

    OpenClaw đã công bố OpenClaw Enterprise (OCE), một nền tảng mã nguồn mở, trung lập với nhà cung cấp để quản lý các tác nhân thường trú trong môi trường nhạy cảm, hiện đang được phát triển trước khi phát hành phiên bản 1.0 vào cuối năm nay. OCE bổ sung một mặt phẳng điều khiển cấp doanh nghiệp với tính đa thuê bao, ranh giới bảo mật cứng, sandbox, đánh giá dựa trên LLM và quyền chi tiết, đồng thời cho phép thay thế harness, mô hình và sandbox bằng các triển khai của bên thứ ba hoặc nội bộ. Các tổ chức có thể tự lưu trữ ngay hôm nay thông qua docker-compose cho phát triển cục bộ hoặc kubernetes cho triển khai nội bộ, và nó đang được thử nghiệm tại các công ty bao gồm Red Hat và OpenAI.

    Vì sao đáng chú ý: OpenClaw Enterprise là một mặt phẳng điều khiển mã nguồn mở cho các tác nhân thường trú trong môi trường nhạy cảm, với tính đa thuê bao, ranh giới bảo mật cứng và khả năng kiểm toán, hiện đã sẵn sàng cho các khối lượng công việc thử nghiệm nội bộ.

24 tháng 9Thứ Năm
  1. Modal Blog58

    Modal và Phòng thí nghiệm Dữ liệu Toàn diện của CMU ra mắt Quail, một engine suy luận AI-SQL tối ưu hóa đồng thời query planner và suy luận

    Modal và Phòng thí nghiệm Dữ liệu Toàn diện thuộc Đại học Carnegie Mellon đã xây dựng Quail, một engine suy luận nhận biết truy vấn cho các khối lượng công việc AI-SQL, tối ưu hóa đồng thời query planner SQL và engine suy luận. Trên một truy vấn đa phép nối, nó xử lý hơn một tỷ token mỗi phút trên mỗi GPU H100, nhanh hơn hơn 10 lần so với baseline vLLM của Modal trên cùng phần cứng, với chi phí dưới 6¢ mỗi tỷ token; trên benchmark AI-SQL mới của nhóm, nó chạy nhanh hơn 1,84 lần so với vLLM theo trung bình nhân trên các tác vụ. Vì các phép lọc và phép nối trong AI-SQL chỉ cần một token duy nhất mỗi chuỗi, Quail bỏ qua decode, sampling và phân tách prefill-decode, đồng thời sử dụng query plan đã biết để sắp xếp thứ tự yêu cầu và quản lý việc loại bỏ KV cache.

23 tháng 9Thứ Tư
  1. Modal Blog58

    Modal phục vụ hàng nghìn tỷ token cho các coding agent nghìn tỷ tham số như thế nào

    Modal giải thích cách họ tối ưu hóa suy luận Kimi K2.6 cho các coding agent, đạt hiệu năng gấp 2,8 lần mỗi người dùng và 5,6 lần giữa các người dùng trên mỗi replica, đồng thời vận hành dịch vụ ở mức hàng trăm tỷ token mỗi ngày. Công trình kết hợp giải mã suy đoán DFlash tùy chỉnh được tinh chỉnh trên các coding trace, FP8 KV cache và lượng tử hóa shared-expert NVFP4, bộ nhớ đệm tầng CPU HiCache, và định tuyến dựa trên tải có nhận biết KV cache. Modal đã đóng góp ngược các bản vá SGLang của mình và phát hành cấu hình đằng sau Modal Auto Endpoints.

1 tháng 9Thứ Ba
  1. Zyphra Research48

    Zyphra phát hành PUFFER, hệ thống khử trùng lặp mờ tăng dần cho kho ngữ liệu huấn luyện đang phát triển

    Zyphra đã phát hành PUFFER, một hệ thống khử trùng lặp mờ tăng dần nhận biết nguồn gốc mã nguồn mở dành cho kho ngữ liệu huấn luyện LLM liên tục mở rộng, theo giấy phép Apache 2.0. Hệ thống này đạt tốc độ nhanh hơn 11x-35x so với các phương pháp khử trùng lặp dựa trên CPU hiện có và xử lý một tỷ tài liệu trong 1,75 giờ trên một tiến trình duy nhất, với triển khai thực tế trên hơn 30 tỷ tài liệu. PUFFER lưu giữ lịch sử MinHash-LSH trên đĩa để có thể thêm tập dữ liệu mới, khôi phục các tác vụ bị gián đoạn một cách xác định, và rút từng tập dữ liệu mà không cần xây dựng lại toàn bộ chỉ mục kho ngữ liệu.

29 tháng 7Thứ Tư
  1. Berkeley AI Research58

    Từ CUDA đến MLX: K-Search mang chuyên môn tối ưu hóa kernel đến Apple Silicon

    IBM Research đã mở rộng K-Search, khung tìm kiếm kernel tiến hóa từ UC Berkeley Sky Lab, với backend MLX và một lớp chuyển đổi CUDA sang MLX có cấu trúc, giúp chuyển đổi các kernel CUDA hiện có thành kernel cho Apple Silicon. Trên một kernel attention MLX, phương pháp này đạt tốc độ bằng 0,97 lần kernel MLX Attention gốc của Apple, tăng từ 0,26 lần khi không có ngữ cảnh chuyển đổi, và một kernel Mamba SSM được tiến hóa đạt tốc độ prefill nhanh hơn tới 20 lần so với triển khai mlx-lm của cộng đồng trên M1 Max. Các tác giả cho rằng mức tăng chủ yếu đến từ chất lượng ngữ cảnh và các ràng buộc được cung cấp cho LLM chứ không phải khả năng viết mã Metal của nó, và cho biết phương pháp này không dành riêng cho MLX.

21 tháng 7Thứ Ba
  1. Modal Blog58

    Modal và Cognition ra mắt Devin Outposts với tích hợp sandbox modal-devin

    Modal là đối tác ra mắt của Devin Outposts, một tính năng của Cognition đưa việc thực thi mã của Devin vào môi trường do khách hàng kiểm soát trong khi phần suy luận của Devin vẫn ở trên cloud của Cognition. Thư viện mã nguồn mở modal-devin và CLI chạy mỗi phiên Outpost trong một Modal Sandbox, cho phép truy cập máy được hỗ trợ GPU, image tùy chỉnh, chụp nhanh workspace và scale-to-zero, và nó đã hoạt động ở dạng alpha bắt đầu từ ngày 21 tháng 7 năm 2026. Việc thiết lập sử dụng uvx modal-devin init, tạo ra một hàm orchestrator và một hàm phiên worker mà các nhóm có thể tiếp tục tùy chỉnh.

1 tháng 7Thứ Tư
  1. Modal Blog58

    Modal Research và MRP của HeavyBall mang đến dự đoán đa token cho các mô hình ngôn ngữ khuếch tán

    Modal Research và HeavyBall Research của NYU Shanghai giới thiệu Multi-token Residual Prediction (MRP), một mô-đun 3 lớp gắn vào backbone LM khuếch tán đóng băng, dự đoán phần dư logit giữa các bước thay vì toàn bộ phân phối bước tiếp theo. Trên SDAR-4B GSM8K, MRP giữ độ chính xác 70,9% ở K=3 so với 5,9% của chưng cất MTP thông thường, và trong SGLang đạt thông lượng lên tới 1,56 lần mà không mất mát ở chế độ suy đoán hoặc phục hồi tới +16 điểm chính xác dưới giải mã động ngưỡng thấp tích cực. Bài báo, mã nguồn, triển khai SGLang và các mô hình SDAR-MRP trên Hugging Face đã được phát hành.

24 tháng 6Thứ Tư
  1. Modal Blog58

    Modal ra mắt Auto Endpoints, viện dẫn giải mã suy đoán cho độ trễ suy luận tiên tiến nhất

    Modal ra mắt Modal Auto Endpoints, đưa khả năng mở rộng hạ tầng của Modal đến hiệu năng suy luận tiên tiến nhất chỉ với một cú nhấp chuột trong khi vẫn kiểm soát được mã. Modal cho biết lợi ích độ trễ chính đến từ giải mã suy đoán với các mô hình speculator DFlash tùy chỉnh, giúp cắt giảm khoảng 100ms độ trễ đầu-cuối trong một nghiên cứu điển hình của Decagon Voice, tương đương khoảng 40% độ trễ giải mã phía máy chủ, khiến nó nhanh hơn hơn 60ms so với lựa chọn độc quyền nhanh nhất. Modal cũng phát hành mã nguồn mở các mô hình speculator DFlash với Z Lab và SGLang, bao gồm một mô hình cho Qwen 3.5 397B-A17B cải thiện hơn 50% so với MTP.

1 tháng 6Thứ Hai
  1. Modal Blog46

    Modal: Học tăng cường cho hậu huấn luyện LLM là một bài toán hạ tầng

    Modal cho rằng nút thắt trong hậu huấn luyện bằng học tăng cường cho LLM giờ đây là hạ tầng chứ không phải thuật toán, và đã phát hành một thư viện mã nguồn mở rút ra từ việc chạy RL ở quy mô lớn. Bài viết nêu chi tiết ba điểm đau — mã keo, xếp hàng cụm và GPU sử dụng dưới mức — và báo cáo việc đồng bộ trọng số qua RDMA giảm thời gian cập nhật Qwen3 8B từ 2,62s xuống 41ms.

27 tháng 5Thứ Tư
  1. MiniMax Blog72

    MiniMax nâng cấp Agent thành Mavis và ra mắt Agent Teams cho các tác vụ chạy dài

    MiniMax đã nâng cấp MiniMax Agent dưới tên mới Mavis và ra mắt Agent Teams, cho phép nhiều Agent chuyên biệt theo vai trò chạy song song trên desktop cho các tác vụ dài và phức tạp. Hệ thống sử dụng các vai trò Leader, Worker và Verifier với Team Engine dạng máy trạng thái luân chuyển tác vụ qua các trạng thái đang sản xuất, đang xác minh và hoàn tất, đồng thời hợp nhất TokenPlan và Agent Plan thành một gói đăng ký duy nhất trải rộng CLI, API và Agent trên M2.7, nhạc, video và giọng nói. MiniMax cho biết Agent sẽ được mã nguồn mở sớm, dự kiến cùng với mô hình MiniMax M3, trong khi ứng dụng desktop đã có sẵn.

    Vì sao đáng chú ý: MiniMax giải thích các đánh đổi thiết kế đằng sau Agent Team Leader-Worker-Verifier của mình, bao gồm chi phí bàn giao, chia sẻ và tổng hợp, mang lại một tham chiếu cụ thể cho việc xây dựng các runtime đa Agent.

29 tháng 4Thứ Tư
  1. Factory58

    Factory đánh giá 13 mô hình trên code review, nhận thấy GPT-5.2 tốt nhất và MiniMax M2.7 rẻ nhất

    Factory đã xây dựng một benchmark mã nguồn mở thử nghiệm 13 mô hình trên 50 pull request thực tế từ Sentry, Grafana, Keycloak, Discourse và Cal.com, với mỗi mô hình review mỗi PR ít nhất ba lần ở mức nỗ lực suy luận cao và một giám khảo LLM chấm điểm các phát hiện so với một golden set do con người tuyển chọn. GPT-5.2 dẫn đầu với 60,5% F1 với $1,25 mỗi PR, trước Claude Opus 4.6 với 59,8% F1 và $3,11 mỗi PR, trong khi MiniMax M2.7 đạt 45,6% F1 với $0,15 mỗi PR và Kimi K2.5 đạt 51,9% F1 với $0,41. Factory cho biết chi phí chỉ giải thích khoảng 21% phương sai chất lượng, và họ đã mã nguồn mở golden set, các script đánh giá và một Droid Action GitHub Action hỗ trợ cả 13 mô hình.

  2. Modal Blog33

    Xây dựng quy trình chứng minh định lý bằng RL trên Modal

    AE Studio trình bày chi tiết cách họ huấn luyện LLM chứng minh các định lý toán học bằng học tăng cường trên Modal, so sánh Evolution Strategies với GRPO trong khi giữ nguyên vòng lặp huấn luyện. Thiết lập này chạy suy luận vLLM trên GPU, xác minh trình biên dịch Lean trong các sandbox CPU cô lập, và một bộ điều phối nhẹ, sử dụng image theo từng hàm, .map() fan-out, và Volumes cho trọng số cơ sở.

13 tháng 3Thứ Sáu
  1. Berkeley AI Research38

    Berkeley AI Research giới thiệu SPEX và ProxySPEX để xác định các tương tác ở quy mô lớn cho LLM

    Các nhà nghiên cứu của Berkeley AI Research mô tả SPEX và ProxySPEX, những thuật toán xác định các tương tác có ảnh hưởng giữa đặc trưng, dữ liệu và thành phần mô hình trong LLM ở quy mô vượt xa các phương pháp trước đây. SPEX định hình lại việc tìm kiếm tương tác như bài toán khôi phục thưa sử dụng tính thưa và bậc thấp, trong khi ProxySPEX khai thác cấu trúc phân cấp để đạt kết quả tương đương SPEX với số lần ablation ít hơn khoảng 10 lần. Trong phân tích cảm xúc, SPEX đạt độ trung thực ngang với Faith-Shap và Faith-Banzhaf trên đầu vào ngắn và duy trì được điều đó khi ngữ cảnh mở rộng đến hàng nghìn đặc trưng.

4 tháng 3Thứ Tư
  1. Modal Blog22

    Cập nhật sản phẩm Modal: Ảnh chụp thư mục, Endpoint GLM-5 và API Thanh toán

    Modal đã bổ sung Ảnh chụp thư mục (Directory Snapshots) cho Sandbox, cho phép người dùng chụp ảnh một thư mục duy nhất và gắn nó vào một Sandbox mới độc lập với image gốc. Modal cũng đã phát hành endpoint GLM-5 công khai miễn phí với Z.ai đến hết tháng 4, tương thích với OpenCode, Claude Code, OpenClaw và Vercel AI SDK. CLI báo cáo thanh toán modal và API modal.billing.workspace_billing_report hiện đã được phát hành chính thức (generally available) cho các workspace Team và Enterprise.

24 tháng 2Thứ Ba
  1. Vapi Blog38

    Trao cho OpenClaw Agent của bạn một giọng nói: Thêm cuộc gọi điện thoại với Vapi Skills

    Các agent OpenClaw giờ đây có thể thực hiện và nhận cuộc gọi điện thoại thông qua các skill tương thích AgentSkills của Vapi, được cài đặt trong khoảng năm phút qua CLI npx skills hoặc bằng cách yêu cầu trực tiếp agent. Pipeline của Vapi hướng tới phản hồi giọng nói dưới 500ms và hỗ trợ gọi công cụ giữa cuộc gọi, với tám skill bao gồm assistant, cuộc gọi, số điện thoại, công cụ, squad, webhook và workflow.

13 tháng 11, 2025Thứ Năm
  1. Modal Blog40

    Decagon đã triển khai AI giọng nói thời gian thực trên Modal như thế nào

    Decagon và Modal đã hợp tác để xây dựng Decagon Voice 2.0, giảm độ trễ 65% đồng thời cải thiện nhận diện ý định và chất lượng phản hồi. Decagon đã tinh chỉnh các mô hình mã nguồn mở nhỏ gọn bằng SFT và RL để vượt qua các mô hình tiên tiến lớn hơn, trong khi Modal huấn luyện một mô hình nháp EAGLE3 tùy chỉnh với độ dài chấp nhận cao hơn 38% và tái thiết kế SGLang với bộ lập lịch giải mã suy đoán bất đồng bộ, tăng thông lượng lên tới 12%.

31 tháng 10, 2025Thứ Sáu
  1. Modal Blog22

    Modal cập nhật Volumes v2, SDK JavaScript và Go lên bản beta

    Modal đã phát hành Volumes v2 dưới dạng open beta cho tất cả ứng dụng, với hệ thống tệp được xây dựng lại để có thông lượng cao hơn, truy cập ngẫu nhiên nhanh hơn và ghi đồng thời thực sự từ hàng trăm container, cùng với không giới hạn số tệp được lưu trữ. SDK JavaScript/TypeScript và Go của nó cũng đã bước vào giai đoạn beta ở phiên bản v0.5, bổ sung một đối tượng Client thống nhất và hỗ trợ Sandboxes, Functions, Images và Volumes.

26 tháng 9, 2025Thứ Sáu
  1. Modal Blog60

    Kỹ sư Modal phân tích ngược cách Flash Attention 4 hoạt động

    Các kỹ sư Modal đã đọc mã nguồn Flash Attention 4 được phát hành và phân tích ngược cách kernel attention tối ưu cho Blackwell hoạt động, do chưa có báo cáo kỹ thuật chính thức. Bài viết theo dõi một tile đi qua pipeline bất đồng bộ chuyên biệt theo warp của kernel và trình bày chi tiết hai thủ thuật toán học: một hàm mũ phần mềm dạng đa thức bậc ba có thể thay thế phép lũy thừa dựa trên SFU, và một quy tắc tái chuẩn hóa online softmax thông minh hơn mà Tri Dao cho biết giảm số lần hiệu chỉnh xuống 10 lần. FA4 được báo cáo là nhanh hơn khoảng 20% so với các kernel attention cudnn mã nguồn đóng của Nvidia, và phiên bản backwards chưa có sẵn tại thời điểm viết bài.

    Vì sao đáng chú ý: Các kỹ sư Modal đã đọc mã nguồn Flash Attention 4 được phát hành và giải thích pipeline chuyên biệt theo warp cùng hai thủ thuật toán học của nó, mang lại góc nhìn có thể chuyển giao về hướng phát triển của thiết kế kernel CUDA.

22 tháng 9, 2025Thứ Hai
  1. Modal Blog38

    Modal Vibe: Nền tảng lập trình AI xây dựng trên Modal Sandboxes, mở rộng tới 1.000 ứng dụng trong 5 phút

    Modal đã xây dựng Modal Vibe, một nền tảng lập trình vibe mã nguồn mở dạng demo trên Modal Sandboxes, có khả năng mở rộng từ 0 lên 1.000 ứng dụng do AI viết mã trong khoảng năm phút. Một bài kiểm tra tải tạo 1.000 ứng dụng, mỗi ứng dụng trong Sandbox riêng, mất khoảng 300 giây, với API AI là bước giới hạn tốc độ. Modal cho biết Team Plan có thể chạy 1.000 Sandbox đồng thời, đủ cho hơn một triệu phiên mỗi tháng.

16 tháng 9, 2025Thứ Ba
  1. Modal Blog47

    Bên trong Modal Notebooks: Modal đã xây dựng một notebook GPU trên đám mây khởi động trong vài giây như thế nào

    Modal đã trình bày chi tiết về kỹ thuật đằng sau Modal Notebooks, notebook Jupyter trên đám mây của họ, khởi động GPU và các image tùy chỉnh trong vài giây với khả năng cộng tác theo thời gian thực. Các kernel chạy bên trong Modal Sandboxes, với một daemon modal-kernelshim chuyển đổi các tin nhắn Jupyter ZeroMQ thành các lệnh gọi HTTP được truyền qua control plane của Modal. Một hệ thống tệp container FUSE bằng Rust tải lười sẽ tìm nạp nội dung tệp theo yêu cầu thông qua bộ nhớ đệm phân tầng, tránh độ trễ giải nén image có thể lên tới gần một phút đối với image Python/ML 8 GB.

11 tháng 8, 2025Thứ Hai
  1. Modal Blog38

    Cập nhật sản phẩm Modal: Ảnh chụp nhanh bộ nhớ GPU, Notebooks, Service Tokens và hơn thế nữa

    Modal đã bổ sung tính năng ảnh chụp nhanh bộ nhớ GPU ở dạng alpha, giúp giảm 10 lần thời gian khởi động nguội cho các khối lượng công việc GPU bằng cách bỏ qua các bước như biên dịch Torch, được bật thông qua tùy chọn enable_gpu_snapshot. Bản cập nhật cũng mang đến Modal Notebooks ở dạng beta để chạy Python trong trình duyệt, Service Tokens dành cho quản lý không gian làm việc và giao diện người dùng do trình duyệt tạo cho các Function đã triển khai.

30 tháng 4, 2025Thứ Tư
  1. Modal Blog38

    Modal ra mắt SDK alpha cho JavaScript và Go

    Modal phát hành phiên bản alpha của SDK chính thức cho JavaScript và Go, cho phép nhà phát triển gọi các Modal Functions đã triển khai và tạo sandbox biệt lập từ Node, Next.js hoặc các dịch vụ Go mà không cần viết Python. Các SDK không thể triển khai hàm, vẫn cần Python, và hiện chỉ hỗ trợ kiểu dữ liệu giống JSON hoặc bytes. Modal cho biết có thể chạy 10.000 sandbox bằng một trong hai ngôn ngữ mà không gặp vấn đề gì.

17 tháng 3, 2025Thứ Hai
  1. Modal Blog22

    Modal giảm giá GPU, CPU và bộ nhớ tới 65% và làm mới thương hiệu

    Modal đã giảm giá GPU, CPU và bộ nhớ tới 65%, và người dùng gói Team giờ có thể chạy tới 50 GPU đồng thời. Modal SDK hiện đã có trên conda-forge bắt đầu từ phiên bản 0.73.46, và một bản phát hành client phiên bản 1.0 đang được lên kế hoạch. Modal cũng đã công bố một ví dụ image-to-video với LTX-Video và ra mắt logo mới.

21 tháng 2, 2025Thứ Sáu
  1. Modal Blog35

    Modal công bố GPU Glossary dưới giấy phép CC BY 4.0

    Modal đã công bố GPU Glossary trên GitHub theo giấy phép Creative Commons BY 4.0. Đây là một bộ sưu tập các tài liệu ngắn có liên kết với nhau về các chủ đề lập trình GPU. Bảng thuật ngữ này được phát hành lần đầu cách đây hai tháng nhằm lấp đầy khoảng trống trong tài liệu tham khảo GPU xuyên suốt các tầng công nghệ, và việc cộng đồng yêu cầu được đóng góp đã thúc đẩy việc công bố này. Mục GitHub Issues của kho lưu trữ đã liệt kê các phần mở rộng dự kiến, bao gồm hai kernel matmul mẫu và một phần về Thread Block Clusters.

14 tháng 2, 2025Thứ Sáu
  1. Modal Blog22

    Cập nhật sản phẩm Modal: Logs v2, phân tích container trực tiếp và chọn vùng trên mọi gói

    Modal đã ra mắt bảng điều khiển nhật ký được làm mới với bộ lọc nhập khoảng thời gian, phân tích container trực tiếp để gỡ lỗi các container hoặc đầu vào bị kẹt, và Debug Shells chạy các lệnh như vim, ps và strace bên trong container đang chạy. Chọn vùng hiện đã có trên mọi gói, được định giá bằng hệ số nhân trên giá cơ bản, và client bổ sung xác thực OIDC cho gắn kết bucket đám mây thông qua trường mới oidc_auth_role_arn.