Tới nội dung
Chỉ Chính chủ#Hệ sinh thái mã nguồn mở
16 tháng 9Thứ Tư
  1. Mistral AI55

    Mistral hợp tác với Mozilla để cung cấp năng lượng cho Firefox Smart Window tại Pháp và Bắc Mỹ

    Mistral thông báo hợp tác với Mozilla, theo đó các mô hình của họ hiện cung cấp năng lượng cho Firefox Smart Window (bản beta), trợ lý duyệt web AI của Mozilla, cho người dùng tại Pháp và Bắc Mỹ, với Vương quốc Anh và Đức dự kiến sẽ có sau trong năm nay. Mistral cho biết các cuộc hội thoại trên Smart Window không được lưu trên máy chủ của Mozilla theo mặc định và các đối tác đồng ý không lưu giữ dữ liệu, và họ mô tả thỏa thuận này là việc mang các mô hình trọng số mở, được tinh chỉnh theo khu vực đến với trình duyệt dành cho người tiêu dùng.

14 tháng 9Thứ Hai
  1. Modal Blog40

    Cập nhật sản phẩm Modal: Sandbox Sidecars, hỗ trợ Kimi K3 và GLM 5.3, giao diện Dashboard làm mới

    Modal đã bổ sung hỗ trợ day-zero cho bốn mô hình open-weight — Kimi K3, Qwen3.8-2.4T-A95B, GLM-5.3 và GLM-5.3-Flash — trên Auto Endpoints, với Kimi K3 chạy ở tốc độ 460 token mỗi giây trên các khối lượng công việc agentic thông qua một DFlash speculator tùy chỉnh. Sandbox Sidecars bước vào giai đoạn public alpha, VM Sandboxes đạt public beta, và hệ số giá đa khu vực rộng giảm từ 1.5x xuống 1.15x. Dashboard được làm mới với bản beta chế độ sáng, và Python SDK 1.5.5 cùng JavaScript và Go SDK 0.10.0 đã được phát hành.

18 tháng 8Thứ Ba
  1. LiveKit Blog40

    LiveKit: robot đa người tham gia vượt ra ngoài kết nối 1:1

    LiveKit đang mở rộng kiến trúc SFU của mình ra ngoài các liên kết ngang hàng đơn lẻ để các triển khai robot có thể chạy các phiên đa người tham gia, trong đó một Room cho phép mỗi camera, mô hình, người vận hành hoặc dịch vụ tham gia như một người tham gia riêng. LiveKit mô tả ba kiến trúc: ghi dữ liệu có con người trong vòng lặp với robot, policy, người vận hành và bộ ghi trong cùng một phiên; điều phối kỹ năng do VLM dẫn dắt, trong đó một mô hình ngôn ngữ-thị giác chọn kỹ năng ở tần suất khoảng 1 Hz trong khi các người tham gia policy riêng biệt điều khiển robot ở tần suất hàng chục hertz; và leo thang policy, trong đó một mô hình phần thưởng ở 30 Hz hoặc cao hơn đánh dấu các trạng thái bị kẹt hoặc không an toàn và robot thu hồi quyền từ policy chuyên biệt.

13 tháng 8Thứ Năm
  1. MiniMax Blog71

    MiniMax phát hành Music 3.0, mô hình tạo nhạc trọng số mở cho các bài hát đầy đủ dài tới năm phút

    MiniMax giới thiệu Music 3.0, một mô hình tạo nhạc trọng số mở có khả năng sáng tác, phối khí và sản xuất một bài hát hoàn chỉnh dài tới năm phút từ một ý tưởng sáng tạo và phần lời tùy chọn trong một lần tạo. Pipeline kết hợp một Global LLM 8B được khởi tạo từ Qwen3.5-8B với một Local LLM 0.6B, hợp nhất các trạng thái ẩn liên tục của chúng để điều kiện hóa một mô-đun flow-matching 2.4B và một Flow-VAE 123M, đồng thời sử dụng RVQ tám lớp cùng Structured Captions mô tả cảm xúc, nhạc cụ và cách thể hiện giọng hát theo thời gian. MiniMax cho biết điều này mang lại khả năng diễn giải ý định sáng tạo chính xác hơn, phối khí đầy đủ hơn và giọng hát rõ ràng, tự nhiên hơn.

    Vì sao đáng chú ý: Phân tích kiến trúc của MiniMax cho thấy cách một Global LLM 8B kết hợp với một mô hình cục bộ 0.6B và ngăn xếp flow-matching nhắm giải quyết vấn đề mạch lạc của bài hát dài.

4 tháng 8Thứ Ba
  1. Modal Blog34

    Modal chuyển Functions serverless sang mặt phẳng I/O theo khu vực, giảm độ trễ p50 khoảng 80ms

    Modal đã di chuyển toàn bộ Functions sang một mặt phẳng I/O phân tán theo địa lý mới, giảm độ trễ end-to-end của Function Call khoảng 80ms ở p50. Trước đây, đầu vào và đầu ra của mọi Function đều được định tuyến qua các máy chủ I/O ở us-east, cộng thêm tới vài 100ms mỗi lần gọi; mặt phẳng mới có sẵn ở ≥4 khu vực và có thể chọn thông qua cờ routing_region. Lớp máy chủ đã được viết lại bằng Go, với các công việc không quan trọng được chuyển ra khỏi hot path.

27 tháng 7Thứ Hai
  1. Modal Blog75

    Kimi K3 của Moonshot hiện đã có trên Modal với hỗ trợ vLLM ngay ngày đầu

    Modal đã đưa Kimi K3 của Moonshot lên nền tảng của mình ngay trong ngày phát hành, cung cấp mô hình đa phương thức 2,8 nghìn tỷ tham số với cửa sổ ngữ cảnh 1 triệu token thông qua Shared API tính phí theo token và các Auto Endpoint chuyên dụng. Modal cho biết một DFlash speculator tùy chỉnh được điều chỉnh cho kiến trúc của K3 giúp tăng khả năng tương tác từ 100 lên 460 token mỗi giây và thông lượng từ 800k lên 1,5 triệu TPM mỗi GPU trên các khối lượng công việc agentic. Mô hình sử dụng thiết kế mixture-of-experts với 16 trong số 896 expert hoạt động mỗi token, và Moonshot đã đóng góp một triển khai prefix-caching mới cho vLLM trước khi phát hành.

    Vì sao đáng chú ý: Modal trình bày chi tiết cách họ đưa Kimi K3 2,8 nghìn tỷ tham số của Moonshot lên nền tảng của mình ngay trong ngày phát hành, bao gồm một DFlash speculator tùy chỉnh giúp tăng khả năng tương tác từ 100 lên 460 token mỗi giây.

23 tháng 6Thứ Ba
  1. Modal Blog60

    Modal ra mắt Auto Endpoints cho suy luận LLM tự phục vụ, tương thích API OpenAI

    Modal ra mắt Auto Endpoints, một dịch vụ tự phục vụ triển khai suy luận LLM cấp sản xuất dưới dạng endpoint tương thích API OpenAI, được hỗ trợ bởi một Modal App mà người dùng có thể xem và kiểm soát. Mỗi mô hình được hỗ trợ đi kèm một bản triển khai khởi điểm được tinh chỉnh từ hoạt động benchmark của chính Modal, sử dụng các engine như SGLang và DFlash speculative decoding drafter từ Z Lab, và người dùng có thể kiểm tra lựa chọn GPU, cờ engine và các chỉ số suy luận như TTFT, ITL và độ dài chấp nhận giải mã suy đoán. Modal cũng phát hành Modal Servers từ bản beta cho định tuyến theo khu vực với chi phí 5ms, và cho biết họ tạo ra các bản triển khai endpoint bằng một hệ thống agentic nội bộ vẫn được các kỹ sư con người giám sát.

    Vì sao đáng chú ý: Auto Endpoints của Modal phơi bày ngăn xếp phục vụ, các chỉ số engine và công thức benchmark mà các nhà cung cấp suy luận được quản lý vẫn giữ kín, mang đến cho các đội một con đường tự phục vụ để sở hữu suy luận mô hình mở.

19 tháng 6Thứ Sáu
  1. Modal Blog60

    Modal phát hành DFlash speculators cho Qwen 3.5 và 3.6, tuyên bố tăng tốc thêm 5-20%

    Modal đã phát hành một bộ mô hình draft DFlash cho dòng Qwen trên Hugging Face, bao gồm Qwen 3.6 35B-A3B-DFlash và các biến thể Qwen 3.5 từ 4B đến 122B-A10B, cùng một DFlash speculator cho Qwen 3.5 397B-A17B được xây dựng với SGLang. Công ty cho biết các drafter mới tăng tốc thêm 5-20% so với các baseline DFlash hiện có và có thể chạy Qwen 3.5 122B-A10B ở tốc độ hơn 1000 tok/s tại concurrency 1 trên một node B200, so với 250 tok/s khi không có speculation. Bài viết lập luận rằng speculative decoding mang lại mức tăng 2x-3x trong khi tối ưu kernel chỉ mang lại vài phần trăm, và trình bày một mô hình roofline để ước tính mức tăng tốc từ độ dài chấp nhận.

    Vì sao đáng chú ý: Modal giải thích lý do họ đặt cược vào speculative decoding và phát hành các mô hình draft DFlash cho dòng Qwen, kèm theo mức tăng tốc đo được và một mô hình roofline để ước tính lợi ích.

11 tháng 6Thứ Năm
  1. Modal Blog34

    Modal giúp FlashAttention-4 nhanh hơn cho suy luận LLM

    Modal đã đóng góp các tối ưu hóa cho kernel FlashAttention-4 nhằm tăng tốc các khối lượng công việc suy luận LLM nặng về giải mã, nơi băng thông bộ nhớ là điểm nghẽn. Các thay đổi bao gồm việc chuyển kỹ thuật song song hóa "split KV" sang FA4 và thay thế các tải TMA cp.async.bulk bằng cp.async cho các truy cập bộ nhớ không đều. Một PR đầu vào FP8 (được hợp nhất ngày 17 tháng 4 năm 2026) mang lại thông lượng lên đến 1,16 lần so với đường cơ sở bf16 và cho phép bộ nhớ đệm KV nhỏ hơn.

1 tháng 6Thứ Hai
  1. MiniMax Blog87

    MiniMax M3 ra mắt với ngữ cảnh 1M, lập trình tiên tiến và đa phương thức gốc

    MiniMax đã phát hành M3, một mô hình trọng số mở mà họ nói là mô hình đầu tiên kết hợp hiệu năng lập trình và tác nhân tiên tiến, cửa sổ ngữ cảnh 1 triệu token, và đầu vào hình ảnh và video gốc. M3 sử dụng kiến trúc chú ý thưa MSA mới của MiniMax, mà công ty báo cáo cắt giảm tính toán mỗi token ở ngữ cảnh 1M xuống còn 1/20 so với thế hệ trước và tăng tốc prefill hơn 9 lần và giải mã hơn 15 lần. Nó đạt 59,0% trên SWE-Bench Pro, 66,0% trên Terminal-Bench 2.1 và 74,2% trên MCP Atlas, và có sẵn thông qua MiniMax Code, Token Plan và API, với trọng số và báo cáo kỹ thuật được hứa hẹn trong vòng 10 ngày.

    Vì sao đáng chú ý: MiniMax M3 kết hợp ngữ cảnh 1 triệu token, điểm số lập trình và tác nhân tiên tiến, và đầu vào hình ảnh và video gốc trong một mô hình trọng số mở, với MSA cắt giảm tính toán mỗi token ở ngữ cảnh dài.

4 tháng 5Thứ Hai
  1. Modal Blog36

    Modal tăng hiệu suất suy luận đa phương thức của SGLang hơn 10% nhờ bộ đệm dict Python

    Modal đã phân tích bộ lập lịch của SGLang trên một khối lượng công việc đa phương thức và thay thế việc ghi sổ lặp lại các handle CUDA IPC bằng một bộ đệm dict Python đơn giản, nâng thông lượng 16,2% và giảm TTFT trung bình 13,2% cùng TPOT 17,2% trên Qwen2.5-VL-3B-Instruct chạy trên H100. Bản sửa lỗi đã được hợp nhất trong SGLang v0.5.10.

11 tháng 2Thứ Tư
  1. Modal Blog78

    Modal ra mắt endpoint miễn phí cho GLM-5 và phát hành hướng dẫn tự triển khai cùng tích hợp frontend

    Modal giới thiệu endpoint tương thích OpenAI API miễn phí cho GLM-5, dùng được đến cuối tháng 4, giới hạn một yêu cầu đồng thời, đồng thời phát hành mã có thể tái lập để triển khai bằng SGLang trên 8 GPU B200 trong một nút đơn.

    Vì sao đáng chú ý: Modal cung cấp endpoint tương thích OpenAI miễn phí cho GLM-5 của Z.ai, và đưa ra cấu hình cụ thể để tích hợp trong OpenCode, OpenClaw, Claude Code và Vercel AI SDK.

2 tháng 12, 2025Thứ Ba
  1. Modal Blog42

    Modal bổ sung hỗ trợ Day 0 cho Mistral 3 với tính năng snapshot GPU giúp khởi động nguội nhanh gấp 10 lần

    Modal hiện cung cấp hỗ trợ Day 0 cho Mistral 3, cho phép các nhà phát triển triển khai dòng mô hình mở này trên GPU serverless mà không cần quản lý hạ tầng. Trên mô hình 3B Ministral 3, tính năng snapshot GPU của Modal đã giảm thời gian khởi động nguội trung vị từ khoảng 118 giây xuống còn khoảng 12 giây, tức giảm gần 10 lần. Ministral 3 có các kích thước 3B, 8B và 14B và đạt hiệu năng cạnh tranh với dòng Qwen 3-VL trên các benchmark.

18 tháng 11, 2025Thứ Ba
  1. Modal Blog36

    Blog Modal: Chi phí vận hành máy chủ đang giết chết hiệu quả suy luận của bạn

    Blog của Modal giải thích cách chi phí vận hành máy chủ—những khoảng trống khi GPU ngồi không chờ CPU chuẩn bị công việc—thể hiện qua mức sử dụng nhân GPU thấp trong suy luận AI. Với 50% chi phí vận hành máy chủ, chi phí suy luận trên GPU cao gấp 2 lần so với mức có thể. Bài viết trình bày chi tiết các giải pháp được dùng trong các engine suy luận mã nguồn mở trong môi trường production, bao gồm việc xây dựng tensor ngay trên thiết bị thay vì truyền chúng và giảm các lần khởi chạy nhân CUDA không cần thiết.

4 tháng 11, 2025Thứ Ba
  1. Modal Blog58

    Modal, Pipecat và các mô hình mở đạt độ trễ giọng nói sang giọng nói một giây

    Ben Shababo của Modal hướng dẫn cách xây dựng một bot thoại hội thoại trên Modal với framework mã nguồn mở Pipecat và các mô hình trọng số mở, đạt độ trễ trung vị giọng nói sang giọng nói khoảng một giây khi client và container ở gần nhau về mặt địa lý. Pipeline sử dụng NVIDIA parakeet-tdt-0.6b-v3 cho STT, Qwen3-4B-Instruct-2507 phục vụ bằng vLLM, KokoroTTS cho đầu ra giọng nói, và ChromaDB với all-minilm-l6-v2 cho RAG trên tài liệu của Modal. Modal Tunnels bỏ qua input plane để có các liên kết WebSocket và HTTP độ trễ thấp tới các dịch vụ STT, TTS và vLLM, trong khi một FunctionCall gắn với mỗi phiên hội thoại khôi phục khả năng tự động mở rộng, và việc ghim các dịch vụ tới các vùng gần đó cắt giảm độ trễ mạng.

30 tháng 10, 2025Thứ Năm
  1. Modal Blog38

    Modal và Datalab: Triển khai Marker và Surya Document Intelligence trong chưa đầy 5 phút

    Modal đã hợp tác với Datalab để cho phép các nhà phát triển triển khai mô hình phân tích tài liệu Marker và bộ công cụ OCR Surya trên GPU của Modal trong chưa đầy năm phút. Marker là một mô hình dưới một tỷ tham số hỗ trợ hơn 90 ngôn ngữ, và chạy nó trên Modal đạt khoảng 2,2 trang mỗi giây cho mỗi container, gấp khoảng 10 lần so với 0,22 trang mỗi giây trên một chiếc Mac M4 sử dụng Apple MPS. Các công cụ của Datalab vẫn miễn phí cho mục đích nghiên cứu, sử dụng cá nhân và các startup có vốn đầu tư hoặc doanh thu dưới 2 triệu USD, với giấy phép thương mại có sẵn.

23 tháng 7, 2025Thứ Tư
  1. Modal Blog52

    Modal benchmark mở các mô hình ASR cho phiên âm hàng loạt với tốc độ nhanh gấp 100 lần và tiết kiệm chi phí

    Modal đã triển khai dịch vụ phiên âm hàng loạt trên nền tảng của mình bằng cách sử dụng parakeet-tdt-0.6b-v2 và canary-1b-flash của NVIDIA, báo cáo hiệu suất end-to-end nhanh hơn 100 lần hoặc rẻ hơn 100 lần so với một API ASR độc quyền phổ biến trong khi vẫn đạt tỷ lệ lỗi tương đương trên khoảng một tuần âm thanh benchmark ESB. Nhóm nghiên cứu cho rằng những lợi ích này đến từ việc xáo trộn tệp giữa các lô yêu cầu, sắp xếp âm thanh theo thời lượng trong các lô GPU, tải xuống song song và các cấu hình GPU và worker được chọn theo thực nghiệm. Bài viết trình bày kiến trúc và các bước tối ưu hóa để người khác có thể xây dựng các dịch vụ tương tự.

11 tháng 7, 2025Thứ Sáu
  1. Modal Blog31

    Jamsocket gia nhập Modal

    Jamsocket, nền tảng backend đứng sau bộ điều phối mã nguồn mở Plane, Y-Sweet và ForeverVM, đang gia nhập Modal, với hai nhà đồng sáng lập Paul Butler và Taylor Baldwin gia nhập đội ngũ Modal. Các sản phẩm của Jamsocket sẽ tiếp tục hoạt động bình thường trong khi chức năng cốt lõi được chuyển sang Modal, mà theo các nhà sáng lập, điều này cho phép khách hàng lấy AI làm trung tâm triển khai suy luận GPU, hộp cát mã và backend thời gian thực từ một nền tảng duy nhất.

9 tháng 6, 2025Thứ Hai
  1. Modal Blog40

    Modal 1.0 ra mắt: SDK Python ổn định hơn với cấu hình tường minh

    Modal đã phát hành phiên bản 1.0 của SDK Python client, một cột mốc mà công ty cho biết mang lại mức độ trưởng thành và ổn định mới cho nền tảng điện toán đám mây serverless của mình, với ít thay đổi phá vỡ tương thích hơn trong tương lai. Bản phát hành loại bỏ các hành vi "ma thuật" như tự động gắn các gói cục bộ, tách chức năng cốt lõi thành các decorator riêng biệt như @modal.concurrent mới, và hợp nhất xử lý tệp cục bộ dưới lớp modal.Image. Modal cũng có kế hoạch phát triển SDK cho các ngôn ngữ khác và đang khám phá cách nền tảng nên phục vụ các quy trình công việc agent do AI điều khiển.

22 tháng 5, 2025Thứ Năm
  1. Vapi Blog20

    10 công cụ chuyển giọng nói thành văn bản y tế mã nguồn mở tốt nhất

    Một hướng dẫn xếp hạng 10 mô hình chuyển giọng nói thành văn bản mã nguồn mở cho sử dụng lâm sàng, được đánh giá dựa trên độ chính xác thời gian thực, khả năng xử lý thuật ngữ y khoa, độ tin cậy vận hành và bảo mật dữ liệu. Danh sách bao gồm Vosk, DeepSpeech, SpeechBrain, OpenAI Whisper và ESPnet, được ghép với các bối cảnh như phòng khám nông thôn ít nguồn lực, bệnh viện đa ngôn ngữ và trung tâm nghiên cứu nhiều thuật ngữ. Tất cả đều có thể tích hợp với nền tảng AI giọng nói không phụ thuộc mô hình của Vapi.

20 tháng 5, 2025Thứ Ba
  1. Modal Blog34

    Modal nâng giới hạn lưu trữ của kho KV serverless Dict lên không giới hạn với tính năng khóa mới

    Modal đã nâng cấp kho key-value Dict serverless của mình: các Dict mới hiện có dung lượng lưu trữ không giới hạn thay vì giới hạn 10GiB trước đây, và thời hạn của mục đã thay đổi thành 7 ngày kể từ lần ghi hoặc đọc cuối cùng. Cờ skip_if_exists mới trên .put() cho phép khóa phân tán và ngữ nghĩa "exactly once", và Dict giờ đây cung cấp độ bền dữ liệu. Những thay đổi này chỉ áp dụng cho các Dict mới được tạo.

28 tháng 12, 2024Thứ Bảy
  1. Modal Blog22

    Cập nhật sản phẩm Modal: chụp nhanh bộ nhớ nhanh hơn, OIDC, hàng đợi công việc bất đồng bộ

    Modal đã phát hành một đợt cập nhật sản phẩm, dẫn đầu là bản nâng cấp lớn cho tính năng chụp nhanh bộ nhớ bản beta, mà họ nói có thể giảm một nửa thời gian khởi động nguội cho các mô hình như Stable Diffusion. Nền tảng này cũng bổ sung hỗ trợ OpenID Connect cho token định danh ngắn hạn, nén ảnh eStargz để xây dựng nhanh hơn từ các registry như ECR và Docker Hub, và đang mở rộng hàng đợi công việc bất đồng bộ hướng tới giới hạn 1 triệu đầu vào, tăng từ 2k.

24 tháng 11, 2024Chủ Nhật
  1. Modal Blog22

    Modal ký Thỏa thuận Hợp tác Chiến lược với AWS cho AI tạo sinh tăng tốc bằng GPU

    Modal đã ký Thỏa thuận Hợp tác Chiến lược với AWS nhằm giúp các doanh nghiệp phát triển và triển khai sản phẩm AI nhanh hơn trên nền tảng serverless của mình cho các khối lượng công việc tăng tốc bằng GPU, có thể khởi tạo các container được trang bị GPU chỉ trong vòng một giây. Theo thỏa thuận, Modal sẽ niêm yết trên AWS Marketplace và đầu tư vào các tích hợp như AWS PrivateLink để phục vụ khách hàng có yêu cầu cụ thể về bảo mật và quyền riêng tư.

14 tháng 3, 2024Thứ Năm
  1. Modal Blog36

    modal-http của Modal: Phục vụ các hàm web trên hạ tầng serverless

    Modal đã xây dựng modal-http, một ngăn xếp HTTP và WebSocket cho phép các hàm serverless của mình nhận yêu cầu web, với hỗ trợ WebSocket đầy đủ vừa được hoàn thiện. Khác với giới hạn 15 phút và 50 MB của AWS Lambda, các container của Modal có thể sử dụng tới 64 CPU, 336 GB bộ nhớ và 8 GPU Nvidia H100, vì vậy nhóm đã chuyển đổi HTTP thành các lệnh gọi hàm thay vì đặt các container phía sau một reverse proxy thông thường.

27 tháng 2, 2024Thứ Ba
  1. Modal Blog38

    Modal bổ sung hỗ trợ WebSocket cho ứng dụng thời gian thực

    Modal hiện đã hỗ trợ kết nối WebSocket, cho phép các hàm trên nền tảng của nó duy trì liên kết hai chiều, liên tục giữa máy khách và máy chủ thay vì kết nối HTTP theo từng yêu cầu. Mỗi kết nối WebSocket được tính là một đầu vào, vì vậy các hàm không bị giới hạn bởi CPU/GPU nên cho phép đầu vào đồng thời hoặc Modal khởi tạo một container mới cho mỗi kết nối. Modal tự động mở rộng các trình xử lý WebSocket, nhắm đến truyền phát thời gian thực, cập nhật tiến độ trên các tác vụ chạy dài và lưu trữ các framework như ComfyUI, Streamlit và Gradio.