Modal phát hành phiên bản alpha của SDK chính thức cho JavaScript và Go, cho phép nhà phát triển gọi các Modal Functions đã triển khai và tạo sandbox biệt lập từ Node, Next.js hoặc các dịch vụ Go mà không cần viết Python. Các SDK không thể triển khai hàm, vẫn cần Python, và hiện chỉ hỗ trợ kiểu dữ liệu giống JSON hoặc bytes. Modal cho biết có thể chạy 10.000 sandbox bằng một trong hai ngôn ngữ mà không gặp vấn đề gì.
Lemon Slice đã xây dựng Lemon Slice Live, một sản phẩm cho các cuộc trò chuyện video thời gian thực với các nhân vật AI, sử dụng Modal và các primitive độ trễ thấp của Daily để đạt được độ trễ phản hồi video end-to-end từ 3-6 giây. Pipeline vận hành một máy chủ Pipecat và một mô hình video 1B tham số trên các container Modal riêng biệt giao tiếp qua Modal's Tunnel và được đặt cùng vị trí với lựa chọn khu vực, với Deepgram, Grok và ElevenLabs xử lý chuyển giọng nói thành văn bản, phản hồi LLM và chuyển văn bản thành giọng nói. Trước đó, hai Python Modal Functions đã cho phép Lemon Slice mở rộng lên 10.000 yêu cầu mỗi giờ mà không cần quản lý cụm ECS, hàng đợi công việc hay bộ cân bằng tải.
Vapi hiện đã hỗ trợ SMS, cho phép các tác nhân AI thoại của mình gửi và nhận tin nhắn văn bản trong cuộc gọi. Tác nhân có thể trả lời tin nhắn đến trực tiếp, chuyển từ thoại sang văn bản giữa cuộc hội thoại và chạy các luồng hoàn toàn dựa trên văn bản; SMS hiện chỉ khả dụng cho Twilio.
Vapi đã phát hành Vapi MCP Server, cho phép các công cụ AI agent kích hoạt luồng thoại thời gian thực và cuộc gọi ra ngoài thông qua function calling. Nó hỗ trợ tích hợp Claude Desktop và truy cập từ xa qua SSE, để người dùng có thể yêu cầu Claude thực hiện cuộc gọi hoặc lên lịch theo dõi bằng ngôn ngữ tự nhiên. Server có sẵn qua @vapi-ai/mcp-server, chạy cục bộ hoặc thông qua endpoint SSE được lưu trữ.
Modal hiện cho phép mỗi Function xếp hàng tới 1 triệu đầu vào, tăng từ 2k, với giới hạn tốc độ .spawn() cao hơn và kết quả FunctionCall được giữ trong 7 ngày. Bản cập nhật cũng bổ sung ứng dụng tạm thời qua app.run() bên trong container, thông tin Git commit cho ứng dụng trong CLI và dashboard, cùng ví dụ TensorRT-LLM mới phục vụ LLM với độ trễ dưới 400 ms.
Modal đã giảm giá GPU, CPU và bộ nhớ tới 65%, và người dùng gói Team giờ có thể chạy tới 50 GPU đồng thời. Modal SDK hiện đã có trên conda-forge bắt đầu từ phiên bản 0.73.46, và một bản phát hành client phiên bản 1.0 đang được lên kế hoạch. Modal cũng đã công bố một ví dụ image-to-video với LTX-Video và ra mắt logo mới.
Modal đã ra mắt bảng điều khiển nhật ký được làm mới với bộ lọc nhập khoảng thời gian, phân tích container trực tiếp để gỡ lỗi các container hoặc đầu vào bị kẹt, và Debug Shells chạy các lệnh như vim, ps và strace bên trong container đang chạy. Chọn vùng hiện đã có trên mọi gói, được định giá bằng hệ số nhân trên giá cơ bản, và client bổ sung xác thực OIDC cho gắn kết bucket đám mây thông qua trường mới oidc_auth_role_arn.
Modal đã giới thiệu tính năng khôi phục từ ảnh chụp nhanh bộ nhớ cho môi trường chạy container GPU serverless của mình, mà họ cho biết giúp thời gian khởi động nguội nhanh hơn khoảng 2,5 lần so với khởi động container tiêu chuẩn. Một Function suy luận Stable Diffusion thường mất khoảng 13 giây nay khôi phục trong 3,5 giây, và một chương trình import torch đơn giản giảm từ khoảng 5 giây xuống còn khoảng 1,05 giây ở p50 và 0,69 giây ở p0. Ảnh chụp nhanh được xây dựng trên tính năng checkpoint/restore của gVisor và được tạo theo yêu cầu, với tự động chuyển sang khởi động container tiêu chuẩn khi khôi phục thất bại; trạng thái GPU chưa được lưu, nên phải xây dựng lại sau khi khôi phục.
Vì sao đáng chú ý: Modal giải thích cách ảnh chụp nhanh bộ nhớ dựa trên gVisor giảm thời gian khởi động nguội của serverless, với thời gian khôi phục cụ thể cho một Function Stable Diffusion và một ví dụ import torch.
Modal hiện cung cấp GPU NVIDIA L40S với giá $1,95/giờ, bộ nhớ 48GB, hiệu năng nhanh hơn tới 40% trên các tác vụ giới hạn bởi bộ nhớ và tăng tốc hơn 100% trên các tác vụ giới hạn bởi tính toán so với GPU A10 của hãng. Nền tảng cũng bổ sung token Proxy Auth để kiểm soát truy cập các endpoint web, API Filesystem cho Sandbox, và tính năng chụp nhanh đĩa cho phép người dùng tạo các phiên bản Sandbox mới từ ảnh chụp nhanh để loại bỏ khởi động nguội. Modal cũng công bố hoàn thành chứng nhận SOC 2 Type 2.
Modal công bố tính khả dụng chung của Sandboxes, nguyên thủy (primitive) của họ để chạy an toàn mã không đáng tin cậy từ LLM, người dùng hoặc nguồn bên thứ ba trong một môi trường cách ly tách biệt với các tài nguyên Modal khác. Sandboxes cung cấp API exec đơn giản, môi trường có thể cấu hình lúc chạy thông qua Image API, và ảnh chụp nhanh hệ thống tệp để lưu trữ liên tục. Modal cũng đã upstream hỗ trợ vào SWE-bench, nơi cờ --modal cho phép 500 tác vụ của benchmark Verified chạy trong khoảng 7 phút, và trích dẫn Poe của Quora, Codegen và Relevance AI là khách hàng.
Modal đã phát hành một đợt cập nhật sản phẩm, dẫn đầu là bản nâng cấp lớn cho tính năng chụp nhanh bộ nhớ bản beta, mà họ nói có thể giảm một nửa thời gian khởi động nguội cho các mô hình như Stable Diffusion. Nền tảng này cũng bổ sung hỗ trợ OpenID Connect cho token định danh ngắn hạn, nén ảnh eStargz để xây dựng nhanh hơn từ các registry như ECR và Docker Hub, và đang mở rộng hàng đợi công việc bất đồng bộ hướng tới giới hạn 1 triệu đầu vào, tăng từ 2k.
Modal hiện cung cấp GPU NVIDIA L40S cho tất cả người dùng với giá $1,95/giờ, được định vị là lựa chọn thay thế nhanh hơn, bộ nhớ lớn hơn cho bộ tăng tốc suy luận phổ biến nhất của mình, A10. L40S tăng gấp đôi RAM GPU lên 48GB, cho phép các mô hình như Flux.1-schnell chạy ở độ chính xác 16bit trên một GPU duy nhất, và mang lại tốc độ nhanh hơn khoảng 40% đối với các tác vụ bị giới hạn bởi bộ nhớ và hơn 100% đối với các tác vụ bị giới hạn bởi tính toán 16bit Tensor Core.
Modal đã phát hành proxy IP tĩnh định tuyến lưu lượng truy cập ra ngoài qua các IP độc quyền của workspace, cùng với tích hợp Slack gốc để nhận cảnh báo ứng dụng theo thời gian thực và bảng điều khiển sử dụng trực tiếp theo dõi tài nguyên trên tất cả ứng dụng trong workspace. Bản cập nhật cũng bổ sung dự phòng GPU cho các hàm, mở rộng nhóm tài nguyên mà một hàm có thể được lập lịch trên đó, và các thay đổi phía client bao gồm ID container của `modal shell` và chụp nhanh bộ nhớ cho các hàm được tham số hóa.
Modal đã bổ sung hỗ trợ dynamic batching gốc, cho phép các hàm inference nhóm yêu cầu thông qua một decorator @modal.batched() duy nhất với các tham số max_batch_size và wait_ms. Trên Whisper large v3 của OpenAI chạy trên A10G, max_batch_size là 64 đã nâng thông lượng từ ~1,2 lên ~3,3 yêu cầu mỗi giây trên mỗi container và giảm 65% chi phí inference.
Modal đã phát hành tính năng hoàn nguyên ứng dụng cho phép người dùng khôi phục một ứng dụng đã triển khai về phiên bản trước đó từ bảng điều khiển hoặc CLI, cùng với decorator @batched tích lũy các yêu cầu thành các lô có kích thước động để đánh đổi độ trễ lấy thông lượng và mức sử dụng GPU. Các đối tượng Sandbox giờ đây có thể chuyển tiếp cổng TCP ra internet và thực thi thêm các tiến trình, và nhật ký có thể được xuất sang nhà cung cấp OpenTelemetry. Lõi CPU và các GPU cao cấp hơn cũng trở nên rẻ hơn.
Cursor đã triển khai một shadow workspace cho phép AI của mình áp dụng các chỉnh sửa trong một cửa sổ Electron ẩn và đọc lại kết quả lint mà không đụng đến phiên chỉnh sửa của người dùng. Bài viết phác thảo các mục tiêu thiết kế về tính khả dụng của LSP, tính độc lập, quyền riêng tư, tính đồng thời và tốc độ, đồng thời giải thích lý do vì sao việc sao chép một TextModel hoặc chạy các language server riêng biệt đã thất bại. Bài viết cũng phác thảo một proxy thư mục cấp kernel trong tương lai cho khả năng chạy được, lưu ý rằng macOS và Windows thiếu một đường dẫn FUSE khả thi và hỗ trợ LSP cho Rust hiện không khả dụng.
Modal đang giảm giá CPU và một số GPU mạnh nhất của mình từ 15-30%, với lý do sự cạnh tranh gia tăng trong nguồn cung GPU và việc ra mắt các GPU mạnh hơn trong năm qua. Công ty cũng thay đổi cách tính phí CPU/bộ nhớ sang tính max(reservation, usage) cho mỗi container đang chạy, với mức đặt trước tối thiểu mặc định là 0.125 lõi CPU cho tất cả các Functions. Gói Team tăng lên $250/tháng với số ghế không giới hạn và $100/tháng tín dụng, với mức giá mới có hiệu lực vào tháng 9 cho người dùng Starter và Team/Enterprise bị ảnh hưởng.
Bản cập nhật sản phẩm hàng tháng của Modal bổ sung tích hợp Datadog cho phép chuyển tiếp nhật ký ứng dụng và nhật ký kiểm toán chỉ với một cú nhấp, cùng với tính năng chọn vùng đám mây cho các hàm nhằm đáp ứng nhu cầu về quy định, chi phí truyền dữ liệu ra ngoài hoặc vị trí cơ sở dữ liệu. Công ty cũng đã cải tổ hệ thống gọi hàm để có thông lượng cao hơn với chi phí đáng kể thấp hơn, hướng tới các khối lượng công việc sản xuất thời gian thực có độ trễ thấp, và đại tu trang chi tiết ứng dụng với tính năng thu phóng theo khoảng thời gian, trạng thái container và chế độ xem hệ thống tệp của image.
Bản cập nhật sản phẩm hàng tháng của Modal bổ sung tính năng gắn có thể ghi cho các bộ chứa AWS S3 và Cloudflare R2, một decorator @web_server để lưu trữ các máy chủ web không phải ASGI/WSGI trên một cổng chỉ định, và đăng nhập một lần Okta cho người dùng gói doanh nghiệp. Trình xem volume trong bảng điều khiển web cho phép người dùng khám phá hệ thống tệp của volume, và ứng dụng khách mới nhất bổ sung tính năng kết hợp ứng dụng đa tệp qua .include, hàng đợi phân vùng và hỗ trợ stdin cho Sandboxes.
Modal hiện đã hỗ trợ kết nối WebSocket, cho phép các hàm trên nền tảng của nó duy trì liên kết hai chiều, liên tục giữa máy khách và máy chủ thay vì kết nối HTTP theo từng yêu cầu. Mỗi kết nối WebSocket được tính là một đầu vào, vì vậy các hàm không bị giới hạn bởi CPU/GPU nên cho phép đầu vào đồng thời hoặc Modal khởi tạo một container mới cho mỗi kết nối. Modal tự động mở rộng các trình xử lý WebSocket, nhắm đến truyền phát thời gian thực, cập nhật tiến độ trên các tác vụ chạy dài và lưu trữ các framework như ComfyUI, Streamlit và Gradio.
Modal đã bổ sung hỗ trợ WebSocket cho các hàm của mình, cho phép lưu trữ sẵn các framework như Streamlit, cùng với các lệnh tương tác qua `modal container exec` để kiểm tra và gỡ lỗi các container đang hoạt động. GPU H100 hiện đã có sẵn trên Modal, và bản cập nhật client bổ sung các hook vòng đời `@build`, tự động commit nền cho Volumes, và mở rộng các lệnh CLI bao gồm get, put và rm.
Modal đã cung cấp GPU NVIDIA H100 cho tất cả người dùng, với giá 7,65 USD mỗi giờ cho mỗi GPU. Kết quả đánh giá hiệu năng của NVIDIA cho thấy H100 mang lại tốc độ huấn luyện nhanh hơn tới 4 lần và tốc độ suy luận nhanh hơn tới 30 lần so với A100, với 80 GB DRAM trên chip và tối đa 8 GPU được liên kết qua NVLink với tốc độ 3,6 TB/s. Người dùng kích hoạt bằng cách đặt "H100" làm loại GPU trong decorator của Modal.