Modal đã phát hành Volumes v2 dưới dạng open beta cho tất cả ứng dụng, với hệ thống tệp được xây dựng lại để có thông lượng cao hơn, truy cập ngẫu nhiên nhanh hơn và ghi đồng thời thực sự từ hàng trăm container, cùng với không giới hạn số tệp được lưu trữ. SDK JavaScript/TypeScript và Go của nó cũng đã bước vào giai đoạn beta ở phiên bản v0.5, bổ sung một đối tượng Client thống nhất và hỗ trợ Sandboxes, Functions, Images và Volumes.
Modal đã hợp tác với Datalab để cho phép các nhà phát triển triển khai mô hình phân tích tài liệu Marker và bộ công cụ OCR Surya trên GPU của Modal trong chưa đầy năm phút. Marker là một mô hình dưới một tỷ tham số hỗ trợ hơn 90 ngôn ngữ, và chạy nó trên Modal đạt khoảng 2,2 trang mỗi giây cho mỗi container, gấp khoảng 10 lần so với 0,22 trang mỗi giây trên một chiếc Mac M4 sử dụng Apple MPS. Các công cụ của Datalab vẫn miễn phí cho mục đích nghiên cứu, sử dụng cá nhân và các startup có vốn đầu tư hoặc doanh thu dưới 2 triệu USD, với giấy phép thương mại có sẵn.
Vapi đang cung cấp cho cộng đồng quyền truy cập miễn phí, không giới hạn vào mô hình TTS Sonic-3 mới ra mắt của Cartesia thông qua khóa API được quản lý của mình từ ngày 28 tháng 10 đến ngày 2 tháng 11. Sonic-3 bổ sung các thẻ cảm xúc và tiếng cười, điều khiển tốc độ và âm lượng chi tiết, cùng hỗ trợ 27 ngôn ngữ mới. Vapi khuyến nghị bắt đầu với giọng Kira và Ariana để có các tác nhân có độ trễ thấp, âm thanh tự nhiên.
Modal đã xây dựng Modal Vibe, một nền tảng lập trình vibe mã nguồn mở dạng demo trên Modal Sandboxes, có khả năng mở rộng từ 0 lên 1.000 ứng dụng do AI viết mã trong khoảng năm phút. Một bài kiểm tra tải tạo 1.000 ứng dụng, mỗi ứng dụng trong Sandbox riêng, mất khoảng 300 giây, với API AI là bước giới hạn tốc độ. Modal cho biết Team Plan có thể chạy 1.000 Sandbox đồng thời, đủ cho hơn một triệu phiên mỗi tháng.
Modal đã phát hành các cập nhật sản phẩm bao gồm Modal Notebooks để thử nghiệm Python trên đám mây với tối đa 8 GPU B200, cùng tham số idle_timeout tùy chọn cho modal.Sandbox.create(). Client cũng bổ sung tham số startup_timeout cho các decorator @app.function() và @app.cls() và một mẫu API mới để quản lý mệnh lệnh các loại tài nguyên của Modal. Modal Notebooks sau đó đã bị ngừng, tuy nhiên các notebook hiện có vẫn có thể được tải xuống dưới dạng tệp .ipynb.
Modal Notebooks hiện đã được cung cấp rộng rãi cho tất cả khách hàng Modal sau bản beta giới hạn vào tháng trước. Môi trường notebook cộng tác này chạy trên nhân Python hỗ trợ GPU, đạt trạng thái sẵn sàng trong dưới 5 giây trên các container image tùy ý và phần cứng lên đến 256 vCPU và 8 GPU H100/B200, với tự động tắt khi nhàn rỗi, Volumes và Secrets dùng chung, và chỉnh sửa đa con trỏ theo thời gian thực. Modal cho biết hơn 5.000 tài khoản đã chạy 200.000 ô mã trong bản beta tháng 8, và các tính năng sắp ra mắt bao gồm snapshot bộ nhớ, xuất một cú nhấp sang Modal Apps, và chạy theo lịch.
Modal đã bổ sung tính năng ảnh chụp nhanh bộ nhớ GPU ở dạng alpha, giúp giảm 10 lần thời gian khởi động nguội cho các khối lượng công việc GPU bằng cách bỏ qua các bước như biên dịch Torch, được bật thông qua tùy chọn enable_gpu_snapshot. Bản cập nhật cũng mang đến Modal Notebooks ở dạng beta để chạy Python trong trình duyệt, Service Tokens dành cho quản lý không gian làm việc và giao diện người dùng do trình duyệt tạo cho các Function đã triển khai.
Modal công bố ảnh chụp nhanh bộ nhớ GPU ở dạng alpha, mở rộng hệ thống checkpoint/restore hiện có để ghi lại vRAM GPU, nhân CUDA, luồng và ngữ cảnh, nhờ đó các khối lượng công việc GPU khôi phục từ trạng thái đóng băng thay vì xây dựng lại trạng thái CUDA sau khi khởi động.
Vì sao đáng chú ý: Modal bổ sung trạng thái GPU vào ảnh chụp nhanh bộ nhớ, cắt giảm khởi động nguội cho các khối lượng công việc torch.compile và vLLM tới 10 lần và giúp scale-to-zero thực tế hơn.
Modal đã ra mắt cụm huấn luyện đa nút ở dạng beta, cho phép người dùng tận dụng hàng chục GPU trên nhiều máy chủ bằng cách thêm decorator @clustered, với kết nối liên kết Infiniband RDMA 3,2 Tbps để mở rộng gần như tuyến tính. Nền tảng hiện cung cấp GPU NVIDIA B200 và H200 theo dạng serverless với giá lần lượt là 6,25 USD/giờ và 4,54 USD/giờ, tuyên bố suy luận LLM nhanh hơn 2-4 lần so với H100. Modal cũng phát hành Client 1.0, nhấn mạnh tính ổn định của API, cùng các cập nhật bao gồm phương thức Volume chỉ đọc và hỗ trợ múi giờ cho lịch Cron.
Vapi hiện cho phép người dùng khởi chạy các chiến dịch gọi ra ngoài bằng cách tải lên CSV chứa số điện thoại và các biến tùy chỉnh, sau đó gán một trợ lý hoặc quy trình làm việc để vận hành. Vapi xử lý việc xếp hàng, thực thi và ghi nhật ký, với trạng thái cuộc gọi hiển thị trên bảng điều khiển. Chiến dịch yêu cầu số điện thoại đã xác minh, vì không thể dùng số của Vapi.
Modal đã phát hành phiên bản 1.0 của SDK Python client, một cột mốc mà công ty cho biết mang lại mức độ trưởng thành và ổn định mới cho nền tảng điện toán đám mây serverless của mình, với ít thay đổi phá vỡ tương thích hơn trong tương lai. Bản phát hành loại bỏ các hành vi "ma thuật" như tự động gắn các gói cục bộ, tách chức năng cốt lõi thành các decorator riêng biệt như @modal.concurrent mới, và hợp nhất xử lý tệp cục bộ dưới lớp modal.Image. Modal cũng có kế hoạch phát triển SDK cho các ngôn ngữ khác và đang khám phá cách nền tảng nên phục vụ các quy trình công việc agent do AI điều khiển.
Vapi hiện cung cấp 11 mô hình chuyển văn bản thành giọng nói tích hợp sẵn như những lựa chọn thay thế cho ElevenLabs, bao gồm Neu-hq và Neu-fast của Neuphonic, dòng Sonic của Cartesia, Azure TTS, OpenAI TTS, Deepgram, Lightning của Smallest AI, LMNT, PlayHT, Octave của Hume và Mist v2 của Rime AI. Các nhà phát triển có thể chuyển đổi giữa chúng trong vài phút mà không cần viết lại mã, và Vapi cho biết họ xử lý hơn một triệu cuộc gọi thoại mỗi ngày trên các mô hình này.
Modal hiện cung cấp GPU Nvidia B200 và H200 cho mọi chủ tài khoản mà không cần liên hệ bộ phận kinh doanh hay yêu cầu hạn ngạch, với giá lần lượt 6,25 đô la/giờ và 4,54 đô la/giờ. B200 có 180 GB bộ nhớ HBM3e và băng thông 8 TB/s, và trong thử nghiệm vLLM của Modal chạy DeepSeek V3 ở độ chính xác 8-bit, 8xB200 giảm thời gian đến token đầu tiên trung vị 2,5 lần so với 8xH200 ở 1 yêu cầu mỗi giây.
Narakeet chuyển đổi kịch bản viết thành giọng thuyết minh sống động như thật, cung cấp hơn 600 giọng nói trên hơn 70 ngôn ngữ và hỗ trợ hơn 140 ngôn ngữ và phương ngữ. Nền tảng này đồng bộ lời thuyết minh với PowerPoint, Google Slides và tệp Markdown, tạo phụ đề và chú thích, đồng thời cung cấp API cho nhà phát triển với xử lý hàng loạt. Các gói bắt đầu từ khoảng 5 đô la mỗi tháng, có gói miễn phí.
Modal ra mắt Modal Batch, một giao diện xử lý theo lô được hỗ trợ bởi hàng đợi bền vững được xây dựng lại, có thể xếp hàng 1 triệu đầu vào cùng lúc, tăng từ 2.000, và đảm bảo thực thi tới 7 ngày sau khi tác vụ được khởi chạy, tăng từ 1 ngày. Một trình xử lý gốc mới, .spawn_map, khởi tạo hàng nghìn container trên một tập hợp đầu vào mà người dùng không cần quản lý logic bất đồng bộ, và Harvey báo cáo tốc độ nhanh gấp 10 lần trong quy trình xử lý tài liệu của mình sau khi phân tán đầu vào trên 1.000 container. Suno sử dụng nó để chạy tiền xử lý tăng tốc GPU trên hàng nghìn GPU, và Achira dựa vào cơ chế thử lại của nó cho các bộ dữ liệu cơ học lượng tử.
Modal đã nâng cấp kho key-value Dict serverless của mình: các Dict mới hiện có dung lượng lưu trữ không giới hạn thay vì giới hạn 10GiB trước đây, và thời hạn của mục đã thay đổi thành 7 ngày kể từ lần ghi hoặc đọc cuối cùng. Cờ skip_if_exists mới trên .put() cho phép khóa phân tán và ngữ nghĩa "exactly once", và Dict giờ đây cung cấp độ bền dữ liệu. Những thay đổi này chỉ áp dụng cho các Dict mới được tạo.
Vapi đã triển khai tích hợp trực tiếp với Lịch GoHighLevel, nhúng các tác nhân thoại của mình vào luồng lên lịch của GHL. Giờ đây các tác nhân có thể kiểm tra tình trạng còn trống theo thời gian thực trên các lịch GHL đã kết nối, tạo liên hệ từ thông tin người gọi và đặt lịch hẹn gắn với đúng liên hệ. Việc thiết lập tương tự như kết nối Google Calendar trong Vapi, với bốn công cụ mới: Create Event, Check Availability, Create Contact và Contact Get.
Modal phát hành phiên bản alpha của SDK chính thức cho JavaScript và Go, cho phép nhà phát triển gọi các Modal Functions đã triển khai và tạo sandbox biệt lập từ Node, Next.js hoặc các dịch vụ Go mà không cần viết Python. Các SDK không thể triển khai hàm, vẫn cần Python, và hiện chỉ hỗ trợ kiểu dữ liệu giống JSON hoặc bytes. Modal cho biết có thể chạy 10.000 sandbox bằng một trong hai ngôn ngữ mà không gặp vấn đề gì.
Lemon Slice đã xây dựng Lemon Slice Live, một sản phẩm cho các cuộc trò chuyện video thời gian thực với các nhân vật AI, sử dụng Modal và các primitive độ trễ thấp của Daily để đạt được độ trễ phản hồi video end-to-end từ 3-6 giây. Pipeline vận hành một máy chủ Pipecat và một mô hình video 1B tham số trên các container Modal riêng biệt giao tiếp qua Modal's Tunnel và được đặt cùng vị trí với lựa chọn khu vực, với Deepgram, Grok và ElevenLabs xử lý chuyển giọng nói thành văn bản, phản hồi LLM và chuyển văn bản thành giọng nói. Trước đó, hai Python Modal Functions đã cho phép Lemon Slice mở rộng lên 10.000 yêu cầu mỗi giờ mà không cần quản lý cụm ECS, hàng đợi công việc hay bộ cân bằng tải.
Vapi hiện đã hỗ trợ SMS, cho phép các tác nhân AI thoại của mình gửi và nhận tin nhắn văn bản trong cuộc gọi. Tác nhân có thể trả lời tin nhắn đến trực tiếp, chuyển từ thoại sang văn bản giữa cuộc hội thoại và chạy các luồng hoàn toàn dựa trên văn bản; SMS hiện chỉ khả dụng cho Twilio.
Vapi đã phát hành Vapi MCP Server, cho phép các công cụ AI agent kích hoạt luồng thoại thời gian thực và cuộc gọi ra ngoài thông qua function calling. Nó hỗ trợ tích hợp Claude Desktop và truy cập từ xa qua SSE, để người dùng có thể yêu cầu Claude thực hiện cuộc gọi hoặc lên lịch theo dõi bằng ngôn ngữ tự nhiên. Server có sẵn qua @vapi-ai/mcp-server, chạy cục bộ hoặc thông qua endpoint SSE được lưu trữ.
Modal hiện cho phép mỗi Function xếp hàng tới 1 triệu đầu vào, tăng từ 2k, với giới hạn tốc độ .spawn() cao hơn và kết quả FunctionCall được giữ trong 7 ngày. Bản cập nhật cũng bổ sung ứng dụng tạm thời qua app.run() bên trong container, thông tin Git commit cho ứng dụng trong CLI và dashboard, cùng ví dụ TensorRT-LLM mới phục vụ LLM với độ trễ dưới 400 ms.
Modal đã giảm giá GPU, CPU và bộ nhớ tới 65%, và người dùng gói Team giờ có thể chạy tới 50 GPU đồng thời. Modal SDK hiện đã có trên conda-forge bắt đầu từ phiên bản 0.73.46, và một bản phát hành client phiên bản 1.0 đang được lên kế hoạch. Modal cũng đã công bố một ví dụ image-to-video với LTX-Video và ra mắt logo mới.
Modal đã ra mắt bảng điều khiển nhật ký được làm mới với bộ lọc nhập khoảng thời gian, phân tích container trực tiếp để gỡ lỗi các container hoặc đầu vào bị kẹt, và Debug Shells chạy các lệnh như vim, ps và strace bên trong container đang chạy. Chọn vùng hiện đã có trên mọi gói, được định giá bằng hệ số nhân trên giá cơ bản, và client bổ sung xác thực OIDC cho gắn kết bucket đám mây thông qua trường mới oidc_auth_role_arn.
Modal đã giới thiệu tính năng khôi phục từ ảnh chụp nhanh bộ nhớ cho môi trường chạy container GPU serverless của mình, mà họ cho biết giúp thời gian khởi động nguội nhanh hơn khoảng 2,5 lần so với khởi động container tiêu chuẩn. Một Function suy luận Stable Diffusion thường mất khoảng 13 giây nay khôi phục trong 3,5 giây, và một chương trình import torch đơn giản giảm từ khoảng 5 giây xuống còn khoảng 1,05 giây ở p50 và 0,69 giây ở p0. Ảnh chụp nhanh được xây dựng trên tính năng checkpoint/restore của gVisor và được tạo theo yêu cầu, với tự động chuyển sang khởi động container tiêu chuẩn khi khôi phục thất bại; trạng thái GPU chưa được lưu, nên phải xây dựng lại sau khi khôi phục.
Vì sao đáng chú ý: Modal giải thích cách ảnh chụp nhanh bộ nhớ dựa trên gVisor giảm thời gian khởi động nguội của serverless, với thời gian khôi phục cụ thể cho một Function Stable Diffusion và một ví dụ import torch.
Modal hiện cung cấp GPU NVIDIA L40S với giá $1,95/giờ, bộ nhớ 48GB, hiệu năng nhanh hơn tới 40% trên các tác vụ giới hạn bởi bộ nhớ và tăng tốc hơn 100% trên các tác vụ giới hạn bởi tính toán so với GPU A10 của hãng. Nền tảng cũng bổ sung token Proxy Auth để kiểm soát truy cập các endpoint web, API Filesystem cho Sandbox, và tính năng chụp nhanh đĩa cho phép người dùng tạo các phiên bản Sandbox mới từ ảnh chụp nhanh để loại bỏ khởi động nguội. Modal cũng công bố hoàn thành chứng nhận SOC 2 Type 2.
Modal công bố tính khả dụng chung của Sandboxes, nguyên thủy (primitive) của họ để chạy an toàn mã không đáng tin cậy từ LLM, người dùng hoặc nguồn bên thứ ba trong một môi trường cách ly tách biệt với các tài nguyên Modal khác. Sandboxes cung cấp API exec đơn giản, môi trường có thể cấu hình lúc chạy thông qua Image API, và ảnh chụp nhanh hệ thống tệp để lưu trữ liên tục. Modal cũng đã upstream hỗ trợ vào SWE-bench, nơi cờ --modal cho phép 500 tác vụ của benchmark Verified chạy trong khoảng 7 phút, và trích dẫn Poe của Quora, Codegen và Relevance AI là khách hàng.
Modal đã phát hành một đợt cập nhật sản phẩm, dẫn đầu là bản nâng cấp lớn cho tính năng chụp nhanh bộ nhớ bản beta, mà họ nói có thể giảm một nửa thời gian khởi động nguội cho các mô hình như Stable Diffusion. Nền tảng này cũng bổ sung hỗ trợ OpenID Connect cho token định danh ngắn hạn, nén ảnh eStargz để xây dựng nhanh hơn từ các registry như ECR và Docker Hub, và đang mở rộng hàng đợi công việc bất đồng bộ hướng tới giới hạn 1 triệu đầu vào, tăng từ 2k.
Modal hiện cung cấp GPU NVIDIA L40S cho tất cả người dùng với giá $1,95/giờ, được định vị là lựa chọn thay thế nhanh hơn, bộ nhớ lớn hơn cho bộ tăng tốc suy luận phổ biến nhất của mình, A10. L40S tăng gấp đôi RAM GPU lên 48GB, cho phép các mô hình như Flux.1-schnell chạy ở độ chính xác 16bit trên một GPU duy nhất, và mang lại tốc độ nhanh hơn khoảng 40% đối với các tác vụ bị giới hạn bởi bộ nhớ và hơn 100% đối với các tác vụ bị giới hạn bởi tính toán 16bit Tensor Core.
Modal đã phát hành proxy IP tĩnh định tuyến lưu lượng truy cập ra ngoài qua các IP độc quyền của workspace, cùng với tích hợp Slack gốc để nhận cảnh báo ứng dụng theo thời gian thực và bảng điều khiển sử dụng trực tiếp theo dõi tài nguyên trên tất cả ứng dụng trong workspace. Bản cập nhật cũng bổ sung dự phòng GPU cho các hàm, mở rộng nhóm tài nguyên mà một hàm có thể được lập lịch trên đó, và các thay đổi phía client bao gồm ID container của `modal shell` và chụp nhanh bộ nhớ cho các hàm được tham số hóa.
Modal đã bổ sung hỗ trợ dynamic batching gốc, cho phép các hàm inference nhóm yêu cầu thông qua một decorator @modal.batched() duy nhất với các tham số max_batch_size và wait_ms. Trên Whisper large v3 của OpenAI chạy trên A10G, max_batch_size là 64 đã nâng thông lượng từ ~1,2 lên ~3,3 yêu cầu mỗi giây trên mỗi container và giảm 65% chi phí inference.
Modal đã phát hành tính năng hoàn nguyên ứng dụng cho phép người dùng khôi phục một ứng dụng đã triển khai về phiên bản trước đó từ bảng điều khiển hoặc CLI, cùng với decorator @batched tích lũy các yêu cầu thành các lô có kích thước động để đánh đổi độ trễ lấy thông lượng và mức sử dụng GPU. Các đối tượng Sandbox giờ đây có thể chuyển tiếp cổng TCP ra internet và thực thi thêm các tiến trình, và nhật ký có thể được xuất sang nhà cung cấp OpenTelemetry. Lõi CPU và các GPU cao cấp hơn cũng trở nên rẻ hơn.
Cursor đã triển khai một shadow workspace cho phép AI của mình áp dụng các chỉnh sửa trong một cửa sổ Electron ẩn và đọc lại kết quả lint mà không đụng đến phiên chỉnh sửa của người dùng. Bài viết phác thảo các mục tiêu thiết kế về tính khả dụng của LSP, tính độc lập, quyền riêng tư, tính đồng thời và tốc độ, đồng thời giải thích lý do vì sao việc sao chép một TextModel hoặc chạy các language server riêng biệt đã thất bại. Bài viết cũng phác thảo một proxy thư mục cấp kernel trong tương lai cho khả năng chạy được, lưu ý rằng macOS và Windows thiếu một đường dẫn FUSE khả thi và hỗ trợ LSP cho Rust hiện không khả dụng.
Bản cập nhật sản phẩm hàng tháng của Modal bổ sung tích hợp Datadog cho phép chuyển tiếp nhật ký ứng dụng và nhật ký kiểm toán chỉ với một cú nhấp, cùng với tính năng chọn vùng đám mây cho các hàm nhằm đáp ứng nhu cầu về quy định, chi phí truyền dữ liệu ra ngoài hoặc vị trí cơ sở dữ liệu. Công ty cũng đã cải tổ hệ thống gọi hàm để có thông lượng cao hơn với chi phí đáng kể thấp hơn, hướng tới các khối lượng công việc sản xuất thời gian thực có độ trễ thấp, và đại tu trang chi tiết ứng dụng với tính năng thu phóng theo khoảng thời gian, trạng thái container và chế độ xem hệ thống tệp của image.
Bản cập nhật sản phẩm hàng tháng của Modal bổ sung tính năng gắn có thể ghi cho các bộ chứa AWS S3 và Cloudflare R2, một decorator @web_server để lưu trữ các máy chủ web không phải ASGI/WSGI trên một cổng chỉ định, và đăng nhập một lần Okta cho người dùng gói doanh nghiệp. Trình xem volume trong bảng điều khiển web cho phép người dùng khám phá hệ thống tệp của volume, và ứng dụng khách mới nhất bổ sung tính năng kết hợp ứng dụng đa tệp qua .include, hàng đợi phân vùng và hỗ trợ stdin cho Sandboxes.
Modal hiện đã hỗ trợ kết nối WebSocket, cho phép các hàm trên nền tảng của nó duy trì liên kết hai chiều, liên tục giữa máy khách và máy chủ thay vì kết nối HTTP theo từng yêu cầu. Mỗi kết nối WebSocket được tính là một đầu vào, vì vậy các hàm không bị giới hạn bởi CPU/GPU nên cho phép đầu vào đồng thời hoặc Modal khởi tạo một container mới cho mỗi kết nối. Modal tự động mở rộng các trình xử lý WebSocket, nhắm đến truyền phát thời gian thực, cập nhật tiến độ trên các tác vụ chạy dài và lưu trữ các framework như ComfyUI, Streamlit và Gradio.
Modal đã bổ sung hỗ trợ WebSocket cho các hàm của mình, cho phép lưu trữ sẵn các framework như Streamlit, cùng với các lệnh tương tác qua `modal container exec` để kiểm tra và gỡ lỗi các container đang hoạt động. GPU H100 hiện đã có sẵn trên Modal, và bản cập nhật client bổ sung các hook vòng đời `@build`, tự động commit nền cho Volumes, và mở rộng các lệnh CLI bao gồm get, put và rm.
Modal đã cung cấp GPU NVIDIA H100 cho tất cả người dùng, với giá 7,65 USD mỗi giờ cho mỗi GPU. Kết quả đánh giá hiệu năng của NVIDIA cho thấy H100 mang lại tốc độ huấn luyện nhanh hơn tới 4 lần và tốc độ suy luận nhanh hơn tới 30 lần so với A100, với 80 GB DRAM trên chip và tối đa 8 GPU được liên kết qua NVLink với tốc độ 3,6 TB/s. Người dùng kích hoạt bằng cách đặt "H100" làm loại GPU trong decorator của Modal.