Modal hiện cung cấp GPU Nvidia B200 và H200 cho mọi chủ tài khoản mà không cần liên hệ bộ phận kinh doanh hay yêu cầu hạn ngạch, với giá lần lượt 6,25 đô la/giờ và 4,54 đô la/giờ. B200 có 180 GB bộ nhớ HBM3e và băng thông 8 TB/s, và trong thử nghiệm vLLM của Modal chạy DeepSeek V3 ở độ chính xác 8-bit, 8xB200 giảm thời gian đến token đầu tiên trung vị 2,5 lần so với 8xH200 ở 1 yêu cầu mỗi giây.
DeepSeek V3 xử lý nhiều hơn 47% token mỗi giây so với R1 với giá 0,28 USD cho mỗi triệu token đầu ra, trong khi R1 có giá 2,19 USD cho mỗi triệu token và chạy các vòng lập luận nội bộ cho các tác vụ khó hơn. R1 đạt 97,3% trên MATH-500 và 79,8% trên AIME 2024, so với 90,2% và 39,2% của V3. Hầu hết các nhóm định tuyến 80-90% truy vấn đơn giản đến V3 và gửi công việc lập luận phức tạp đến R1.
SRTP bảo vệ các luồng thoại và video RTP bằng cách thêm tải trọng được mã hóa, thẻ xác thực và định danh khóa chính vào mỗi gói phương tiện. Nó chủ yếu dựa vào chế độ đếm AES và thẻ xác thực HMAC-SHA1, với số thứ tự ngăn chặn các cuộc tấn công phát lại, và kết hợp với DTLS-SRTP hoặc SDES để trao đổi khóa. SRTP được định vị là một lựa chọn lớp ứng dụng có chi phí thấp hơn cho truyền thông thời gian thực, với GDPR, HIPAA và CPRA được nêu là các động lực tuân thủ.
Hướng dẫn sử dụng tệp .env và cấu hình môi trường trong các dự án voice AI, bao gồm thiết lập dotenv cho Node.js và Python, thêm .env vào .gitignore, và các khóa riêng cho Vapi như VAPI_API_KEY và VAPI_PROJECT_ID. Bài viết trích dẫn phát hiện của GitGuardian về 12,8 triệu bí mật bị rò rỉ trên GitHub trong năm 2023, tăng 28%, và khuyến nghị tách riêng tệp env cho từng môi trường cùng các công cụ như git-crypt, SOPS, AWS Secrets Manager và HashiCorp Vault.
Amazon Lex phù hợp với các đội ngũ đã dùng AWS và cần tích hợp chặt chẽ với các dịch vụ Amazon, trong khi Dialogflow cung cấp hỗ trợ ngôn ngữ rộng hơn và đường cong học tập dễ dàng hơn cho người mới. Lex sử dụng công nghệ của Alexa với giá trả theo mức sử dụng, bao gồm gói miễn phí 10.000 yêu cầu văn bản và 5.000 yêu cầu giọng nói mỗi tháng trong năm đầu tiên, và Dialogflow hỗ trợ hơn 30 ngôn ngữ với các agent dựng sẵn và phân tích cảm xúc.
Hướng dẫn của Vapi giải thích cách cấu hình biến môi trường cho tích hợp Voice AI của mình, bao gồm biến tạm thời và vĩnh viễn, biến cấp người dùng và cấp hệ thống. Hướng dẫn chi tiết cách thiết lập trên Windows, macOS và Linux với các ví dụ dành riêng cho Vapi như VAPI_API_KEY và VAPI_MULTILINGUAL_SUPPORT, cùng các thực hành tốt nhất về đặt tên và bảo mật như không bao giờ mã hóa cứng khóa API.
Modal ra mắt Modal Batch, một giao diện xử lý theo lô được hỗ trợ bởi hàng đợi bền vững được xây dựng lại, có thể xếp hàng 1 triệu đầu vào cùng lúc, tăng từ 2.000, và đảm bảo thực thi tới 7 ngày sau khi tác vụ được khởi chạy, tăng từ 1 ngày. Một trình xử lý gốc mới, .spawn_map, khởi tạo hàng nghìn container trên một tập hợp đầu vào mà người dùng không cần quản lý logic bất đồng bộ, và Harvey báo cáo tốc độ nhanh gấp 10 lần trong quy trình xử lý tài liệu của mình sau khi phân tán đầu vào trên 1.000 container. Suno sử dụng nó để chạy tiền xử lý tăng tốc GPU trên hàng nghìn GPU, và Achira dựa vào cơ chế thử lại của nó cho các bộ dữ liệu cơ học lượng tử.
Modal đã nâng cấp kho key-value Dict serverless của mình: các Dict mới hiện có dung lượng lưu trữ không giới hạn thay vì giới hạn 10GiB trước đây, và thời hạn của mục đã thay đổi thành 7 ngày kể từ lần ghi hoặc đọc cuối cùng. Cờ skip_if_exists mới trên .put() cho phép khóa phân tán và ngữ nghĩa "exactly once", và Dict giờ đây cung cấp độ bền dữ liệu. Những thay đổi này chỉ áp dụng cho các Dict mới được tạo.
Modal đã xây dựng một "bộ giải tài nguyên" sử dụng quy hoạch tuyến tính và thuật toán đơn hình để quyết định bật hoặc tắt những phiên bản đám mây nào, đáp ứng nhu cầu GPU với mức giá có thể dự đoán được. Hệ thống này cũng tận dụng chênh lệch giá tạm thời, chẳng hạn hàng trăm GPU H200 với giá thấp hơn 20% so với mức giá hiện hành của H100, tiết kiệm hàng triệu đô la mỗi năm.
Modal phát hành phiên bản alpha của SDK chính thức cho JavaScript và Go, cho phép nhà phát triển gọi các Modal Functions đã triển khai và tạo sandbox biệt lập từ Node, Next.js hoặc các dịch vụ Go mà không cần viết Python. Các SDK không thể triển khai hàm, vẫn cần Python, và hiện chỉ hỗ trợ kiểu dữ liệu giống JSON hoặc bytes. Modal cho biết có thể chạy 10.000 sandbox bằng một trong hai ngôn ngữ mà không gặp vấn đề gì.
Lemon Slice đã xây dựng Lemon Slice Live, một sản phẩm cho các cuộc trò chuyện video thời gian thực với các nhân vật AI, sử dụng Modal và các primitive độ trễ thấp của Daily để đạt được độ trễ phản hồi video end-to-end từ 3-6 giây. Pipeline vận hành một máy chủ Pipecat và một mô hình video 1B tham số trên các container Modal riêng biệt giao tiếp qua Modal's Tunnel và được đặt cùng vị trí với lựa chọn khu vực, với Deepgram, Grok và ElevenLabs xử lý chuyển giọng nói thành văn bản, phản hồi LLM và chuyển văn bản thành giọng nói. Trước đó, hai Python Modal Functions đã cho phép Lemon Slice mở rộng lên 10.000 yêu cầu mỗi giờ mà không cần quản lý cụm ECS, hàng đợi công việc hay bộ cân bằng tải.
sync. đang sử dụng Modal để lipsync hơn 100 giờ video mỗi ngày, chia video dài thành các cảnh để chạy nhận diện khuôn mặt và dịch trên n container GPU T4 trước khi chuyển từng cảnh đến mô hình LipSync GenAI độc quyền của mình trên A100. Nhóm triển khai tới 95 lần mỗi ngày và đưa 10 biến thể mô hình chính vào production trong một năm, sau khi chuyển khỏi nguyên mẫu Google Colab và AWS Lambda.
Modal hiện cho phép mỗi Function xếp hàng tới 1 triệu đầu vào, tăng từ 2k, với giới hạn tốc độ .spawn() cao hơn và kết quả FunctionCall được giữ trong 7 ngày. Bản cập nhật cũng bổ sung ứng dụng tạm thời qua app.run() bên trong container, thông tin Git commit cho ứng dụng trong CLI và dashboard, cùng ví dụ TensorRT-LLM mới phục vụ LLM với độ trễ dưới 400 ms.
Nhà tư vấn Christian Ulstrup của GSD at Work đã sử dụng Vapi voice AI agents để thay thế các cuộc gọi khám phá theo lịch hẹn bằng một hệ thống tiếp nhận bằng giọng nói bất đồng bộ cho các hội thảo AI Action Sessions của mình. Người tham gia gọi đến một đường dây điện thoại Vapi chuyên dụng vào thời điểm thuận tiện của họ, và bản ghi chép cùng các bản tóm tắt do AI tạo ra sẽ được chuyển vào Slack qua Zapier và được ghi lại trong HubSpot. Đối với một khách hàng gần đây, 20 người tham gia trên toàn cầu đã đóng góp hơn 3 giờ khám phá, và buổi hội thảo đã đạt được đánh giá 5 trên 5.
Modal đã giảm giá GPU, CPU và bộ nhớ tới 65%, và người dùng gói Team giờ có thể chạy tới 50 GPU đồng thời. Modal SDK hiện đã có trên conda-forge bắt đầu từ phiên bản 0.73.46, và một bản phát hành client phiên bản 1.0 đang được lên kế hoạch. Modal cũng đã công bố một ví dụ image-to-video với LTX-Video và ra mắt logo mới.
Modal đã công bố một hướng dẫn phân biệt ba thứ thường được gọi là "mức sử dụng GPU": Mức sử dụng cấp phát GPU (số giây GPU chạy mã ứng dụng trên số giây GPU đã trả tiền), Mức sử dụng kernel GPU (tỷ lệ thời gian chạy mã trên GPU), và Mức sử dụng Model FLOP/s (phần băng thông số học lý thuyết được sử dụng). Hướng dẫn tập trung vào khối lượng công việc suy luận mạng nơ-ron, mà Modal gọi là trung tâm doanh thu thay vì trung tâm chi phí.
Modal đã công bố GPU Glossary trên GitHub theo giấy phép Creative Commons BY 4.0. Đây là một bộ sưu tập các tài liệu ngắn có liên kết với nhau về các chủ đề lập trình GPU. Bảng thuật ngữ này được phát hành lần đầu cách đây hai tháng nhằm lấp đầy khoảng trống trong tài liệu tham khảo GPU xuyên suốt các tầng công nghệ, và việc cộng đồng yêu cầu được đóng góp đã thúc đẩy việc công bố này. Mục GitHub Issues của kho lưu trữ đã liệt kê các phần mở rộng dự kiến, bao gồm hai kernel matmul mẫu và một phần về Thread Block Clusters.
Modal đã ra mắt bảng điều khiển nhật ký được làm mới với bộ lọc nhập khoảng thời gian, phân tích container trực tiếp để gỡ lỗi các container hoặc đầu vào bị kẹt, và Debug Shells chạy các lệnh như vim, ps và strace bên trong container đang chạy. Chọn vùng hiện đã có trên mọi gói, được định giá bằng hệ số nhân trên giá cơ bản, và client bổ sung xác thực OIDC cho gắn kết bucket đám mây thông qua trường mới oidc_auth_role_arn.
Modal đã giới thiệu tính năng khôi phục từ ảnh chụp nhanh bộ nhớ cho môi trường chạy container GPU serverless của mình, mà họ cho biết giúp thời gian khởi động nguội nhanh hơn khoảng 2,5 lần so với khởi động container tiêu chuẩn. Một Function suy luận Stable Diffusion thường mất khoảng 13 giây nay khôi phục trong 3,5 giây, và một chương trình import torch đơn giản giảm từ khoảng 5 giây xuống còn khoảng 1,05 giây ở p50 và 0,69 giây ở p0. Ảnh chụp nhanh được xây dựng trên tính năng checkpoint/restore của gVisor và được tạo theo yêu cầu, với tự động chuyển sang khởi động container tiêu chuẩn khi khôi phục thất bại; trạng thái GPU chưa được lưu, nên phải xây dựng lại sau khi khôi phục.
Vì sao đáng chú ý: Modal giải thích cách ảnh chụp nhanh bộ nhớ dựa trên gVisor giảm thời gian khởi động nguội của serverless, với thời gian khôi phục cụ thể cho một Function Stable Diffusion và một ví dụ import torch.
Modal hiện cung cấp GPU NVIDIA L40S với giá $1,95/giờ, bộ nhớ 48GB, hiệu năng nhanh hơn tới 40% trên các tác vụ giới hạn bởi bộ nhớ và tăng tốc hơn 100% trên các tác vụ giới hạn bởi tính toán so với GPU A10 của hãng. Nền tảng cũng bổ sung token Proxy Auth để kiểm soát truy cập các endpoint web, API Filesystem cho Sandbox, và tính năng chụp nhanh đĩa cho phép người dùng tạo các phiên bản Sandbox mới từ ảnh chụp nhanh để loại bỏ khởi động nguội. Modal cũng công bố hoàn thành chứng nhận SOC 2 Type 2.
Modal công bố tính khả dụng chung của Sandboxes, nguyên thủy (primitive) của họ để chạy an toàn mã không đáng tin cậy từ LLM, người dùng hoặc nguồn bên thứ ba trong một môi trường cách ly tách biệt với các tài nguyên Modal khác. Sandboxes cung cấp API exec đơn giản, môi trường có thể cấu hình lúc chạy thông qua Image API, và ảnh chụp nhanh hệ thống tệp để lưu trữ liên tục. Modal cũng đã upstream hỗ trợ vào SWE-bench, nơi cờ --modal cho phép 500 tác vụ của benchmark Verified chạy trong khoảng 7 phút, và trích dẫn Poe của Quora, Codegen và Relevance AI là khách hàng.
Modal đã phát hành một đợt cập nhật sản phẩm, dẫn đầu là bản nâng cấp lớn cho tính năng chụp nhanh bộ nhớ bản beta, mà họ nói có thể giảm một nửa thời gian khởi động nguội cho các mô hình như Stable Diffusion. Nền tảng này cũng bổ sung hỗ trợ OpenID Connect cho token định danh ngắn hạn, nén ảnh eStargz để xây dựng nhanh hơn từ các registry như ECR và Docker Hub, và đang mở rộng hàng đợi công việc bất đồng bộ hướng tới giới hạn 1 triệu đầu vào, tăng từ 2k.
Modal hiện cung cấp GPU NVIDIA L40S cho tất cả người dùng với giá $1,95/giờ, được định vị là lựa chọn thay thế nhanh hơn, bộ nhớ lớn hơn cho bộ tăng tốc suy luận phổ biến nhất của mình, A10. L40S tăng gấp đôi RAM GPU lên 48GB, cho phép các mô hình như Flux.1-schnell chạy ở độ chính xác 16bit trên một GPU duy nhất, và mang lại tốc độ nhanh hơn khoảng 40% đối với các tác vụ bị giới hạn bởi bộ nhớ và hơn 100% đối với các tác vụ bị giới hạn bởi tính toán 16bit Tensor Core.
Fine-tuning điều chỉnh trọng số của LLM đã được huấn luyện trước để phù hợp với một tác vụ hoặc lĩnh vực cụ thể, mang lại chất lượng cao hơn so với prompt engineering với chi phí và độ trễ thấp hơn; một Llama 7B đã fine-tune có thể tiết kiệm chi phí hơn khoảng 50 lần trên mỗi token so với GPT-3.5 với hiệu suất tương đương. Hướng dẫn bao gồm các trường hợp sử dụng như đầu ra có cấu trúc, tuân thủ phong cách và hướng dẫn theo lĩnh vực cụ thể, cùng các lựa chọn bao gồm OpenAI, Predibase, Modal, Google Colab và AWS SageMaker, và các framework HuggingFace transformers, TRL và Axolotl.
Modal đã tổ chức một cuộc thi hackathon nội bộ, trong đó 30 nhân viên thành lập 13 đội để xây dựng các dự án đều sử dụng Modal. Browserman là một tác nhân AI đa phương thức được xây dựng với Llama-3.2-90B-Vision-Instruct-FP8, vLLM và Playwright, có khả năng điều hướng web bằng hình ảnh để hoàn thành nhiệm vụ. Glodal đã tạo mẫu một mặt phẳng điều khiển phân tán giúp giảm độ trễ yêu cầu từ 268ms xuống 3ms, và Modal hiện đang làm việc để tích hợp nó vào nền tảng.
Một đội bóng đá hàng đầu châu Âu, được ẩn danh là AFC Richmond, đã chuyển pipeline dữ liệu theo dõi trận đấu của mình sang nền tảng GPU serverless của Modal và cắt giảm 50% chi phí xử lý dữ liệu của một mùa giải đầy đủ. Đội bóng này chạy suy luận trên khoảng 3,5 triệu quan sát theo dõi mỗi trận thông qua một mô hình dựa trên transformer tùy chỉnh, và với Airflow trên Modal hiện xử lý dữ liệu mỗi trận trong vài phút thay vì vài giờ.
Modal đã ký Thỏa thuận Hợp tác Chiến lược với AWS nhằm giúp các doanh nghiệp phát triển và triển khai sản phẩm AI nhanh hơn trên nền tảng serverless của mình cho các khối lượng công việc tăng tốc bằng GPU, có thể khởi tạo các container được trang bị GPU chỉ trong vòng một giây. Theo thỏa thuận, Modal sẽ niêm yết trên AWS Marketplace và đầu tư vào các tích hợp như AWS PrivateLink để phục vụ khách hàng có yêu cầu cụ thể về bảo mật và quyền riêng tư.
OpenArt đã triển khai các quy trình ComfyUI độc quyền của mình trên Modal, rút ngắn thời gian triển khai từ hàng giờ trên AWS và GCP xuống còn vài phút và tự động mở rộng lên hàng trăm container GPU. Modal hiện vận hành hơn 100 quy trình trên nền tảng, phục vụ hơn 3 triệu người dùng hoạt động hàng tháng.
Modal đã phát hành proxy IP tĩnh định tuyến lưu lượng truy cập ra ngoài qua các IP độc quyền của workspace, cùng với tích hợp Slack gốc để nhận cảnh báo ứng dụng theo thời gian thực và bảng điều khiển sử dụng trực tiếp theo dõi tài nguyên trên tất cả ứng dụng trong workspace. Bản cập nhật cũng bổ sung dự phòng GPU cho các hàm, mở rộng nhóm tài nguyên mà một hàm có thể được lập lịch trên đó, và các thay đổi phía client bao gồm ID container của `modal shell` và chụp nhanh bộ nhớ cho các hàm được tham số hóa.
Modal lập luận rằng tình trạng thiếu hụt GPU cho AI bắt nguồn từ sự lệch pha: phần lớn nhu cầu dồn vào huấn luyện, nhưng suy luận mới là nơi tạo ra doanh thu, và khối lượng công việc suy luận vốn dĩ biến động mạnh. Vì tốc độ yêu cầu dao động theo chu kỳ ngày đêm, mô hình hàng tuần, lưu lượng lan truyền và xu hướng tăng trưởng, việc đặt trước GPU dài hạn cố định khiến hiệu suất sử dụng cụm trong thực tế xuống dưới 50%. Gộp nhu cầu của nhiều người dùng lại — cấp phát cho đỉnh của tổng thay vì tổng của các đỉnh — có thể nâng cao mạnh hiệu suất sử dụng, và gộp nguồn cung theo khu vực có thể bổ sung thêm tính linh hoạt.
Một ứng dụng demo thực hiện tìm kiếm kết hợp trên toàn bang California bằng dấu thời gian, dữ liệu định vị địa lý và nhúng ảnh vệ tinh từ mô hình nền tảng Clay v1. Modal điều phối các truy vấn API Sentinel hàng ngày, lưu trữ MongoDB Atlas và suy luận nhúng trên GPU A10, với giao diện frontend Alpine JS nhỏ được phục vụ qua FastAPI.
Contextual AI đã tự động hóa và song song hóa quy trình tích hợp liên tục (CI) dựa trên GPU của mình trên Modal, thay thế các lần chạy thử thủ công trên các node GPU nội bộ. Một GitHub Action kích hoạt một Modal Function với nhiều GPU được gắn vào, và các bản dựng image được lưu trong bộ nhớ đệm cho phép các bài kiểm thử bắt đầu trong vòng 30 giây kể từ khi gửi job. Modal tính phí theo mức sử dụng, vì vậy 99% những gì được tính phí là thời gian chạy thử thực tế.
Modal đã bổ sung hỗ trợ dynamic batching gốc, cho phép các hàm inference nhóm yêu cầu thông qua một decorator @modal.batched() duy nhất với các tham số max_batch_size và wait_ms. Trên Whisper large v3 của OpenAI chạy trên A10G, max_batch_size là 64 đã nâng thông lượng từ ~1,2 lên ~3,3 yêu cầu mỗi giây trên mỗi container và giảm 65% chi phí inference.
Modal đã phát hành tính năng hoàn nguyên ứng dụng cho phép người dùng khôi phục một ứng dụng đã triển khai về phiên bản trước đó từ bảng điều khiển hoặc CLI, cùng với decorator @batched tích lũy các yêu cầu thành các lô có kích thước động để đánh đổi độ trễ lấy thông lượng và mức sử dụng GPU. Các đối tượng Sandbox giờ đây có thể chuyển tiếp cổng TCP ra internet và thực thi thêm các tiến trình, và nhật ký có thể được xuất sang nhà cung cấp OpenTelemetry. Lõi CPU và các GPU cao cấp hơn cũng trở nên rẻ hơn.
Modal hiện hỗ trợ khối lượng công việc tuân thủ HIPAA, dành cho khách hàng gói Enterprise ký Thỏa thuận liên kết doanh nghiệp (BAA) qua security@modal.com. Tất cả các tính năng của Modal đều nằm trong phạm vi BAA ngoại trừ Volumes, Images (không bao gồm Filesystem và Directory Snapshots), Memory Snapshots và mã người dùng, nơi không nên đặt PHI. Modal viện dẫn việc xử lý dữ liệu theo nguyên tắc đặc quyền tối thiểu và runtime sandbox gVisor làm nền tảng bảo mật, tiếp nối thông báo SOC 2 Type 1 và chứng nhận SOC 2 Type 2 đang được tiến hành.
Cursor đã triển khai một shadow workspace cho phép AI của mình áp dụng các chỉnh sửa trong một cửa sổ Electron ẩn và đọc lại kết quả lint mà không đụng đến phiên chỉnh sửa của người dùng. Bài viết phác thảo các mục tiêu thiết kế về tính khả dụng của LSP, tính độc lập, quyền riêng tư, tính đồng thời và tốc độ, đồng thời giải thích lý do vì sao việc sao chép một TextModel hoặc chạy các language server riêng biệt đã thất bại. Bài viết cũng phác thảo một proxy thư mục cấp kernel trong tương lai cho khả năng chạy được, lưu ý rằng macOS và Windows thiếu một đường dẫn FUSE khả thi và hỗ trợ LSP cho Rust hiện không khả dụng.
Modal đang giảm giá CPU và một số GPU mạnh nhất của mình từ 15-30%, với lý do sự cạnh tranh gia tăng trong nguồn cung GPU và việc ra mắt các GPU mạnh hơn trong năm qua. Công ty cũng thay đổi cách tính phí CPU/bộ nhớ sang tính max(reservation, usage) cho mỗi container đang chạy, với mức đặt trước tối thiểu mặc định là 0.125 lõi CPU cho tất cả các Functions. Gói Team tăng lên $250/tháng với số ghế không giới hạn và $100/tháng tín dụng, với mức giá mới có hiệu lực vào tháng 9 cho người dùng Starter và Team/Enterprise bị ảnh hưởng.
Charles Frye của Modal đã tái lập tuyên bố cốt lõi của bài báo Large Language Monkeys trên một bộ dữ liệu mới, cho thấy việc lấy mẫu lặp lại nâng LLaMA 3.1 8B từ 66,4% pass@1 lên 90,5% pass@100 và 95,1% pass@1000 trên HumanEval, so với 90,2% pass@1 được báo cáo của GPT-4o. Các lần chạy sử dụng vLLM trên GPU không máy chủ của Modal và Modal Sandboxes để thực thi kiểm thử song song, tốn kém dưới 50 USD, và cho thấy khả năng mở rộng mượt mà, có thể dự đoán được qua ba bậc độ lớn.
Vì sao đáng chú ý: Một bản tái lập thực hành cho thấy cách lấy mẫu lặp lại với một mô hình mở nhỏ có thể tiến gần GPT-4o trên HumanEval, mang lại một công thức cụ thể, chi phí thấp để đánh đổi tính toán lấy độ chính xác.
Bản cập nhật sản phẩm hàng tháng của Modal bổ sung tích hợp Datadog cho phép chuyển tiếp nhật ký ứng dụng và nhật ký kiểm toán chỉ với một cú nhấp, cùng với tính năng chọn vùng đám mây cho các hàm nhằm đáp ứng nhu cầu về quy định, chi phí truyền dữ liệu ra ngoài hoặc vị trí cơ sở dữ liệu. Công ty cũng đã cải tổ hệ thống gọi hàm để có thông lượng cao hơn với chi phí đáng kể thấp hơn, hướng tới các khối lượng công việc sản xuất thời gian thực có độ trễ thấp, và đại tu trang chi tiết ứng dụng với tính năng thu phóng theo khoảng thời gian, trạng thái container và chế độ xem hệ thống tệp của image.
Basis đã tổ chức Prompt Olympics, một cuộc thi kỹ thuật gợi ý theo phong cách lập trình cạnh tranh với giải thưởng 5.000 đô la, và chạy nó trên hạ tầng của Modal. Trong một thử thách, người tham gia viết các gợi ý để điều hướng LLaMA 3 70B, được triển khai trên Modal, tạo ra mã phải vượt qua các bài kiểm tra bên trong Modal Sandboxes. Đêm chung kết có các người chơi gợi ý một mô hình để điều khiển tác nhân trò chơi Crafter; Basis nhận thấy ngay cả các mô hình mã nguồn mở có khả năng như LLaMA 3 70B cũng khó gợi ý hiệu quả và đã chuyển sang một API mô hình độc quyền cho thành phần đó.