Tới nội dung
Chỉ Chính chủ#Triển khai / kỹ thuật
14 tháng 4Thứ Ba
  1. Modal Blog40

    Modal Autoscaling Autoresearch: GPU co giãn cho các tác nhân nghiên cứu AI

    Modal trình diễn việc chạy các tác nhân autoresearch trên GPU co giãn: với Modal Skills, Claude Code đã chạy 113 thí nghiệm trong 238 giờ GPU trên thử thách Parameter Golf của OpenAI, hoàn thành các lượt huấn luyện cốt lõi nhanh gấp 5 lần so với một máy trạm đơn lẻ trong khi chỉ dùng một phần nhỏ tài nguyên của một cụm chuyên dụng. Các tác nhân cấp phát GPU qua các lệnh gọi API, mở rộng từ một đến hàng chục H100 và tự động thu về không.

10 tháng 4Thứ Sáu
  1. Modal Blog38

    Butter được Modal mua lại, nhà sáng lập Erik Dunteman gia nhập đội Sandbox

    Modal đã mua lại Butter, với nhà sáng lập Erik Dunteman và nhà nghiên cứu Raymond Tana gia nhập đội Sandbox của Modal. Đội ngũ Butter mang theo kinh nghiệm kỹ thuật agent harness, bao gồm bVisor, một nhân Linux ảo được viết từ đầu bằng Zig cho các sandbox nhẹ, tạm thời. Modal cho biết việc tuyển dụng này thúc đẩy mục tiêu biến Modal Sandboxes thành một trải nghiệm sản phẩm hàng đầu trong phân khúc.

8 tháng 4Thứ Tư
  1. Modal Blog40

    Modal cung cấp khả năng suy luận thời gian thực cho robot của Physical Intelligence

    Physical Intelligence (Pi) vận hành các mô hình robot Thị giác-Ngôn ngữ-Hành động của mình trên Modal, chỉ thêm ~10-15ms chi phí mạng. Pi đã hợp tác với Modal để xây dựng một cổng dựa trên QUIC qua UDP với khả năng tự động xuyên NAT, thay thế TCP Tunnels nhằm tránh tình trạng tắc nghẽn yêu cầu-phản hồi trong vòng điều khiển robot. Các checkpoint lưu trong Modal Volumes tải trong dưới 30 giây, và các triển khai ghim theo vùng giữ suy luận gần với robot.

7 tháng 4Thứ Ba
  1. Modal Blog22

    Cập nhật sản phẩm Modal: RTX Pro 6000 Blackwell, Command K, Sandbox FS API

    Modal hiện cung cấp RTX Pro 6000 Blackwell của NVIDIA với 96GB VRAM và thông lượng fp4/fp8 mạnh mẽ, có thể sử dụng chỉ với một dòng mã cho các khối lượng công việc suy luận và tinh chỉnh. Bản cập nhật cũng bổ sung Command Palette trên bảng điều khiển (CMD+K), API Hệ thống Tệp Sandbox được cải tiến ở dạng beta hỗ trợ đọc lên đến 5GB và truyền trực tuyến theo cả hai chiều, cùng các lệnh nhật ký CLI với khả năng truy xuất lịch sử.

26 tháng 3Thứ Năm
  1. Modal Blog38

    Runway hợp tác với Modal để cung cấp suy luận thời gian thực cho Runway Characters

    Runway đang hợp tác với Modal để cung cấp suy luận thời gian thực cho Runway Characters, một API tác nhân video thời gian thực được xây dựng trên mô hình thế giới GWM-1 của Runway, tạo ra các nhân vật kỹ thuật số biểu cảm từ một hình ảnh duy nhất mà không cần tinh chỉnh. Nền tảng serverless của Modal cho phép Runway chuyển từ bằng chứng khái niệm sang sản xuất trong vòng chưa đầy 30 ngày, sử dụng các cụm GPU đa nút một dòng lệnh với mạng RDMA trên mọi khu vực. Characters hiện đã có sẵn cho các nhà phát triển và doanh nghiệp tại dev.runwayml.com và cho người tiêu dùng tại runwayml.com.

25 tháng 3Thứ Tư
  1. Modal Blog22

    Doppel đã cắt giảm chi phí hạ tầng ML như thế nào với Modal

    Doppel đã chuyển phần lớn quy trình ML của mình sang Modal, loại bỏ những trở ngại hạ tầng làm chậm việc thử nghiệm huấn luyện và triển khai suy luận. Các thử nghiệm song song qua map() đã thay thế các lần chạy tuần tự, trong khi bộ nhớ đệm lớp image và volume lưu trữ liên tục giúp giảm thời gian build tới 10 lần, với các thiết lập phức tạp đạt thời gian build nóng dưới một phút.

20 tháng 3Thứ Sáu
  1. Vapi Blog38

    Vapi Webinar trả lời các câu hỏi hàng đầu về Composer Voice Agent Builder

    Vapi đã tổ chức một webinar, trong đó Giám đốc Sản phẩm Nick Robin đã demo Composer, trợ lý trong sản phẩm của họ để xây dựng voice agent không cần code, tạo ra một inbound customer service agent hoạt động được trong vòng 30 phút demo. Composer viết system prompt, cấp phát số điện thoại, thiết lập lịch trình và tự đánh dấu lỗi của mình để phê duyệt. Hiện tại nó đang ở giai đoạn alpha và hỗ trợ cả assistant inbound và outbound, tích hợp CRM và lịch, và chỉnh sửa các agent hiện có theo assistant ID.

4 tháng 3Thứ Tư
  1. Modal Blog22

    Cập nhật sản phẩm Modal: Ảnh chụp thư mục, Endpoint GLM-5 và API Thanh toán

    Modal đã bổ sung Ảnh chụp thư mục (Directory Snapshots) cho Sandbox, cho phép người dùng chụp ảnh một thư mục duy nhất và gắn nó vào một Sandbox mới độc lập với image gốc. Modal cũng đã phát hành endpoint GLM-5 công khai miễn phí với Z.ai đến hết tháng 4, tương thích với OpenCode, Claude Code, OpenClaw và Vercel AI SDK. CLI báo cáo thanh toán modal và API modal.billing.workspace_billing_report hiện đã được phát hành chính thức (generally available) cho các workspace Team và Enterprise.

25 tháng 2Thứ Tư
  1. Vapi Blog35

    Vapi ra mắt Skills và MCP Connector để các coding agent có thể xây dựng voice agent

    Vapi đã phát hành Vapi Skills, một repo tuân theo chuẩn Agent Skills, cùng với một connector Model Context Protocol giúp các coding agent truy cập trực tiếp vào tài liệu của Vapi. Một lệnh cài đặt sẽ tải các hướng dẫn từng bước với schema API chính xác cho các quy trình như create-assistant, create-tool, create-call và setup-webhook, và gói skill này chạy trên Claude Code, Cursor, VS Code Copilot và Gemini CLI.

  2. Modal Blog22

    Blog Modal: Modal tăng tốc nghiên cứu AI như thế nào để tăng tốc nghiên cứu AI

    Modal, một nền tảng hạ tầng đám mây cho các khối lượng công việc AI đòi hỏi nhiều dữ liệu và tính toán, giới thiệu nghiên cứu từ Hazy Research, Scaling Intelligence và IRIS đã sử dụng đội GPU của nền tảng này để tăng tốc nghiên cứu AI. Dự án KernelBench, do Anne Ouyang, Simon Guo và Will Hu của Scaling Intelligence dẫn dắt, cung cấp một bộ chuẩn đánh giá gồm 250 bài toán và môi trường nghiên cứu cho việc tự động tạo nhân GPU, sử dụng Modal để đánh giá chuẩn nhất quán, có thể mở rộng trên phần cứng từ L40s đến các hệ thống Blackwell.

24 tháng 2Thứ Ba
  1. Modal Blog55

    Modal ra mắt Directory Snapshots dưới dạng public beta cho trạng thái dự án Sandbox

    Modal đã ra mắt Directory Snapshots dưới dạng public beta, cho phép người dùng chụp nhanh một thư mục cụ thể bên trong một Sandbox đang chạy và gắn nó vào một Sandbox khác một cách độc lập với image gốc và phần còn lại của hệ thống tệp. Tính năng này nhắm đến các coding agent và nền tảng vibe coding cần bảo toàn trạng thái dự án qua các lần khởi động lại sandbox, và Modal cho biết nó cho phép tách biệt phụ thuộc hệ thống khỏi mã ứng dụng, làm nóng trước các pool sandbox, và tải trước các tệp quan trọng nhanh hơn. Directory Snapshots tồn tại trong 30 ngày sau lần sử dụng cuối cùng và gắn kết tức thì, với nội dung được ưu tiên tải trước trên hệ thống tệp container lazy-loading của Modal.

19 tháng 2Thứ Năm
  1. Modal Blog58

    Ramp đã xây dựng Ramp Inspect như thế nào — một background coding agent với đầy đủ ngữ cảnh trên Modal

    Ramp đã xây dựng Ramp Inspect, một background coding agent nội bộ chạy trên Modal Sandboxes, và hiện nó khởi tạo khoảng một nửa tổng số pull request được merge trên các repo frontend và backend của Ramp. Mỗi phiên khởi động một môi trường full-stack với Postgres, Redis, Temporal và RabbitMQ trong vài giây, nhờ một cron job của Modal clone repo và lưu snapshot hệ thống tệp mỗi 30 phút. Modal Functions, Dicts và Queues đảm nhận việc build snapshot, khóa phiên và định tuyến prompt, giúp Inspect hỗ trợ các phiên nhiều người dùng và hàng trăm phiên đồng thời mà không phiên nào ảnh hưởng đến phiên khác.

11 tháng 2Thứ Tư
  1. Vapi Blog55

    Vapi ra mắt Composer, trợ lý AI trong bảng điều khiển giúp xây dựng voice agent

    Vapi đã phát hành Composer, một trợ lý AI bên trong Vapi Dashboard có thể xây dựng voice agent từ một mô tả, viết prompt, cấu hình cài đặt, cấp phát số điện thoại, xây dựng công cụ và thiết lập tích hợp. Composer cũng có thể lấy nhật ký cuộc gọi để giải thích một cuộc gọi thất bại và áp dụng bản sửa lỗi, đồng thời tạo các công cụ mã tùy chỉnh chạy trên hạ tầng của Vapi cho các tích hợp như HubSpot. Hiện đã có sẵn ở dạng Alpha, không cần thiết lập hay quy trình onboarding.

  2. Modal Blog78

    Modal ra mắt endpoint miễn phí cho GLM-5 và phát hành hướng dẫn tự triển khai cùng tích hợp frontend

    Modal giới thiệu endpoint tương thích OpenAI API miễn phí cho GLM-5, dùng được đến cuối tháng 4, giới hạn một yêu cầu đồng thời, đồng thời phát hành mã có thể tái lập để triển khai bằng SGLang trên 8 GPU B200 trong một nút đơn.

    Vì sao đáng chú ý: Modal cung cấp endpoint tương thích OpenAI miễn phí cho GLM-5 của Z.ai, và đưa ra cấu hình cụ thể để tích hợp trong OpenCode, OpenClaw, Claude Code và Vercel AI SDK.

28 tháng 1Thứ Tư
  1. Modal Blog22

    Cập nhật sản phẩm Modal: Có mặt trên AWS & GCP Marketplace, khả năng quan sát Sandbox và cập nhật client

    Modal hiện đã có thể mua qua AWS và Google Cloud Marketplaces, cho phép khách hàng doanh nghiệp áp dụng các cam kết chi tiêu đám mây hiện có cho việc sử dụng Modal. Nền tảng này cũng đã phát hành cập nhật giao diện Sandbox với thông tin tài nguyên và khu vực rõ ràng hơn cùng dòng thời gian thực thi mới, và client 1.3.1 bổ sung hỗ trợ Python 3.14 bao gồm Python không luồng thử nghiệm (3.14t) trong các container Modal.

20 tháng 1Thứ Ba
  1. Factory58

    Factory ra mắt Agent Readiness để đánh giá mức độ hỗ trợ của codebase đối với các tác nhân lập trình AI

    Factory ra mắt Agent Readiness, công cụ đánh giá mức độ hỗ trợ phát triển tự động của một codebase trên tám trụ cột kỹ thuật và năm cấp độ trưởng thành, có thể chạy qua /readiness-report trong Droid, bảng điều khiển tổ chức hoặc API. Mỗi tiêu chí mang tính nhị phân và một cấp độ chỉ được mở khóa khi 80% tiêu chí của cấp đó và toàn bộ các cấp trước đó đều đạt; việc neo mỗi đánh giá vào báo cáo trước đó của kho lưu trữ đã giảm phương sai điểm số từ trung bình 7% xuống 0,6% trên 9 kho lưu trữ chuẩn trong sáu tuần. Báo cáo có thể kích hoạt một tác nhân mở pull request để sửa các tiêu chí không đạt như thiếu AGENTS.md, cấu hình linter hoặc pre-commit hook.

15 tháng 1Thứ Năm
  1. Modal Blog22

    Chai Discovery mở rộng quy mô khám phá thuốc bằng máy tính trên Modal

    Chai Discovery đang sử dụng Modal để vận hành các pipeline khám phá thuốc bằng học máy, từ nhúng protein và căn chỉnh đa trình tự đến thiết kế kháng thể. Modal Volumes tải xuống và lập chỉ mục các bộ dữ liệu lên tới hàng trăm gigabyte một lần, sau đó chia sẻ chúng giữa các máy, trong khi khả năng mở rộng GPU đàn hồi khởi tạo hàng trăm GPU trong vài phút. Chai cho biết cùng một thiết lập này hiện đưa các quy trình nghiên cứu vào sản xuất mà không cần viết lại hạ tầng.

6 tháng 1Thứ Ba
  1. OpenAI Developers Blog42

    OpenAI ra mắt Docs MCP Server cho tài liệu dành cho nhà phát triển

    OpenAI đã phát hành một Model Context Protocol (MCP) server công khai, cho phép các agent truy cập chỉ đọc vào tài liệu dành cho nhà phát triển trên developers.openai.com, platform.openai.com và learn.chatgpt.com. Server này chỉ dành cho tài liệu và không gọi OpenAI API thay mặt người dùng. Nhà phát triển có thể thêm nó vào Codex thông qua CLI hoặc tiện ích mở rộng IDE với một cấu hình chia sẻ duy nhất, và kết hợp nó với OpenAI Docs Skill để có câu trả lời kèm trích dẫn.

28 tháng 12, 2025Chủ Nhật
  1. Modal Blog38

    Modal về việc duy trì hơn 20.000 GPU khỏe mạnh trên nhiều đám mây

    Modal đã mở rộng nhóm worker GPU đa đám mây của mình vượt 20.000 GPU đồng thời và khởi chạy hơn bốn triệu phiên bản đám mây trong vài năm qua, và hiện đang chia sẻ hệ thống độ tin cậy đằng sau đó. Bài viết đề cập đến việc kiểm thử và lựa chọn loại phiên bản, chuẩn bị image máy và kiểm tra khởi động, kiểm tra sức khỏe GPU thụ động và chủ động, cùng khả năng quan sát và hỗ trợ. Bài viết báo cáo sự khác biệt giữa các hyperscaler như tỷ lệ khởi động thành công 99,6% của Cloud A và H100 của Cloud C chạy trên 90ºC vào năm 2025.

17 tháng 12, 2025Thứ Tư
  1. Vapi Blog38

    Vapi Voices Beta ra mắt với giá $0.0025/phút cho Voice AI khối lượng lớn

    Vapi đã phát hành Vapi Voices Beta, một nhóm các mô hình giọng nói được xây dựng cho các trường hợp sử dụng Voice AI khối lượng lớn, nhạy cảm về chi phí, với giá $0.0025 mỗi phút và độ trễ được tối ưu hóa cho khả năng phản hồi hội thoại. Các mô hình này xuất hiện trong menu thả xuống giọng nói hiện có cùng với các nhà cung cấp như ElevenLabs, PlayHT và Deepgram, vì vậy các nhóm có thể định tuyến các luồng khối lượng lớn, ít rủi ro như nhắc nhở cuộc hẹn và menu định tuyến đến chúng mà không cần thay đổi tích hợp. Vapi cho biết họ đang giới hạn tính khả dụng chung dựa trên những gì việc sử dụng beta tiết lộ về các trường hợp sử dụng, độ trễ dưới tải thực tế và liệu khoản tiết kiệm có quan trọng hay không.

2 tháng 12, 2025Thứ Ba
  1. Modal Blog42

    Modal bổ sung hỗ trợ Day 0 cho Mistral 3 với tính năng snapshot GPU giúp khởi động nguội nhanh gấp 10 lần

    Modal hiện cung cấp hỗ trợ Day 0 cho Mistral 3, cho phép các nhà phát triển triển khai dòng mô hình mở này trên GPU serverless mà không cần quản lý hạ tầng. Trên mô hình 3B Ministral 3, tính năng snapshot GPU của Modal đã giảm thời gian khởi động nguội trung vị từ khoảng 118 giây xuống còn khoảng 12 giây, tức giảm gần 10 lần. Ministral 3 có các kích thước 3B, 8B và 14B và đạt hiệu năng cạnh tranh với dòng Qwen 3-VL trên các benchmark.

20 tháng 11, 2025Thứ Năm
  1. Modal Blog22

    Modal bàn về lý do các tác nhân lập trình cũng cần trải nghiệm nhà phát triển tốt

    Modal lập luận rằng chính những nguyên tắc trải nghiệm nhà phát triển giúp ích cho con người—vòng phản hồi chặt chẽ, truy cập lập trình qua CLI/SDK/API, thông báo lỗi có thể hành động và các ví dụ liền kề mã nhất quán—cũng giúp các tác nhân lập trình nhanh hơn. Bởi vì tác nhân lặp lại bằng cách tạo, chạy và quan sát mã, lỗi mơ hồ hoặc cấu hình chỉ qua UI khiến chúng bị tắc, nên thiết kế cho tác nhân nghĩa là áp dụng chính các nguyên tắc đó thay vì phát minh lại.

  2. Vapi Blog42

    Vapi bổ sung structured outputs để trích xuất dữ liệu được xác thực theo schema từ các cuộc gọi AI thoại

    Vapi hiện hỗ trợ structured outputs cho tất cả trợ lý AI thoại, đảm bảo mọi cuộc gọi trả về dữ liệu khớp với JSON schema do nhà phát triển định nghĩa. Schema được thực thi tại thời điểm chạy bằng các khả năng gốc của nhà cung cấp từ OpenAI, Anthropic, Gemini và những nhà cung cấp khác, và có thể được tái sử dụng trên nhiều trợ lý. Dữ liệu được trích xuất đến qua webhook hoàn tất cuộc gọi và REST API.

  3. Replit Blog42

    Replit ra mắt Fast Mode giúp chỉnh sửa Agent nhanh hơn, rẻ hơn

    Replit đã ra mắt Fast Mode, một cách nhanh hơn để điều hướng Agent của mình thực hiện những thay đổi nhỏ, chính xác. Chế độ này chạy trên một mô hình agentic hiệu quả với chi phí thấp hơn đáng kể so với Build mode và được tối ưu để hoàn thành yêu cầu trong số bước ít nhất, hướng đến các bản sửa nhanh, lặp lại giao diện và các tính năng nhỏ. Fast Mode có sẵn cho tất cả người dùng Replit bắt đầu từ hôm nay và được kích hoạt qua biểu tượng tia sét.

19 tháng 11, 2025Thứ Tư
  1. Modal Blog30

    Reducto đã cắt giảm độ trễ P90 xử lý tài liệu doanh nghiệp xuống 3 lần trên Modal như thế nào

    Reducto đã chuyển khối lượng công việc suy luận cho hơn 30 mô hình xử lý tài liệu của mình sang Modal, cắt giảm độ trễ P90 xuống 3 lần. Tính năng chụp nhanh bộ nhớ GPU đã giảm thời gian khởi động nguội 83%, từ ~70 giây xuống ~12 giây, trong khi các nhóm tự động mở rộng theo từng khách hàng cô lập các đợt tăng đột biến lưu lượng. Trong một bài kiểm tra tải, Reducto đã mở rộng quy mô pipeline tiếp nhận của mình lên hơn 1.000 GPU trong chưa đầy một giờ để chứng minh khả năng xử lý 100k trang mỗi phút.

18 tháng 11, 2025Thứ Ba
  1. Modal Blog36

    Blog Modal: Chi phí vận hành máy chủ đang giết chết hiệu quả suy luận của bạn

    Blog của Modal giải thích cách chi phí vận hành máy chủ—những khoảng trống khi GPU ngồi không chờ CPU chuẩn bị công việc—thể hiện qua mức sử dụng nhân GPU thấp trong suy luận AI. Với 50% chi phí vận hành máy chủ, chi phí suy luận trên GPU cao gấp 2 lần so với mức có thể. Bài viết trình bày chi tiết các giải pháp được dùng trong các engine suy luận mã nguồn mở trong môi trường production, bao gồm việc xây dựng tensor ngay trên thiết bị thay vì truyền chúng và giảm các lần khởi chạy nhân CUDA không cần thiết.

13 tháng 11, 2025Thứ Năm
  1. Modal Blog40

    Decagon đã triển khai AI giọng nói thời gian thực trên Modal như thế nào

    Decagon và Modal đã hợp tác để xây dựng Decagon Voice 2.0, giảm độ trễ 65% đồng thời cải thiện nhận diện ý định và chất lượng phản hồi. Decagon đã tinh chỉnh các mô hình mã nguồn mở nhỏ gọn bằng SFT và RL để vượt qua các mô hình tiên tiến lớn hơn, trong khi Modal huấn luyện một mô hình nháp EAGLE3 tùy chỉnh với độ dài chấp nhận cao hơn 38% và tái thiết kế SGLang với bộ lập lịch giải mã suy đoán bất đồng bộ, tăng thông lượng lên tới 12%.

4 tháng 11, 2025Thứ Ba
  1. Modal Blog58

    Modal, Pipecat và các mô hình mở đạt độ trễ giọng nói sang giọng nói một giây

    Ben Shababo của Modal hướng dẫn cách xây dựng một bot thoại hội thoại trên Modal với framework mã nguồn mở Pipecat và các mô hình trọng số mở, đạt độ trễ trung vị giọng nói sang giọng nói khoảng một giây khi client và container ở gần nhau về mặt địa lý. Pipeline sử dụng NVIDIA parakeet-tdt-0.6b-v3 cho STT, Qwen3-4B-Instruct-2507 phục vụ bằng vLLM, KokoroTTS cho đầu ra giọng nói, và ChromaDB với all-minilm-l6-v2 cho RAG trên tài liệu của Modal. Modal Tunnels bỏ qua input plane để có các liên kết WebSocket và HTTP độ trễ thấp tới các dịch vụ STT, TTS và vLLM, trong khi một FunctionCall gắn với mỗi phiên hội thoại khôi phục khả năng tự động mở rộng, và việc ghim các dịch vụ tới các vùng gần đó cắt giảm độ trễ mạng.

31 tháng 10, 2025Thứ Sáu
  1. Modal Blog22

    Modal cập nhật Volumes v2, SDK JavaScript và Go lên bản beta

    Modal đã phát hành Volumes v2 dưới dạng open beta cho tất cả ứng dụng, với hệ thống tệp được xây dựng lại để có thông lượng cao hơn, truy cập ngẫu nhiên nhanh hơn và ghi đồng thời thực sự từ hàng trăm container, cùng với không giới hạn số tệp được lưu trữ. SDK JavaScript/TypeScript và Go của nó cũng đã bước vào giai đoạn beta ở phiên bản v0.5, bổ sung một đối tượng Client thống nhất và hỗ trợ Sandboxes, Functions, Images và Volumes.

30 tháng 10, 2025Thứ Năm
  1. Modal Blog38

    Modal và Datalab: Triển khai Marker và Surya Document Intelligence trong chưa đầy 5 phút

    Modal đã hợp tác với Datalab để cho phép các nhà phát triển triển khai mô hình phân tích tài liệu Marker và bộ công cụ OCR Surya trên GPU của Modal trong chưa đầy năm phút. Marker là một mô hình dưới một tỷ tham số hỗ trợ hơn 90 ngôn ngữ, và chạy nó trên Modal đạt khoảng 2,2 trang mỗi giây cho mỗi container, gấp khoảng 10 lần so với 0,22 trang mỗi giây trên một chiếc Mac M4 sử dụng Apple MPS. Các công cụ của Datalab vẫn miễn phí cho mục đích nghiên cứu, sử dụng cá nhân và các startup có vốn đầu tư hoặc doanh thu dưới 2 triệu USD, với giấy phép thương mại có sẵn.

27 tháng 10, 2025Thứ Hai
  1. Vapi Blog28

    Vapi tặng một tuần miễn phí sử dụng Cartesia Sonic-3 TTS

    Vapi đang cung cấp cho cộng đồng quyền truy cập miễn phí, không giới hạn vào mô hình TTS Sonic-3 mới ra mắt của Cartesia thông qua khóa API được quản lý của mình từ ngày 28 tháng 10 đến ngày 2 tháng 11. Sonic-3 bổ sung các thẻ cảm xúc và tiếng cười, điều khiển tốc độ và âm lượng chi tiết, cùng hỗ trợ 27 ngôn ngữ mới. Vapi khuyến nghị bắt đầu với giọng Kira và Ariana để có các tác nhân có độ trễ thấp, âm thanh tự nhiên.

26 tháng 9, 2025Thứ Sáu
  1. Modal Blog60

    Kỹ sư Modal phân tích ngược cách Flash Attention 4 hoạt động

    Các kỹ sư Modal đã đọc mã nguồn Flash Attention 4 được phát hành và phân tích ngược cách kernel attention tối ưu cho Blackwell hoạt động, do chưa có báo cáo kỹ thuật chính thức. Bài viết theo dõi một tile đi qua pipeline bất đồng bộ chuyên biệt theo warp của kernel và trình bày chi tiết hai thủ thuật toán học: một hàm mũ phần mềm dạng đa thức bậc ba có thể thay thế phép lũy thừa dựa trên SFU, và một quy tắc tái chuẩn hóa online softmax thông minh hơn mà Tri Dao cho biết giảm số lần hiệu chỉnh xuống 10 lần. FA4 được báo cáo là nhanh hơn khoảng 20% so với các kernel attention cudnn mã nguồn đóng của Nvidia, và phiên bản backwards chưa có sẵn tại thời điểm viết bài.

    Vì sao đáng chú ý: Các kỹ sư Modal đã đọc mã nguồn Flash Attention 4 được phát hành và giải thích pipeline chuyên biệt theo warp cùng hai thủ thuật toán học của nó, mang lại góc nhìn có thể chuyển giao về hướng phát triển của thiết kế kernel CUDA.

22 tháng 9, 2025Thứ Hai
  1. Modal Blog38

    Modal Vibe: Nền tảng lập trình AI xây dựng trên Modal Sandboxes, mở rộng tới 1.000 ứng dụng trong 5 phút

    Modal đã xây dựng Modal Vibe, một nền tảng lập trình vibe mã nguồn mở dạng demo trên Modal Sandboxes, có khả năng mở rộng từ 0 lên 1.000 ứng dụng do AI viết mã trong khoảng năm phút. Một bài kiểm tra tải tạo 1.000 ứng dụng, mỗi ứng dụng trong Sandbox riêng, mất khoảng 300 giây, với API AI là bước giới hạn tốc độ. Modal cho biết Team Plan có thể chạy 1.000 Sandbox đồng thời, đủ cho hơn một triệu phiên mỗi tháng.

19 tháng 9, 2025Thứ Sáu
  1. Modal Blog20

    Cập nhật sản phẩm Modal: Notebooks, Thời gian chờ nhàn rỗi của Sandbox và Thay đổi phía Client

    Modal đã phát hành các cập nhật sản phẩm bao gồm Modal Notebooks để thử nghiệm Python trên đám mây với tối đa 8 GPU B200, cùng tham số idle_timeout tùy chọn cho modal.Sandbox.create(). Client cũng bổ sung tham số startup_timeout cho các decorator @app.function() và @app.cls() và một mẫu API mới để quản lý mệnh lệnh các loại tài nguyên của Modal. Modal Notebooks sau đó đã bị ngừng, tuy nhiên các notebook hiện có vẫn có thể được tải xuống dưới dạng tệp .ipynb.

16 tháng 9, 2025Thứ Ba
  1. Modal Blog47

    Bên trong Modal Notebooks: Modal đã xây dựng một notebook GPU trên đám mây khởi động trong vài giây như thế nào

    Modal đã trình bày chi tiết về kỹ thuật đằng sau Modal Notebooks, notebook Jupyter trên đám mây của họ, khởi động GPU và các image tùy chỉnh trong vài giây với khả năng cộng tác theo thời gian thực. Các kernel chạy bên trong Modal Sandboxes, với một daemon modal-kernelshim chuyển đổi các tin nhắn Jupyter ZeroMQ thành các lệnh gọi HTTP được truyền qua control plane của Modal. Một hệ thống tệp container FUSE bằng Rust tải lười sẽ tìm nạp nội dung tệp theo yêu cầu thông qua bộ nhớ đệm phân tầng, tránh độ trễ giải nén image có thể lên tới gần một phút đối với image Python/ML 8 GB.

9 tháng 9, 2025Thứ Ba
  1. Modal Blog58

    Modal ra mắt Notebooks với nhân GPU khởi động dưới 5 giây

    Modal Notebooks hiện đã được cung cấp rộng rãi cho tất cả khách hàng Modal sau bản beta giới hạn vào tháng trước. Môi trường notebook cộng tác này chạy trên nhân Python hỗ trợ GPU, đạt trạng thái sẵn sàng trong dưới 5 giây trên các container image tùy ý và phần cứng lên đến 256 vCPU và 8 GPU H100/B200, với tự động tắt khi nhàn rỗi, Volumes và Secrets dùng chung, và chỉnh sửa đa con trỏ theo thời gian thực. Modal cho biết hơn 5.000 tài khoản đã chạy 200.000 ô mã trong bản beta tháng 8, và các tính năng sắp ra mắt bao gồm snapshot bộ nhớ, xuất một cú nhấp sang Modal Apps, và chạy theo lịch.

28 tháng 8, 2025Thứ Năm
  1. Modal Blog22

    Zencastr đã phiên âm hàng trăm năm âm thanh trong vài ngày với Modal như thế nào

    Zencastr đã chuyển khối lượng công việc phiên âm podcast của mình sang nền tảng GPU của Modal, mở rộng lên 1.500 GPU đồng thời trong vòng vài phút để xử lý hàng trăm năm âm thanh chỉ trong vài ngày. Việc chuyển từ các nút GPU Kubernetes tự quản lý sang hạ tầng scale-to-zero của Modal đã cắt giảm chi phí GPU nhàn rỗi và loại bỏ gánh nặng quản lý driver và phụ thuộc. Tất cả khối lượng công việc ML cốt lõi hiện chạy trên Modal, bao gồm phiên âm, đếm người nói, phát hiện tiếng cười và chấm điểm chất lượng âm thanh.

11 tháng 8, 2025Thứ Hai
  1. Modal Blog38

    Cập nhật sản phẩm Modal: Ảnh chụp nhanh bộ nhớ GPU, Notebooks, Service Tokens và hơn thế nữa

    Modal đã bổ sung tính năng ảnh chụp nhanh bộ nhớ GPU ở dạng alpha, giúp giảm 10 lần thời gian khởi động nguội cho các khối lượng công việc GPU bằng cách bỏ qua các bước như biên dịch Torch, được bật thông qua tùy chọn enable_gpu_snapshot. Bản cập nhật cũng mang đến Modal Notebooks ở dạng beta để chạy Python trong trình duyệt, Service Tokens dành cho quản lý không gian làm việc và giao diện người dùng do trình duyệt tạo cho các Function đã triển khai.

30 tháng 7, 2025Thứ Tư
  1. Modal Blog60

    Modal ra mắt ảnh chụp nhanh bộ nhớ GPU cho khởi động nguội serverless dưới một giây

    Modal công bố ảnh chụp nhanh bộ nhớ GPU ở dạng alpha, mở rộng hệ thống checkpoint/restore hiện có để ghi lại vRAM GPU, nhân CUDA, luồng và ngữ cảnh, nhờ đó các khối lượng công việc GPU khôi phục từ trạng thái đóng băng thay vì xây dựng lại trạng thái CUDA sau khi khởi động.

    Vì sao đáng chú ý: Modal bổ sung trạng thái GPU vào ảnh chụp nhanh bộ nhớ, cắt giảm khởi động nguội cho các khối lượng công việc torch.compile và vLLM tới 10 lần và giúp scale-to-zero thực tế hơn.

24 tháng 7, 2025Thứ Năm
  1. Modal Blog36

    AI code sandbox là gì?

    AI code sandbox là một môi trường biệt lập thực thi mã do LLM tạo ra tại thời điểm chạy, giới hạn phạm vi ảnh hưởng của lỗi hoặc lỗ hổng bị cấy vào. Các triển khai hiện đại chạy trên VM hoặc container, thường dùng các runtime bảo mật như gVisor để chặn các syscall và bảo vệ máy chủ. Hầu hết công ty chọn dịch vụ sandbox được quản lý thay vì tự xây dựng bằng Kubernetes, vì việc xử lý khởi động nguội và mở rộng lên hàng triệu phiên đồng thời rất tốn kém.