Tới nội dung
#Triển khai / kỹ thuật
15 tháng 1Thứ Năm
  1. Modal Blog22

    Chai Discovery mở rộng quy mô khám phá thuốc bằng máy tính trên Modal

    Chai Discovery đang sử dụng Modal để vận hành các pipeline khám phá thuốc bằng học máy, từ nhúng protein và căn chỉnh đa trình tự đến thiết kế kháng thể. Modal Volumes tải xuống và lập chỉ mục các bộ dữ liệu lên tới hàng trăm gigabyte một lần, sau đó chia sẻ chúng giữa các máy, trong khi khả năng mở rộng GPU đàn hồi khởi tạo hàng trăm GPU trong vài phút. Chai cho biết cùng một thiết lập này hiện đưa các quy trình nghiên cứu vào sản xuất mà không cần viết lại hạ tầng.

6 tháng 1Thứ Ba
  1. OpenAI Developers Blog42

    OpenAI ra mắt Docs MCP Server cho tài liệu dành cho nhà phát triển

    OpenAI đã phát hành một Model Context Protocol (MCP) server công khai, cho phép các agent truy cập chỉ đọc vào tài liệu dành cho nhà phát triển trên developers.openai.com, platform.openai.com và learn.chatgpt.com. Server này chỉ dành cho tài liệu và không gọi OpenAI API thay mặt người dùng. Nhà phát triển có thể thêm nó vào Codex thông qua CLI hoặc tiện ích mở rộng IDE với một cấu hình chia sẻ duy nhất, và kết hợp nó với OpenAI Docs Skill để có câu trả lời kèm trích dẫn.

28 tháng 12, 2025Chủ Nhật
  1. Modal Blog38

    Modal về việc duy trì hơn 20.000 GPU khỏe mạnh trên nhiều đám mây

    Modal đã mở rộng nhóm worker GPU đa đám mây của mình vượt 20.000 GPU đồng thời và khởi chạy hơn bốn triệu phiên bản đám mây trong vài năm qua, và hiện đang chia sẻ hệ thống độ tin cậy đằng sau đó. Bài viết đề cập đến việc kiểm thử và lựa chọn loại phiên bản, chuẩn bị image máy và kiểm tra khởi động, kiểm tra sức khỏe GPU thụ động và chủ động, cùng khả năng quan sát và hỗ trợ. Bài viết báo cáo sự khác biệt giữa các hyperscaler như tỷ lệ khởi động thành công 99,6% của Cloud A và H100 của Cloud C chạy trên 90ºC vào năm 2025.

17 tháng 12, 2025Thứ Tư
  1. Vapi Blog38

    Vapi Voices Beta ra mắt với giá $0.0025/phút cho Voice AI khối lượng lớn

    Vapi đã phát hành Vapi Voices Beta, một nhóm các mô hình giọng nói được xây dựng cho các trường hợp sử dụng Voice AI khối lượng lớn, nhạy cảm về chi phí, với giá $0.0025 mỗi phút và độ trễ được tối ưu hóa cho khả năng phản hồi hội thoại. Các mô hình này xuất hiện trong menu thả xuống giọng nói hiện có cùng với các nhà cung cấp như ElevenLabs, PlayHT và Deepgram, vì vậy các nhóm có thể định tuyến các luồng khối lượng lớn, ít rủi ro như nhắc nhở cuộc hẹn và menu định tuyến đến chúng mà không cần thay đổi tích hợp. Vapi cho biết họ đang giới hạn tính khả dụng chung dựa trên những gì việc sử dụng beta tiết lộ về các trường hợp sử dụng, độ trễ dưới tải thực tế và liệu khoản tiết kiệm có quan trọng hay không.

2 tháng 12, 2025Thứ Ba
  1. Modal Blog42

    Modal bổ sung hỗ trợ Day 0 cho Mistral 3 với tính năng snapshot GPU giúp khởi động nguội nhanh gấp 10 lần

    Modal hiện cung cấp hỗ trợ Day 0 cho Mistral 3, cho phép các nhà phát triển triển khai dòng mô hình mở này trên GPU serverless mà không cần quản lý hạ tầng. Trên mô hình 3B Ministral 3, tính năng snapshot GPU của Modal đã giảm thời gian khởi động nguội trung vị từ khoảng 118 giây xuống còn khoảng 12 giây, tức giảm gần 10 lần. Ministral 3 có các kích thước 3B, 8B và 14B và đạt hiệu năng cạnh tranh với dòng Qwen 3-VL trên các benchmark.

20 tháng 11, 2025Thứ Năm
  1. Modal Blog22

    Modal bàn về lý do các tác nhân lập trình cũng cần trải nghiệm nhà phát triển tốt

    Modal lập luận rằng chính những nguyên tắc trải nghiệm nhà phát triển giúp ích cho con người—vòng phản hồi chặt chẽ, truy cập lập trình qua CLI/SDK/API, thông báo lỗi có thể hành động và các ví dụ liền kề mã nhất quán—cũng giúp các tác nhân lập trình nhanh hơn. Bởi vì tác nhân lặp lại bằng cách tạo, chạy và quan sát mã, lỗi mơ hồ hoặc cấu hình chỉ qua UI khiến chúng bị tắc, nên thiết kế cho tác nhân nghĩa là áp dụng chính các nguyên tắc đó thay vì phát minh lại.

  2. Vapi Blog42

    Vapi bổ sung structured outputs để trích xuất dữ liệu được xác thực theo schema từ các cuộc gọi AI thoại

    Vapi hiện hỗ trợ structured outputs cho tất cả trợ lý AI thoại, đảm bảo mọi cuộc gọi trả về dữ liệu khớp với JSON schema do nhà phát triển định nghĩa. Schema được thực thi tại thời điểm chạy bằng các khả năng gốc của nhà cung cấp từ OpenAI, Anthropic, Gemini và những nhà cung cấp khác, và có thể được tái sử dụng trên nhiều trợ lý. Dữ liệu được trích xuất đến qua webhook hoàn tất cuộc gọi và REST API.

  3. Replit Blog42

    Replit ra mắt Fast Mode giúp chỉnh sửa Agent nhanh hơn, rẻ hơn

    Replit đã ra mắt Fast Mode, một cách nhanh hơn để điều hướng Agent của mình thực hiện những thay đổi nhỏ, chính xác. Chế độ này chạy trên một mô hình agentic hiệu quả với chi phí thấp hơn đáng kể so với Build mode và được tối ưu để hoàn thành yêu cầu trong số bước ít nhất, hướng đến các bản sửa nhanh, lặp lại giao diện và các tính năng nhỏ. Fast Mode có sẵn cho tất cả người dùng Replit bắt đầu từ hôm nay và được kích hoạt qua biểu tượng tia sét.

19 tháng 11, 2025Thứ Tư
  1. Modal Blog30

    Reducto đã cắt giảm độ trễ P90 xử lý tài liệu doanh nghiệp xuống 3 lần trên Modal như thế nào

    Reducto đã chuyển khối lượng công việc suy luận cho hơn 30 mô hình xử lý tài liệu của mình sang Modal, cắt giảm độ trễ P90 xuống 3 lần. Tính năng chụp nhanh bộ nhớ GPU đã giảm thời gian khởi động nguội 83%, từ ~70 giây xuống ~12 giây, trong khi các nhóm tự động mở rộng theo từng khách hàng cô lập các đợt tăng đột biến lưu lượng. Trong một bài kiểm tra tải, Reducto đã mở rộng quy mô pipeline tiếp nhận của mình lên hơn 1.000 GPU trong chưa đầy một giờ để chứng minh khả năng xử lý 100k trang mỗi phút.

18 tháng 11, 2025Thứ Ba
  1. Modal Blog36

    Blog Modal: Chi phí vận hành máy chủ đang giết chết hiệu quả suy luận của bạn

    Blog của Modal giải thích cách chi phí vận hành máy chủ—những khoảng trống khi GPU ngồi không chờ CPU chuẩn bị công việc—thể hiện qua mức sử dụng nhân GPU thấp trong suy luận AI. Với 50% chi phí vận hành máy chủ, chi phí suy luận trên GPU cao gấp 2 lần so với mức có thể. Bài viết trình bày chi tiết các giải pháp được dùng trong các engine suy luận mã nguồn mở trong môi trường production, bao gồm việc xây dựng tensor ngay trên thiết bị thay vì truyền chúng và giảm các lần khởi chạy nhân CUDA không cần thiết.

13 tháng 11, 2025Thứ Năm
  1. Modal Blog40

    Decagon đã triển khai AI giọng nói thời gian thực trên Modal như thế nào

    Decagon và Modal đã hợp tác để xây dựng Decagon Voice 2.0, giảm độ trễ 65% đồng thời cải thiện nhận diện ý định và chất lượng phản hồi. Decagon đã tinh chỉnh các mô hình mã nguồn mở nhỏ gọn bằng SFT và RL để vượt qua các mô hình tiên tiến lớn hơn, trong khi Modal huấn luyện một mô hình nháp EAGLE3 tùy chỉnh với độ dài chấp nhận cao hơn 38% và tái thiết kế SGLang với bộ lập lịch giải mã suy đoán bất đồng bộ, tăng thông lượng lên tới 12%.

4 tháng 11, 2025Thứ Ba
  1. Modal Blog58

    Modal, Pipecat và các mô hình mở đạt độ trễ giọng nói sang giọng nói một giây

    Ben Shababo của Modal hướng dẫn cách xây dựng một bot thoại hội thoại trên Modal với framework mã nguồn mở Pipecat và các mô hình trọng số mở, đạt độ trễ trung vị giọng nói sang giọng nói khoảng một giây khi client và container ở gần nhau về mặt địa lý. Pipeline sử dụng NVIDIA parakeet-tdt-0.6b-v3 cho STT, Qwen3-4B-Instruct-2507 phục vụ bằng vLLM, KokoroTTS cho đầu ra giọng nói, và ChromaDB với all-minilm-l6-v2 cho RAG trên tài liệu của Modal. Modal Tunnels bỏ qua input plane để có các liên kết WebSocket và HTTP độ trễ thấp tới các dịch vụ STT, TTS và vLLM, trong khi một FunctionCall gắn với mỗi phiên hội thoại khôi phục khả năng tự động mở rộng, và việc ghim các dịch vụ tới các vùng gần đó cắt giảm độ trễ mạng.

31 tháng 10, 2025Thứ Sáu
  1. Modal Blog22

    Modal cập nhật Volumes v2, SDK JavaScript và Go lên bản beta

    Modal đã phát hành Volumes v2 dưới dạng open beta cho tất cả ứng dụng, với hệ thống tệp được xây dựng lại để có thông lượng cao hơn, truy cập ngẫu nhiên nhanh hơn và ghi đồng thời thực sự từ hàng trăm container, cùng với không giới hạn số tệp được lưu trữ. SDK JavaScript/TypeScript và Go của nó cũng đã bước vào giai đoạn beta ở phiên bản v0.5, bổ sung một đối tượng Client thống nhất và hỗ trợ Sandboxes, Functions, Images và Volumes.

30 tháng 10, 2025Thứ Năm
  1. Modal Blog38

    Modal và Datalab: Triển khai Marker và Surya Document Intelligence trong chưa đầy 5 phút

    Modal đã hợp tác với Datalab để cho phép các nhà phát triển triển khai mô hình phân tích tài liệu Marker và bộ công cụ OCR Surya trên GPU của Modal trong chưa đầy năm phút. Marker là một mô hình dưới một tỷ tham số hỗ trợ hơn 90 ngôn ngữ, và chạy nó trên Modal đạt khoảng 2,2 trang mỗi giây cho mỗi container, gấp khoảng 10 lần so với 0,22 trang mỗi giây trên một chiếc Mac M4 sử dụng Apple MPS. Các công cụ của Datalab vẫn miễn phí cho mục đích nghiên cứu, sử dụng cá nhân và các startup có vốn đầu tư hoặc doanh thu dưới 2 triệu USD, với giấy phép thương mại có sẵn.

27 tháng 10, 2025Thứ Hai
  1. Vapi Blog28

    Vapi tặng một tuần miễn phí sử dụng Cartesia Sonic-3 TTS

    Vapi đang cung cấp cho cộng đồng quyền truy cập miễn phí, không giới hạn vào mô hình TTS Sonic-3 mới ra mắt của Cartesia thông qua khóa API được quản lý của mình từ ngày 28 tháng 10 đến ngày 2 tháng 11. Sonic-3 bổ sung các thẻ cảm xúc và tiếng cười, điều khiển tốc độ và âm lượng chi tiết, cùng hỗ trợ 27 ngôn ngữ mới. Vapi khuyến nghị bắt đầu với giọng Kira và Ariana để có các tác nhân có độ trễ thấp, âm thanh tự nhiên.

26 tháng 9, 2025Thứ Sáu
  1. Modal Blog60

    Kỹ sư Modal phân tích ngược cách Flash Attention 4 hoạt động

    Các kỹ sư Modal đã đọc mã nguồn Flash Attention 4 được phát hành và phân tích ngược cách kernel attention tối ưu cho Blackwell hoạt động, do chưa có báo cáo kỹ thuật chính thức. Bài viết theo dõi một tile đi qua pipeline bất đồng bộ chuyên biệt theo warp của kernel và trình bày chi tiết hai thủ thuật toán học: một hàm mũ phần mềm dạng đa thức bậc ba có thể thay thế phép lũy thừa dựa trên SFU, và một quy tắc tái chuẩn hóa online softmax thông minh hơn mà Tri Dao cho biết giảm số lần hiệu chỉnh xuống 10 lần. FA4 được báo cáo là nhanh hơn khoảng 20% so với các kernel attention cudnn mã nguồn đóng của Nvidia, và phiên bản backwards chưa có sẵn tại thời điểm viết bài.

    Vì sao đáng chú ý: Các kỹ sư Modal đã đọc mã nguồn Flash Attention 4 được phát hành và giải thích pipeline chuyên biệt theo warp cùng hai thủ thuật toán học của nó, mang lại góc nhìn có thể chuyển giao về hướng phát triển của thiết kế kernel CUDA.

22 tháng 9, 2025Thứ Hai
  1. Modal Blog38

    Modal Vibe: Nền tảng lập trình AI xây dựng trên Modal Sandboxes, mở rộng tới 1.000 ứng dụng trong 5 phút

    Modal đã xây dựng Modal Vibe, một nền tảng lập trình vibe mã nguồn mở dạng demo trên Modal Sandboxes, có khả năng mở rộng từ 0 lên 1.000 ứng dụng do AI viết mã trong khoảng năm phút. Một bài kiểm tra tải tạo 1.000 ứng dụng, mỗi ứng dụng trong Sandbox riêng, mất khoảng 300 giây, với API AI là bước giới hạn tốc độ. Modal cho biết Team Plan có thể chạy 1.000 Sandbox đồng thời, đủ cho hơn một triệu phiên mỗi tháng.

19 tháng 9, 2025Thứ Sáu
  1. Modal Blog20

    Cập nhật sản phẩm Modal: Notebooks, Thời gian chờ nhàn rỗi của Sandbox và Thay đổi phía Client

    Modal đã phát hành các cập nhật sản phẩm bao gồm Modal Notebooks để thử nghiệm Python trên đám mây với tối đa 8 GPU B200, cùng tham số idle_timeout tùy chọn cho modal.Sandbox.create(). Client cũng bổ sung tham số startup_timeout cho các decorator @app.function() và @app.cls() và một mẫu API mới để quản lý mệnh lệnh các loại tài nguyên của Modal. Modal Notebooks sau đó đã bị ngừng, tuy nhiên các notebook hiện có vẫn có thể được tải xuống dưới dạng tệp .ipynb.

16 tháng 9, 2025Thứ Ba
  1. Modal Blog47

    Bên trong Modal Notebooks: Modal đã xây dựng một notebook GPU trên đám mây khởi động trong vài giây như thế nào

    Modal đã trình bày chi tiết về kỹ thuật đằng sau Modal Notebooks, notebook Jupyter trên đám mây của họ, khởi động GPU và các image tùy chỉnh trong vài giây với khả năng cộng tác theo thời gian thực. Các kernel chạy bên trong Modal Sandboxes, với một daemon modal-kernelshim chuyển đổi các tin nhắn Jupyter ZeroMQ thành các lệnh gọi HTTP được truyền qua control plane của Modal. Một hệ thống tệp container FUSE bằng Rust tải lười sẽ tìm nạp nội dung tệp theo yêu cầu thông qua bộ nhớ đệm phân tầng, tránh độ trễ giải nén image có thể lên tới gần một phút đối với image Python/ML 8 GB.

9 tháng 9, 2025Thứ Ba
  1. Modal Blog58

    Modal ra mắt Notebooks với nhân GPU khởi động dưới 5 giây

    Modal Notebooks hiện đã được cung cấp rộng rãi cho tất cả khách hàng Modal sau bản beta giới hạn vào tháng trước. Môi trường notebook cộng tác này chạy trên nhân Python hỗ trợ GPU, đạt trạng thái sẵn sàng trong dưới 5 giây trên các container image tùy ý và phần cứng lên đến 256 vCPU và 8 GPU H100/B200, với tự động tắt khi nhàn rỗi, Volumes và Secrets dùng chung, và chỉnh sửa đa con trỏ theo thời gian thực. Modal cho biết hơn 5.000 tài khoản đã chạy 200.000 ô mã trong bản beta tháng 8, và các tính năng sắp ra mắt bao gồm snapshot bộ nhớ, xuất một cú nhấp sang Modal Apps, và chạy theo lịch.

28 tháng 8, 2025Thứ Năm
  1. Modal Blog22

    Zencastr đã phiên âm hàng trăm năm âm thanh trong vài ngày với Modal như thế nào

    Zencastr đã chuyển khối lượng công việc phiên âm podcast của mình sang nền tảng GPU của Modal, mở rộng lên 1.500 GPU đồng thời trong vòng vài phút để xử lý hàng trăm năm âm thanh chỉ trong vài ngày. Việc chuyển từ các nút GPU Kubernetes tự quản lý sang hạ tầng scale-to-zero của Modal đã cắt giảm chi phí GPU nhàn rỗi và loại bỏ gánh nặng quản lý driver và phụ thuộc. Tất cả khối lượng công việc ML cốt lõi hiện chạy trên Modal, bao gồm phiên âm, đếm người nói, phát hiện tiếng cười và chấm điểm chất lượng âm thanh.

11 tháng 8, 2025Thứ Hai
  1. Modal Blog38

    Cập nhật sản phẩm Modal: Ảnh chụp nhanh bộ nhớ GPU, Notebooks, Service Tokens và hơn thế nữa

    Modal đã bổ sung tính năng ảnh chụp nhanh bộ nhớ GPU ở dạng alpha, giúp giảm 10 lần thời gian khởi động nguội cho các khối lượng công việc GPU bằng cách bỏ qua các bước như biên dịch Torch, được bật thông qua tùy chọn enable_gpu_snapshot. Bản cập nhật cũng mang đến Modal Notebooks ở dạng beta để chạy Python trong trình duyệt, Service Tokens dành cho quản lý không gian làm việc và giao diện người dùng do trình duyệt tạo cho các Function đã triển khai.

30 tháng 7, 2025Thứ Tư
  1. Modal Blog60

    Modal ra mắt ảnh chụp nhanh bộ nhớ GPU cho khởi động nguội serverless dưới một giây

    Modal công bố ảnh chụp nhanh bộ nhớ GPU ở dạng alpha, mở rộng hệ thống checkpoint/restore hiện có để ghi lại vRAM GPU, nhân CUDA, luồng và ngữ cảnh, nhờ đó các khối lượng công việc GPU khôi phục từ trạng thái đóng băng thay vì xây dựng lại trạng thái CUDA sau khi khởi động.

    Vì sao đáng chú ý: Modal bổ sung trạng thái GPU vào ảnh chụp nhanh bộ nhớ, cắt giảm khởi động nguội cho các khối lượng công việc torch.compile và vLLM tới 10 lần và giúp scale-to-zero thực tế hơn.

24 tháng 7, 2025Thứ Năm
  1. Modal Blog36

    AI code sandbox là gì?

    AI code sandbox là một môi trường biệt lập thực thi mã do LLM tạo ra tại thời điểm chạy, giới hạn phạm vi ảnh hưởng của lỗi hoặc lỗ hổng bị cấy vào. Các triển khai hiện đại chạy trên VM hoặc container, thường dùng các runtime bảo mật như gVisor để chặn các syscall và bảo vệ máy chủ. Hầu hết công ty chọn dịch vụ sandbox được quản lý thay vì tự xây dựng bằng Kubernetes, vì việc xử lý khởi động nguội và mở rộng lên hàng triệu phiên đồng thời rất tốn kém.

23 tháng 7, 2025Thứ Tư
  1. Modal Blog52

    Modal benchmark mở các mô hình ASR cho phiên âm hàng loạt với tốc độ nhanh gấp 100 lần và tiết kiệm chi phí

    Modal đã triển khai dịch vụ phiên âm hàng loạt trên nền tảng của mình bằng cách sử dụng parakeet-tdt-0.6b-v2 và canary-1b-flash của NVIDIA, báo cáo hiệu suất end-to-end nhanh hơn 100 lần hoặc rẻ hơn 100 lần so với một API ASR độc quyền phổ biến trong khi vẫn đạt tỷ lệ lỗi tương đương trên khoảng một tuần âm thanh benchmark ESB. Nhóm nghiên cứu cho rằng những lợi ích này đến từ việc xáo trộn tệp giữa các lô yêu cầu, sắp xếp âm thanh theo thời lượng trong các lô GPU, tải xuống song song và các cấu hình GPU và worker được chọn theo thực nghiệm. Bài viết trình bày kiến trúc và các bước tối ưu hóa để người khác có thể xây dựng các dịch vụ tương tự.

16 tháng 7, 2025Thứ Tư
  1. Modal Blog30

    Đô la trên mỗi token bị coi là có hại: vì sao suy luận LLM tự vận hành nên được định giá theo yêu cầu

    Một bài đăng trên Modal Blog lập luận rằng cách định giá "đô la trên mỗi token", vốn được kế thừa từ các nhà cung cấp API như OpenAI, Anthropic và Alphabet, thực sự có hại cho các nhóm vận hành suy luận LLM tự triển khai. Bài viết cho rằng người dùng ứng dụng quan tâm đến yêu cầu chứ không phải token, và cần cách diễn đạt theo mỗi yêu cầu để lý giải về độ trễ, số lượng bản sao và chi phí tính toán.

11 tháng 7, 2025Thứ Sáu
  1. Modal Blog40

    Cập nhật sản phẩm Modal: Cụm huấn luyện đa nút, GPU B200 và H200, và Client 1.0

    Modal đã ra mắt cụm huấn luyện đa nút ở dạng beta, cho phép người dùng tận dụng hàng chục GPU trên nhiều máy chủ bằng cách thêm decorator @clustered, với kết nối liên kết Infiniband RDMA 3,2 Tbps để mở rộng gần như tuyến tính. Nền tảng hiện cung cấp GPU NVIDIA B200 và H200 theo dạng serverless với giá lần lượt là 6,25 USD/giờ và 4,54 USD/giờ, tuyên bố suy luận LLM nhanh hơn 2-4 lần so với H100. Modal cũng phát hành Client 1.0, nhấn mạnh tính ổn định của API, cùng các cập nhật bao gồm phương thức Volume chỉ đọc và hỗ trợ múi giờ cho lịch Cron.

  2. Modal Blog31

    Jamsocket gia nhập Modal

    Jamsocket, nền tảng backend đứng sau bộ điều phối mã nguồn mở Plane, Y-Sweet và ForeverVM, đang gia nhập Modal, với hai nhà đồng sáng lập Paul Butler và Taylor Baldwin gia nhập đội ngũ Modal. Các sản phẩm của Jamsocket sẽ tiếp tục hoạt động bình thường trong khi chức năng cốt lõi được chuyển sang Modal, mà theo các nhà sáng lập, điều này cho phép khách hàng lấy AI làm trung tâm triển khai suy luận GPU, hộp cát mã và backend thời gian thực từ một nền tảng duy nhất.

7 tháng 7, 2025Thứ Hai
  1. Modal Blog28

    Modal đã hỗ trợ 250.000 ứng dụng Lovable được tạo ra trong một ngày cuối tuần như thế nào

    Lovable đã sử dụng Modal Sandboxes để chạy mã do LLM tạo ra trong một ngày cuối tuần khuyến mãi vào tháng 6 năm 2025 với Anthropic, OpenAI và Google, cho phép người dùng xây dựng ước tính 250.000 ứng dụng trong 48 giờ. Modal đã chạy hơn 1 triệu sandbox với tối đa 20.000 sandbox đồng thời tại thời điểm cao điểm khi các phiên đồng thời của Lovable tăng vọt 2,5-3 lần, và đội ngũ nền tảng của công ty không bị gọi trực lần nào. Lovable đã giảm mã điều phối sandbox của mình từ 15.000 dòng xuống còn 700 dòng sau khi chuyển sang Modal.

2 tháng 7, 2025Thứ Tư
  1. Modal Blog40

    Modal đã dùng Evals và mở rộng compute tại thời điểm suy luận như thế nào để tạo ra Mã QArt có thể quét được

    Modal đã dùng evals và mở rộng compute tại thời điểm suy luận để cải thiện hệ thống mã QArt của mình, nâng tỷ lệ quét QR lên mục tiêu cấp dịch vụ 95% đồng thời cải thiện chất lượng thẩm mỹ và trả mã trong dưới 20 giây ở p95. Công trình này theo đúng quy trình ML tiêu chuẩn là thu thập đánh giá của con người, căn chỉnh theo các đánh giá đó, rồi mở rộng quy mô, giải quyết khoảng trống "nó chạy được trên prompt của tôi" khiến nhiều mã QR được tạo ra không thể quét được.

30 tháng 6, 2025Thứ Hai
  1. Modal Blog28

    Quora sử dụng Modal để chạy hàng nghìn hộp cát Python cùng lúc như thế nào

    Quora sử dụng Modal Sandboxes để thực thi an toàn mã do LLM tạo ra trong Poe, nền tảng chatbot AI của mình, đưa tính năng này ra mắt sớm hơn nhiều tháng so với việc tự xây dựng nội bộ. Nhóm đã kiểm tra tải thông lượng tạo Sandbox lên tới 1000 sandbox mỗi giây và báo cáo tiết kiệm thời gian bảo trì hạ tầng liên tục tương đương 2 kỹ sư.

26 tháng 6, 2025Thứ Năm
  1. Vapi Blog38

    Vapi ra mắt Chiến dịch Gọi ra ngoài qua Tải lên CSV

    Vapi hiện cho phép người dùng khởi chạy các chiến dịch gọi ra ngoài bằng cách tải lên CSV chứa số điện thoại và các biến tùy chỉnh, sau đó gán một trợ lý hoặc quy trình làm việc để vận hành. Vapi xử lý việc xếp hàng, thực thi và ghi nhật ký, với trạng thái cuộc gọi hiển thị trên bảng điều khiển. Chiến dịch yêu cầu số điện thoại đã xác minh, vì không thể dùng số của Vapi.

24 tháng 6, 2025Thứ Ba
  1. Vapi Blog22

    Mistral vs Llama 3: So sánh đầy đủ cho các ứng dụng AI giọng nói

    Mistral và Llama 3 khác biệt về triết lý cho AI giọng nói: các mô hình Mistral từ 7B đến Mistral Small 3.1 (24B) ưu tiên hiệu quả độ trễ thấp, trong khi Llama 3 mở rộng từ 8B đến 70B để có khả năng suy luận mạnh hơn và phạm vi đa ngôn ngữ rộng hơn. Mistral Small 3.1 đạt thời gian đến token đầu tiên 0,29 giây với 150-166 token mỗi giây, và Mistral Small 24B vượt Llama 3.1 8B Instruct trên ARC-C, GPQA và MMLU, trong khi Llama 3.1 405B đạt 85,2% trên MMLU và 96,8% trên GSM8K.

23 tháng 6, 2025Thứ Hai
  1. Vapi Blog22

    8 lựa chọn thay thế Azure cho Voice AI STT trên Vapi

    Vapi hiện cung cấp tám nhà cung cấp speech-to-text — Gladia, AssemblyAI, Deepgram, Cartesia, Talkscriber, OpenAI, Speechmatics và ElevenLabs — như các lựa chọn thay thế Azure cho voice agent. Việc chuyển nhà cung cấp chỉ cần thay đổi một tham số JSON, cho phép nhà phát triển đánh giá độ trễ, chi phí và tuân thủ. Gladia tuyên bố độ trễ end-to-end dưới 100 ms, AssemblyAI tích hợp tóm tắt và che giấu PII trong một lệnh gọi API, và Cartesia chạy hoàn toàn on-premises.

19 tháng 6, 2025Thứ Năm
  1. Vapi Blog22

    Gemini Flash và Pro: So sánh các LLM mới nhất của Google

    Gemini 2.5 Flash và 2.5 Pro của Google khác nhau chủ yếu ở tốc độ so với độ sâu suy luận, cả hai đều cung cấp cửa sổ ngữ cảnh 1M token và khả dụng gốc trong Vapi cho các tác nhân thoại. Flash trả về token đầu tiên trong 0,21–0,37 giây với tốc độ 163 token mỗi giây và có giá $0,15/$0,60 cho mỗi triệu token đầu vào/đầu ra, trong khi Pro có giá $1,25/$10 và bổ sung chế độ Deep Think, với cửa sổ 2M token đang được lên kế hoạch.

18 tháng 6, 2025Thứ Tư
  1. Modal Blog58

    Modal cho thấy cách chạy FLUX.1-dev nhanh gấp ba lần

    Các kỹ sư của Modal mô tả việc làm cho FLUX.1-dev của Black Forest Labs chạy nhanh khoảng ba lần dưới dạng dịch vụ tự động mở rộng, rút ngắn thời gian tạo ảnh 1024x1024 từ khoảng 6,75 giây xuống dưới ba giây. Các tối ưu hóa tiêu chuẩn, cụ thể là trình biên dịch Torch với max-autotune, fused QKV attention và bố cục bộ nhớ channels-last, mang lại khoảng 1,5 lần, trong khi First Block Caching từ kho ParaAttention, dựa trên bài báo TEACache, tăng thêm 2 lần nữa ở ngưỡng 0,12. Compile cache và Modal Memory Snapshots giảm độ trễ khởi động nguội xuống 30 lần.

17 tháng 6, 2025Thứ Ba
  1. Vapi Blog38

    Deepgram Nova-3 so với Nova-2: Công cụ STT đã tiến hóa như thế nào

    Nova-3 của Deepgram giảm tỷ lệ lỗi từ trong chế độ streaming từ 8,4% của Nova-2 xuống 6,84% và đạt WER batch 5,26%, tức giảm 54,3% lỗi streaming. Nova-3 thay thế các mô hình chuyên biệt theo lĩnh vực riêng biệt của Nova-2 bằng một mạng duy nhất có thể thích ứng và bổ sung khả năng xử lý hội thoại đa ngôn ngữ theo thời gian thực, tối đa 100 thuật ngữ tùy chỉnh tự phục vụ mà không cần huấn luyện lại, và che giấu thông tin cho tối đa 50 thực thể. Cả hai mô hình đều chạy gốc trên Vapi với các endpoint giống hệt nhau, nên việc chuyển đổi chỉ là thay đổi tham số, mặc dù Nova-3 nằm ở mức giá cao cấp của Deepgram.

9 tháng 6, 2025Thứ Hai
  1. Modal Blog40

    Modal 1.0 ra mắt: SDK Python ổn định hơn với cấu hình tường minh

    Modal đã phát hành phiên bản 1.0 của SDK Python client, một cột mốc mà công ty cho biết mang lại mức độ trưởng thành và ổn định mới cho nền tảng điện toán đám mây serverless của mình, với ít thay đổi phá vỡ tương thích hơn trong tương lai. Bản phát hành loại bỏ các hành vi "ma thuật" như tự động gắn các gói cục bộ, tách chức năng cốt lõi thành các decorator riêng biệt như @modal.concurrent mới, và hợp nhất xử lý tệp cục bộ dưới lớp modal.Image. Modal cũng có kế hoạch phát triển SDK cho các ngôn ngữ khác và đang khám phá cách nền tảng nên phục vụ các quy trình công việc agent do AI điều khiển.

4 tháng 6, 2025Thứ Tư
  1. Vapi Blog22

    Ba ví dụ về AI giọng nói cải thiện ngành logistics

    Vapi phác thảo ba trường hợp sử dụng AI giọng nói trong logistics: ShipEX sử dụng trí tuệ giọng nói trên 350 xe tải để định tuyến cảnh báo bảo trì và báo cáo tai nạn, hệ thống nhặt hàng bằng giọng nói của Idaho State Liquor Division tăng tỷ lệ nhặt hàng lên 35%, và các kỹ thuật viên bảo trì ghi lại sự cố bằng giọng nói để tự động tạo lệnh công việc CMMS. Bài viết cũng trình bày chi tiết tích hợp API với các hệ thống TMS, CRM và WMS cùng các cân nhắc triển khai.

  2. Vapi Blog22

    11 lựa chọn thay thế tuyệt vời cho ElevenLabs: Các mô hình TTS gốc Vapi

    Vapi hiện cung cấp 11 mô hình chuyển văn bản thành giọng nói tích hợp sẵn như những lựa chọn thay thế cho ElevenLabs, bao gồm Neu-hq và Neu-fast của Neuphonic, dòng Sonic của Cartesia, Azure TTS, OpenAI TTS, Deepgram, Lightning của Smallest AI, LMNT, PlayHT, Octave của Hume và Mist v2 của Rime AI. Các nhà phát triển có thể chuyển đổi giữa chúng trong vài phút mà không cần viết lại mã, và Vapi cho biết họ xử lý hơn một triệu cuộc gọi thoại mỗi ngày trên các mô hình này.