Tới nội dung
#Hướng dẫn / thực hành
25 tháng 2Thứ Tư
  1. OpenAI Developers Blog62

    OpenAI công bố hướng dẫn prompting Codex cho gpt-5.3-codex

    OpenAI đã phát hành hướng dẫn prompting Codex dành cho các nhà phát triển gọi trực tiếp mô hình gpt-5.3-codex được tinh chỉnh cho Codex thông qua API, khuyến nghị mức reasoning effort trung bình cho lập trình tương tác và mức high hoặc xhigh cho những tác vụ khó nhất. Hướng dẫn bao gồm việc di chuyển một harness hiện có sang codex-cli mã nguồn mở, bao gồm prompt Codex-Max tiêu chuẩn, các công cụ apply_patch, shell_command và update_plan, cùng tính năng compaction hạng nhất qua /compact trong Responses API cho các phiên kéo dài nhiều giờ. Hướng dẫn cũng mô tả trường phase mới, chỉ được hỗ trợ trên gpt-5.3-codex, đánh dấu các mục của assistant là commentary hoặc final_answer và phải được giữ nguyên trong lịch sử để tránh suy giảm hiệu năng.

    Vì sao đáng chú ý: Hướng dẫn chính thức của OpenAI trình bày chi tiết cách tinh chỉnh prompt, công cụ và compaction cho gpt-5.3-codex, mang lại cho các nhóm một lộ trình di chuyển cụ thể cho các coding agent của riêng họ.

24 tháng 2Thứ Ba
  1. Vapi Blog38

    Trao cho OpenClaw Agent của bạn một giọng nói: Thêm cuộc gọi điện thoại với Vapi Skills

    Các agent OpenClaw giờ đây có thể thực hiện và nhận cuộc gọi điện thoại thông qua các skill tương thích AgentSkills của Vapi, được cài đặt trong khoảng năm phút qua CLI npx skills hoặc bằng cách yêu cầu trực tiếp agent. Pipeline của Vapi hướng tới phản hồi giọng nói dưới 500ms và hỗ trợ gọi công cụ giữa cuộc gọi, với tám skill bao gồm assistant, cuộc gọi, số điện thoại, công cụ, squad, webhook và workflow.

19 tháng 2Thứ Năm
  1. Modal Blog58

    Ramp đã xây dựng Ramp Inspect như thế nào — một background coding agent với đầy đủ ngữ cảnh trên Modal

    Ramp đã xây dựng Ramp Inspect, một background coding agent nội bộ chạy trên Modal Sandboxes, và hiện nó khởi tạo khoảng một nửa tổng số pull request được merge trên các repo frontend và backend của Ramp. Mỗi phiên khởi động một môi trường full-stack với Postgres, Redis, Temporal và RabbitMQ trong vài giây, nhờ một cron job của Modal clone repo và lưu snapshot hệ thống tệp mỗi 30 phút. Modal Functions, Dicts và Queues đảm nhận việc build snapshot, khóa phiên và định tuyến prompt, giúp Inspect hỗ trợ các phiên nhiều người dùng và hàng trăm phiên đồng thời mà không phiên nào ảnh hưởng đến phiên khác.

28 tháng 12, 2025Chủ Nhật
  1. Modal Blog38

    Modal về việc duy trì hơn 20.000 GPU khỏe mạnh trên nhiều đám mây

    Modal đã mở rộng nhóm worker GPU đa đám mây của mình vượt 20.000 GPU đồng thời và khởi chạy hơn bốn triệu phiên bản đám mây trong vài năm qua, và hiện đang chia sẻ hệ thống độ tin cậy đằng sau đó. Bài viết đề cập đến việc kiểm thử và lựa chọn loại phiên bản, chuẩn bị image máy và kiểm tra khởi động, kiểm tra sức khỏe GPU thụ động và chủ động, cùng khả năng quan sát và hỗ trợ. Bài viết báo cáo sự khác biệt giữa các hyperscaler như tỷ lệ khởi động thành công 99,6% của Cloud A và H100 của Cloud C chạy trên 90ºC vào năm 2025.

19 tháng 11, 2025Thứ Tư
  1. Modal Blog30

    Reducto đã cắt giảm độ trễ P90 xử lý tài liệu doanh nghiệp xuống 3 lần trên Modal như thế nào

    Reducto đã chuyển khối lượng công việc suy luận cho hơn 30 mô hình xử lý tài liệu của mình sang Modal, cắt giảm độ trễ P90 xuống 3 lần. Tính năng chụp nhanh bộ nhớ GPU đã giảm thời gian khởi động nguội 83%, từ ~70 giây xuống ~12 giây, trong khi các nhóm tự động mở rộng theo từng khách hàng cô lập các đợt tăng đột biến lưu lượng. Trong một bài kiểm tra tải, Reducto đã mở rộng quy mô pipeline tiếp nhận của mình lên hơn 1.000 GPU trong chưa đầy một giờ để chứng minh khả năng xử lý 100k trang mỗi phút.

18 tháng 11, 2025Thứ Ba
  1. Modal Blog36

    Blog Modal: Chi phí vận hành máy chủ đang giết chết hiệu quả suy luận của bạn

    Blog của Modal giải thích cách chi phí vận hành máy chủ—những khoảng trống khi GPU ngồi không chờ CPU chuẩn bị công việc—thể hiện qua mức sử dụng nhân GPU thấp trong suy luận AI. Với 50% chi phí vận hành máy chủ, chi phí suy luận trên GPU cao gấp 2 lần so với mức có thể. Bài viết trình bày chi tiết các giải pháp được dùng trong các engine suy luận mã nguồn mở trong môi trường production, bao gồm việc xây dựng tensor ngay trên thiết bị thay vì truyền chúng và giảm các lần khởi chạy nhân CUDA không cần thiết.

13 tháng 11, 2025Thứ Năm
  1. Modal Blog40

    Decagon đã triển khai AI giọng nói thời gian thực trên Modal như thế nào

    Decagon và Modal đã hợp tác để xây dựng Decagon Voice 2.0, giảm độ trễ 65% đồng thời cải thiện nhận diện ý định và chất lượng phản hồi. Decagon đã tinh chỉnh các mô hình mã nguồn mở nhỏ gọn bằng SFT và RL để vượt qua các mô hình tiên tiến lớn hơn, trong khi Modal huấn luyện một mô hình nháp EAGLE3 tùy chỉnh với độ dài chấp nhận cao hơn 38% và tái thiết kế SGLang với bộ lập lịch giải mã suy đoán bất đồng bộ, tăng thông lượng lên tới 12%.

4 tháng 11, 2025Thứ Ba
  1. Modal Blog58

    Modal, Pipecat và các mô hình mở đạt độ trễ giọng nói sang giọng nói một giây

    Ben Shababo của Modal hướng dẫn cách xây dựng một bot thoại hội thoại trên Modal với framework mã nguồn mở Pipecat và các mô hình trọng số mở, đạt độ trễ trung vị giọng nói sang giọng nói khoảng một giây khi client và container ở gần nhau về mặt địa lý. Pipeline sử dụng NVIDIA parakeet-tdt-0.6b-v3 cho STT, Qwen3-4B-Instruct-2507 phục vụ bằng vLLM, KokoroTTS cho đầu ra giọng nói, và ChromaDB với all-minilm-l6-v2 cho RAG trên tài liệu của Modal. Modal Tunnels bỏ qua input plane để có các liên kết WebSocket và HTTP độ trễ thấp tới các dịch vụ STT, TTS và vLLM, trong khi một FunctionCall gắn với mỗi phiên hội thoại khôi phục khả năng tự động mở rộng, và việc ghim các dịch vụ tới các vùng gần đó cắt giảm độ trễ mạng.

26 tháng 9, 2025Thứ Sáu
  1. Modal Blog60

    Kỹ sư Modal phân tích ngược cách Flash Attention 4 hoạt động

    Các kỹ sư Modal đã đọc mã nguồn Flash Attention 4 được phát hành và phân tích ngược cách kernel attention tối ưu cho Blackwell hoạt động, do chưa có báo cáo kỹ thuật chính thức. Bài viết theo dõi một tile đi qua pipeline bất đồng bộ chuyên biệt theo warp của kernel và trình bày chi tiết hai thủ thuật toán học: một hàm mũ phần mềm dạng đa thức bậc ba có thể thay thế phép lũy thừa dựa trên SFU, và một quy tắc tái chuẩn hóa online softmax thông minh hơn mà Tri Dao cho biết giảm số lần hiệu chỉnh xuống 10 lần. FA4 được báo cáo là nhanh hơn khoảng 20% so với các kernel attention cudnn mã nguồn đóng của Nvidia, và phiên bản backwards chưa có sẵn tại thời điểm viết bài.

    Vì sao đáng chú ý: Các kỹ sư Modal đã đọc mã nguồn Flash Attention 4 được phát hành và giải thích pipeline chuyên biệt theo warp cùng hai thủ thuật toán học của nó, mang lại góc nhìn có thể chuyển giao về hướng phát triển của thiết kế kernel CUDA.

16 tháng 9, 2025Thứ Ba
  1. Modal Blog47

    Bên trong Modal Notebooks: Modal đã xây dựng một notebook GPU trên đám mây khởi động trong vài giây như thế nào

    Modal đã trình bày chi tiết về kỹ thuật đằng sau Modal Notebooks, notebook Jupyter trên đám mây của họ, khởi động GPU và các image tùy chỉnh trong vài giây với khả năng cộng tác theo thời gian thực. Các kernel chạy bên trong Modal Sandboxes, với một daemon modal-kernelshim chuyển đổi các tin nhắn Jupyter ZeroMQ thành các lệnh gọi HTTP được truyền qua control plane của Modal. Một hệ thống tệp container FUSE bằng Rust tải lười sẽ tìm nạp nội dung tệp theo yêu cầu thông qua bộ nhớ đệm phân tầng, tránh độ trễ giải nén image có thể lên tới gần một phút đối với image Python/ML 8 GB.

28 tháng 8, 2025Thứ Năm
  1. Modal Blog22

    Zencastr đã phiên âm hàng trăm năm âm thanh trong vài ngày với Modal như thế nào

    Zencastr đã chuyển khối lượng công việc phiên âm podcast của mình sang nền tảng GPU của Modal, mở rộng lên 1.500 GPU đồng thời trong vòng vài phút để xử lý hàng trăm năm âm thanh chỉ trong vài ngày. Việc chuyển từ các nút GPU Kubernetes tự quản lý sang hạ tầng scale-to-zero của Modal đã cắt giảm chi phí GPU nhàn rỗi và loại bỏ gánh nặng quản lý driver và phụ thuộc. Tất cả khối lượng công việc ML cốt lõi hiện chạy trên Modal, bao gồm phiên âm, đếm người nói, phát hiện tiếng cười và chấm điểm chất lượng âm thanh.

24 tháng 7, 2025Thứ Năm
  1. Modal Blog36

    AI code sandbox là gì?

    AI code sandbox là một môi trường biệt lập thực thi mã do LLM tạo ra tại thời điểm chạy, giới hạn phạm vi ảnh hưởng của lỗi hoặc lỗ hổng bị cấy vào. Các triển khai hiện đại chạy trên VM hoặc container, thường dùng các runtime bảo mật như gVisor để chặn các syscall và bảo vệ máy chủ. Hầu hết công ty chọn dịch vụ sandbox được quản lý thay vì tự xây dựng bằng Kubernetes, vì việc xử lý khởi động nguội và mở rộng lên hàng triệu phiên đồng thời rất tốn kém.

23 tháng 7, 2025Thứ Tư
  1. Modal Blog52

    Modal benchmark mở các mô hình ASR cho phiên âm hàng loạt với tốc độ nhanh gấp 100 lần và tiết kiệm chi phí

    Modal đã triển khai dịch vụ phiên âm hàng loạt trên nền tảng của mình bằng cách sử dụng parakeet-tdt-0.6b-v2 và canary-1b-flash của NVIDIA, báo cáo hiệu suất end-to-end nhanh hơn 100 lần hoặc rẻ hơn 100 lần so với một API ASR độc quyền phổ biến trong khi vẫn đạt tỷ lệ lỗi tương đương trên khoảng một tuần âm thanh benchmark ESB. Nhóm nghiên cứu cho rằng những lợi ích này đến từ việc xáo trộn tệp giữa các lô yêu cầu, sắp xếp âm thanh theo thời lượng trong các lô GPU, tải xuống song song và các cấu hình GPU và worker được chọn theo thực nghiệm. Bài viết trình bày kiến trúc và các bước tối ưu hóa để người khác có thể xây dựng các dịch vụ tương tự.

2 tháng 7, 2025Thứ Tư
  1. Modal Blog40

    Modal đã dùng Evals và mở rộng compute tại thời điểm suy luận như thế nào để tạo ra Mã QArt có thể quét được

    Modal đã dùng evals và mở rộng compute tại thời điểm suy luận để cải thiện hệ thống mã QArt của mình, nâng tỷ lệ quét QR lên mục tiêu cấp dịch vụ 95% đồng thời cải thiện chất lượng thẩm mỹ và trả mã trong dưới 20 giây ở p95. Công trình này theo đúng quy trình ML tiêu chuẩn là thu thập đánh giá của con người, căn chỉnh theo các đánh giá đó, rồi mở rộng quy mô, giải quyết khoảng trống "nó chạy được trên prompt của tôi" khiến nhiều mã QR được tạo ra không thể quét được.

30 tháng 6, 2025Thứ Hai
  1. Modal Blog28

    Quora sử dụng Modal để chạy hàng nghìn hộp cát Python cùng lúc như thế nào

    Quora sử dụng Modal Sandboxes để thực thi an toàn mã do LLM tạo ra trong Poe, nền tảng chatbot AI của mình, đưa tính năng này ra mắt sớm hơn nhiều tháng so với việc tự xây dựng nội bộ. Nhóm đã kiểm tra tải thông lượng tạo Sandbox lên tới 1000 sandbox mỗi giây và báo cáo tiết kiệm thời gian bảo trì hạ tầng liên tục tương đương 2 kỹ sư.

24 tháng 6, 2025Thứ Ba
  1. Vapi Blog22

    Mistral vs Llama 3: So sánh đầy đủ cho các ứng dụng AI giọng nói

    Mistral và Llama 3 khác biệt về triết lý cho AI giọng nói: các mô hình Mistral từ 7B đến Mistral Small 3.1 (24B) ưu tiên hiệu quả độ trễ thấp, trong khi Llama 3 mở rộng từ 8B đến 70B để có khả năng suy luận mạnh hơn và phạm vi đa ngôn ngữ rộng hơn. Mistral Small 3.1 đạt thời gian đến token đầu tiên 0,29 giây với 150-166 token mỗi giây, và Mistral Small 24B vượt Llama 3.1 8B Instruct trên ARC-C, GPQA và MMLU, trong khi Llama 3.1 405B đạt 85,2% trên MMLU và 96,8% trên GSM8K.

23 tháng 6, 2025Thứ Hai
  1. Vapi Blog22

    8 lựa chọn thay thế Azure cho Voice AI STT trên Vapi

    Vapi hiện cung cấp tám nhà cung cấp speech-to-text — Gladia, AssemblyAI, Deepgram, Cartesia, Talkscriber, OpenAI, Speechmatics và ElevenLabs — như các lựa chọn thay thế Azure cho voice agent. Việc chuyển nhà cung cấp chỉ cần thay đổi một tham số JSON, cho phép nhà phát triển đánh giá độ trễ, chi phí và tuân thủ. Gladia tuyên bố độ trễ end-to-end dưới 100 ms, AssemblyAI tích hợp tóm tắt và che giấu PII trong một lệnh gọi API, và Cartesia chạy hoàn toàn on-premises.

19 tháng 6, 2025Thứ Năm
  1. Vapi Blog22

    Gemini Flash và Pro: So sánh các LLM mới nhất của Google

    Gemini 2.5 Flash và 2.5 Pro của Google khác nhau chủ yếu ở tốc độ so với độ sâu suy luận, cả hai đều cung cấp cửa sổ ngữ cảnh 1M token và khả dụng gốc trong Vapi cho các tác nhân thoại. Flash trả về token đầu tiên trong 0,21–0,37 giây với tốc độ 163 token mỗi giây và có giá $0,15/$0,60 cho mỗi triệu token đầu vào/đầu ra, trong khi Pro có giá $1,25/$10 và bổ sung chế độ Deep Think, với cửa sổ 2M token đang được lên kế hoạch.

18 tháng 6, 2025Thứ Tư
  1. Modal Blog58

    Modal cho thấy cách chạy FLUX.1-dev nhanh gấp ba lần

    Các kỹ sư của Modal mô tả việc làm cho FLUX.1-dev của Black Forest Labs chạy nhanh khoảng ba lần dưới dạng dịch vụ tự động mở rộng, rút ngắn thời gian tạo ảnh 1024x1024 từ khoảng 6,75 giây xuống dưới ba giây. Các tối ưu hóa tiêu chuẩn, cụ thể là trình biên dịch Torch với max-autotune, fused QKV attention và bố cục bộ nhớ channels-last, mang lại khoảng 1,5 lần, trong khi First Block Caching từ kho ParaAttention, dựa trên bài báo TEACache, tăng thêm 2 lần nữa ở ngưỡng 0,12. Compile cache và Modal Memory Snapshots giảm độ trễ khởi động nguội xuống 30 lần.

  2. Vapi Blog18

    Năm cách nhân viên bất động sản có thể sử dụng AI

    Một hướng dẫn nêu ra năm cách nhân viên bất động sản có thể sử dụng AI, bao gồm các tác nhân thoại được xây dựng trên Vapi để trả lời cuộc gọi, sàng lọc khách hàng tiềm năng và đặt lịch xem nhà suốt ngày đêm. Hướng dẫn cũng đề cập đến việc tự động hóa nội dung với ChatGPT và Canva, cùng các công cụ định giá bằng AI như HouseCanary và CoreLogic tạo ra định giá kèm điểm tin cậy.

17 tháng 6, 2025Thứ Ba
  1. Vapi Blog38

    Deepgram Nova-3 so với Nova-2: Công cụ STT đã tiến hóa như thế nào

    Nova-3 của Deepgram giảm tỷ lệ lỗi từ trong chế độ streaming từ 8,4% của Nova-2 xuống 6,84% và đạt WER batch 5,26%, tức giảm 54,3% lỗi streaming. Nova-3 thay thế các mô hình chuyên biệt theo lĩnh vực riêng biệt của Nova-2 bằng một mạng duy nhất có thể thích ứng và bổ sung khả năng xử lý hội thoại đa ngôn ngữ theo thời gian thực, tối đa 100 thuật ngữ tùy chỉnh tự phục vụ mà không cần huấn luyện lại, và che giấu thông tin cho tối đa 50 thực thể. Cả hai mô hình đều chạy gốc trên Vapi với các endpoint giống hệt nhau, nên việc chuyển đổi chỉ là thay đổi tham số, mặc dù Nova-3 nằm ở mức giá cao cấp của Deepgram.

4 tháng 6, 2025Thứ Tư
  1. Vapi Blog35

    ElevenLabs vs OpenAI TTS: Cái nào phù hợp với bạn?

    ElevenLabs Flash v2.5 đạt độ trễ âm thanh đầu tiên 75ms so với 200ms của OpenAI, trong khi OpenAI tính phí 15 USD mỗi triệu ký tự so với gói hàng tháng 5–1.320 USD của ElevenLabs. ElevenLabs cung cấp hơn 3.000 giọng nói với tính năng nhân bản và độ chính xác từ 82%, so với 11 giọng nói cố định của OpenAI ở mức 77%. Cả hai nhà cung cấp TTS đều được tích hợp vào Vapi để kiểm thử trực tiếp.

  2. Vapi Blog22

    Ba ví dụ về AI giọng nói cải thiện ngành logistics

    Vapi phác thảo ba trường hợp sử dụng AI giọng nói trong logistics: ShipEX sử dụng trí tuệ giọng nói trên 350 xe tải để định tuyến cảnh báo bảo trì và báo cáo tai nạn, hệ thống nhặt hàng bằng giọng nói của Idaho State Liquor Division tăng tỷ lệ nhặt hàng lên 35%, và các kỹ thuật viên bảo trì ghi lại sự cố bằng giọng nói để tự động tạo lệnh công việc CMMS. Bài viết cũng trình bày chi tiết tích hợp API với các hệ thống TMS, CRM và WMS cùng các cân nhắc triển khai.

29 tháng 5, 2025Thứ Năm
  1. Vapi Blog25

    Lựa chọn giữa các mô hình Gemini cho AI giọng nói

    Vapi phác thảo cách chọn trong bốn mô hình Gemini cho tác nhân giọng nói: Gemini 1.0 Pro cho các luồng có thể dự đoán và thân thiện với tuân thủ với giá 0,50 đô la đầu vào và 2,00 đô la đầu ra trên mỗi triệu token, Gemini 1.5 Flash cho khối lượng công việc cao với cửa sổ ngữ cảnh 1 triệu token, Gemini 1.5 Pro cho suy luận sâu với cửa sổ 2 triệu token và độ chính xác truy xuất ngữ cảnh dài 99,7%, và Gemini 2.0 Flash cho gọi công cụ gốc.

28 tháng 5, 2025Thứ Tư
  1. Vapi Blog30

    DeepSeek R1 và V3 dành cho nhà phát triển Voice AI

    DeepSeek V3 xử lý nhiều hơn 47% token mỗi giây so với R1 với giá 0,28 USD cho mỗi triệu token đầu ra, trong khi R1 có giá 2,19 USD cho mỗi triệu token và chạy các vòng lập luận nội bộ cho các tác vụ khó hơn. R1 đạt 97,3% trên MATH-500 và 79,8% trên AIME 2024, so với 90,2% và 39,2% của V3. Hầu hết các nhóm định tuyến 80-90% truy vấn đơn giản đến V3 và gửi công việc lập luận phức tạp đến R1.

26 tháng 5, 2025Thứ Hai
  1. Vapi Blog10

    Giới thiệu về SRTP: Giao thức truyền tải thời gian thực an toàn

    SRTP bảo vệ các luồng thoại và video RTP bằng cách thêm tải trọng được mã hóa, thẻ xác thực và định danh khóa chính vào mỗi gói phương tiện. Nó chủ yếu dựa vào chế độ đếm AES và thẻ xác thực HMAC-SHA1, với số thứ tự ngăn chặn các cuộc tấn công phát lại, và kết hợp với DTLS-SRTP hoặc SDES để trao đổi khóa. SRTP được định vị là một lựa chọn lớp ứng dụng có chi phí thấp hơn cho truyền thông thời gian thực, với GDPR, HIPAA và CPRA được nêu là các động lực tuân thủ.

  2. Vapi Blog18

    Tệp Env và Biến Môi Trường cho các Dự án Voice AI

    Hướng dẫn sử dụng tệp .env và cấu hình môi trường trong các dự án voice AI, bao gồm thiết lập dotenv cho Node.js và Python, thêm .env vào .gitignore, và các khóa riêng cho Vapi như VAPI_API_KEY và VAPI_PROJECT_ID. Bài viết trích dẫn phát hiện của GitGuardian về 12,8 triệu bí mật bị rò rỉ trên GitHub trong năm 2023, tăng 28%, và khuyến nghị tách riêng tệp env cho từng môi trường cùng các công cụ như git-crypt, SOPS, AWS Secrets Manager và HashiCorp Vault.

23 tháng 5, 2025Thứ Sáu
  1. Vapi Blog18

    Amazon Lex vs Dialogflow: Hướng dẫn so sánh nền tảng đầy đủ

    Amazon Lex phù hợp với các đội ngũ đã dùng AWS và cần tích hợp chặt chẽ với các dịch vụ Amazon, trong khi Dialogflow cung cấp hỗ trợ ngôn ngữ rộng hơn và đường cong học tập dễ dàng hơn cho người mới. Lex sử dụng công nghệ của Alexa với giá trả theo mức sử dụng, bao gồm gói miễn phí 10.000 yêu cầu văn bản và 5.000 yêu cầu giọng nói mỗi tháng trong năm đầu tiên, và Dialogflow hỗ trợ hơn 30 ngôn ngữ với các agent dựng sẵn và phân tích cảm xúc.

  2. Vapi Blog8

    Làm chủ biến môi trường cho tích hợp Vapi Voice AI

    Hướng dẫn của Vapi giải thích cách cấu hình biến môi trường cho tích hợp Voice AI của mình, bao gồm biến tạm thời và vĩnh viễn, biến cấp người dùng và cấp hệ thống. Hướng dẫn chi tiết cách thiết lập trên Windows, macOS và Linux với các ví dụ dành riêng cho Vapi như VAPI_API_KEY và VAPI_MULTILINGUAL_SUPPORT, cùng các thực hành tốt nhất về đặt tên và bảo mật như không bao giờ mã hóa cứng khóa API.

22 tháng 5, 2025Thứ Năm
  1. Vapi Blog20

    10 công cụ chuyển giọng nói thành văn bản y tế mã nguồn mở tốt nhất

    Một hướng dẫn xếp hạng 10 mô hình chuyển giọng nói thành văn bản mã nguồn mở cho sử dụng lâm sàng, được đánh giá dựa trên độ chính xác thời gian thực, khả năng xử lý thuật ngữ y khoa, độ tin cậy vận hành và bảo mật dữ liệu. Danh sách bao gồm Vosk, DeepSpeech, SpeechBrain, OpenAI Whisper và ESPnet, được ghép với các bối cảnh như phòng khám nông thôn ít nguồn lực, bệnh viện đa ngôn ngữ và trung tâm nghiên cứu nhiều thuật ngữ. Tất cả đều có thể tích hợp với nền tảng AI giọng nói không phụ thuộc mô hình của Vapi.

7 tháng 5, 2025Thứ Tư
  1. Modal Blog36

    Bộ giải tài nguyên quy hoạch tuyến tính của Modal cho công suất GPU và chênh lệch giá đám mây

    Modal đã xây dựng một "bộ giải tài nguyên" sử dụng quy hoạch tuyến tính và thuật toán đơn hình để quyết định bật hoặc tắt những phiên bản đám mây nào, đáp ứng nhu cầu GPU với mức giá có thể dự đoán được. Hệ thống này cũng tận dụng chênh lệch giá tạm thời, chẳng hạn hàng trăm GPU H200 với giá thấp hơn 20% so với mức giá hiện hành của H100, tiết kiệm hàng triệu đô la mỗi năm.

18 tháng 4, 2025Thứ Sáu
  1. Modal Blog22

    sync. sử dụng Modal để lipsync 100 giờ video mỗi ngày như thế nào

    sync. đang sử dụng Modal để lipsync hơn 100 giờ video mỗi ngày, chia video dài thành các cảnh để chạy nhận diện khuôn mặt và dịch trên n container GPU T4 trước khi chuyển từng cảnh đến mô hình LipSync GenAI độc quyền của mình trên A100. Nhóm triển khai tới 95 lần mỗi ngày và đưa 10 biến thể mô hình chính vào production trong một năm, sau khi chuyển khỏi nguyên mẫu Google Colab và AWS Lambda.

1 tháng 4, 2025Thứ Ba
  1. Vapi Blog20

    Mở rộng quy mô tiếp nhận khách hàng với Vapi Voice AI Agents: Nghiên cứu điển hình của một nhà tư vấn

    Nhà tư vấn Christian Ulstrup của GSD at Work đã sử dụng Vapi voice AI agents để thay thế các cuộc gọi khám phá theo lịch hẹn bằng một hệ thống tiếp nhận bằng giọng nói bất đồng bộ cho các hội thảo AI Action Sessions của mình. Người tham gia gọi đến một đường dây điện thoại Vapi chuyên dụng vào thời điểm thuận tiện của họ, và bản ghi chép cùng các bản tóm tắt do AI tạo ra sẽ được chuyển vào Slack qua Zapier và được ghi lại trong HubSpot. Đối với một khách hàng gần đây, 20 người tham gia trên toàn cầu đã đóng góp hơn 3 giờ khám phá, và buổi hội thảo đã đạt được đánh giá 5 trên 5.

24 tháng 2, 2025Thứ Hai
  1. Modal Blog40

    Hướng dẫn tổng quan về mức sử dụng GPU: cấp phát, kernel và mức sử dụng Model FLOP/s

    Modal đã công bố một hướng dẫn phân biệt ba thứ thường được gọi là "mức sử dụng GPU": Mức sử dụng cấp phát GPU (số giây GPU chạy mã ứng dụng trên số giây GPU đã trả tiền), Mức sử dụng kernel GPU (tỷ lệ thời gian chạy mã trên GPU), và Mức sử dụng Model FLOP/s (phần băng thông số học lý thuyết được sử dụng). Hướng dẫn tập trung vào khối lượng công việc suy luận mạng nơ-ron, mà Modal gọi là trung tâm doanh thu thay vì trung tâm chi phí.

10 tháng 12, 2024Thứ Ba
  1. Modal Blog30

    LLM fine-tuning là gì? Hướng dẫn về các kỹ thuật và công cụ

    Fine-tuning điều chỉnh trọng số của LLM đã được huấn luyện trước để phù hợp với một tác vụ hoặc lĩnh vực cụ thể, mang lại chất lượng cao hơn so với prompt engineering với chi phí và độ trễ thấp hơn; một Llama 7B đã fine-tune có thể tiết kiệm chi phí hơn khoảng 50 lần trên mỗi token so với GPT-3.5 với hiệu suất tương đương. Hướng dẫn bao gồm các trường hợp sử dụng như đầu ra có cấu trúc, tuân thủ phong cách và hướng dẫn theo lĩnh vực cụ thể, cùng các lựa chọn bao gồm OpenAI, Predibase, Modal, Google Colab và AWS SageMaker, và các framework HuggingFace transformers, TRL và Axolotl.

20 tháng 11, 2024Thứ Tư
  1. Modal Blog25

    OpenArt mở rộng quy mô nền tảng nghệ thuật AI tạo sinh trên hàng trăm GPU với Modal như thế nào

    OpenArt đã triển khai các quy trình ComfyUI độc quyền của mình trên Modal, rút ngắn thời gian triển khai từ hàng giờ trên AWS và GCP xuống còn vài phút và tự động mở rộng lên hàng trăm container GPU. Modal hiện vận hành hơn 100 quy trình trên nền tảng, phục vụ hơn 3 triệu người dùng hoạt động hàng tháng.

24 tháng 9, 2024Thứ Ba
  1. Modal Blog22

    Tìm kiếm kết hợp trên nhúng vệ tinh California với Modal, MongoDB và Clay

    Một ứng dụng demo thực hiện tìm kiếm kết hợp trên toàn bang California bằng dấu thời gian, dữ liệu định vị địa lý và nhúng ảnh vệ tinh từ mô hình nền tảng Clay v1. Modal điều phối các truy vấn API Sentinel hàng ngày, lưu trữ MongoDB Atlas và suy luận nhúng trên GPU A10, với giao diện frontend Alpine JS nhỏ được phục vụ qua FastAPI.

18 tháng 9, 2024Thứ Tư
  1. Modal Blog20

    Contextual AI đã tự động hóa CI với GPU Modal như thế nào

    Contextual AI đã tự động hóa và song song hóa quy trình tích hợp liên tục (CI) dựa trên GPU của mình trên Modal, thay thế các lần chạy thử thủ công trên các node GPU nội bộ. Một GitHub Action kích hoạt một Modal Function với nhiều GPU được gắn vào, và các bản dựng image được lưu trong bộ nhớ đệm cho phép các bài kiểm thử bắt đầu trong vòng 30 giây kể từ khi gửi job. Modal tính phí theo mức sử dụng, vì vậy 99% những gì được tính phí là thời gian chạy thử thực tế.

5 tháng 8, 2024Thứ Hai
  1. Modal Blog62

    Modal tái lập Large Language Monkeys: LLaMA 3.1 8B sánh ngang GPT-4o trên HumanEval nhờ tìm kiếm

    Charles Frye của Modal đã tái lập tuyên bố cốt lõi của bài báo Large Language Monkeys trên một bộ dữ liệu mới, cho thấy việc lấy mẫu lặp lại nâng LLaMA 3.1 8B từ 66,4% pass@1 lên 90,5% pass@100 và 95,1% pass@1000 trên HumanEval, so với 90,2% pass@1 được báo cáo của GPT-4o. Các lần chạy sử dụng vLLM trên GPU không máy chủ của Modal và Modal Sandboxes để thực thi kiểm thử song song, tốn kém dưới 50 USD, và cho thấy khả năng mở rộng mượt mà, có thể dự đoán được qua ba bậc độ lớn.

    Vì sao đáng chú ý: Một bản tái lập thực hành cho thấy cách lấy mẫu lặp lại với một mô hình mở nhỏ có thể tiến gần GPT-4o trên HumanEval, mang lại một công thức cụ thể, chi phí thấp để đánh đổi tính toán lấy độ chính xác.

20 tháng 6, 2024Thứ Năm
  1. Modal Blog25

    Chạy tác vụ GPU từ Airflow với Modal

    Modal giờ đây có thể được kích hoạt trực tiếp từ một DAG của Airflow, cho phép các nhóm chạy các tác vụ AI/ML dùng GPU mà không cần thiết lập Celery hay Kubernetes executor. Hướng dẫn bao gồm việc cài đặt Modal trong môi trường Airflow, thiết lập MODAL_TOKEN_ID và MODAL_TOKEN_SECRET, và hai cách tiếp cận: gọi các Modal Function đã triển khai thông qua lookup, hoặc xây dựng một operator tùy chỉnh chạy Python trong Modal Sandboxes. Một gói Airflow provider cho Modal đang được phát triển.