Tới nội dung
Chỉ Chính chủ#Suy luận
18 tháng 11, 2025Thứ Ba
  1. Modal Blog36

    Blog Modal: Chi phí vận hành máy chủ đang giết chết hiệu quả suy luận của bạn

    Blog của Modal giải thích cách chi phí vận hành máy chủ—những khoảng trống khi GPU ngồi không chờ CPU chuẩn bị công việc—thể hiện qua mức sử dụng nhân GPU thấp trong suy luận AI. Với 50% chi phí vận hành máy chủ, chi phí suy luận trên GPU cao gấp 2 lần so với mức có thể. Bài viết trình bày chi tiết các giải pháp được dùng trong các engine suy luận mã nguồn mở trong môi trường production, bao gồm việc xây dựng tensor ngay trên thiết bị thay vì truyền chúng và giảm các lần khởi chạy nhân CUDA không cần thiết.

13 tháng 11, 2025Thứ Năm
  1. Modal Blog40

    Decagon đã triển khai AI giọng nói thời gian thực trên Modal như thế nào

    Decagon và Modal đã hợp tác để xây dựng Decagon Voice 2.0, giảm độ trễ 65% đồng thời cải thiện nhận diện ý định và chất lượng phản hồi. Decagon đã tinh chỉnh các mô hình mã nguồn mở nhỏ gọn bằng SFT và RL để vượt qua các mô hình tiên tiến lớn hơn, trong khi Modal huấn luyện một mô hình nháp EAGLE3 tùy chỉnh với độ dài chấp nhận cao hơn 38% và tái thiết kế SGLang với bộ lập lịch giải mã suy đoán bất đồng bộ, tăng thông lượng lên tới 12%.

26 tháng 9, 2025Thứ Sáu
  1. Modal Blog60

    Kỹ sư Modal phân tích ngược cách Flash Attention 4 hoạt động

    Các kỹ sư Modal đã đọc mã nguồn Flash Attention 4 được phát hành và phân tích ngược cách kernel attention tối ưu cho Blackwell hoạt động, do chưa có báo cáo kỹ thuật chính thức. Bài viết theo dõi một tile đi qua pipeline bất đồng bộ chuyên biệt theo warp của kernel và trình bày chi tiết hai thủ thuật toán học: một hàm mũ phần mềm dạng đa thức bậc ba có thể thay thế phép lũy thừa dựa trên SFU, và một quy tắc tái chuẩn hóa online softmax thông minh hơn mà Tri Dao cho biết giảm số lần hiệu chỉnh xuống 10 lần. FA4 được báo cáo là nhanh hơn khoảng 20% so với các kernel attention cudnn mã nguồn đóng của Nvidia, và phiên bản backwards chưa có sẵn tại thời điểm viết bài.

    Vì sao đáng chú ý: Các kỹ sư Modal đã đọc mã nguồn Flash Attention 4 được phát hành và giải thích pipeline chuyên biệt theo warp cùng hai thủ thuật toán học của nó, mang lại góc nhìn có thể chuyển giao về hướng phát triển của thiết kế kernel CUDA.

30 tháng 7, 2025Thứ Tư
  1. Modal Blog60

    Modal ra mắt ảnh chụp nhanh bộ nhớ GPU cho khởi động nguội serverless dưới một giây

    Modal công bố ảnh chụp nhanh bộ nhớ GPU ở dạng alpha, mở rộng hệ thống checkpoint/restore hiện có để ghi lại vRAM GPU, nhân CUDA, luồng và ngữ cảnh, nhờ đó các khối lượng công việc GPU khôi phục từ trạng thái đóng băng thay vì xây dựng lại trạng thái CUDA sau khi khởi động.

    Vì sao đáng chú ý: Modal bổ sung trạng thái GPU vào ảnh chụp nhanh bộ nhớ, cắt giảm khởi động nguội cho các khối lượng công việc torch.compile và vLLM tới 10 lần và giúp scale-to-zero thực tế hơn.

16 tháng 7, 2025Thứ Tư
  1. Modal Blog30

    Đô la trên mỗi token bị coi là có hại: vì sao suy luận LLM tự vận hành nên được định giá theo yêu cầu

    Một bài đăng trên Modal Blog lập luận rằng cách định giá "đô la trên mỗi token", vốn được kế thừa từ các nhà cung cấp API như OpenAI, Anthropic và Alphabet, thực sự có hại cho các nhóm vận hành suy luận LLM tự triển khai. Bài viết cho rằng người dùng ứng dụng quan tâm đến yêu cầu chứ không phải token, và cần cách diễn đạt theo mỗi yêu cầu để lý giải về độ trễ, số lượng bản sao và chi phí tính toán.

11 tháng 7, 2025Thứ Sáu
  1. Modal Blog40

    Cập nhật sản phẩm Modal: Cụm huấn luyện đa nút, GPU B200 và H200, và Client 1.0

    Modal đã ra mắt cụm huấn luyện đa nút ở dạng beta, cho phép người dùng tận dụng hàng chục GPU trên nhiều máy chủ bằng cách thêm decorator @clustered, với kết nối liên kết Infiniband RDMA 3,2 Tbps để mở rộng gần như tuyến tính. Nền tảng hiện cung cấp GPU NVIDIA B200 và H200 theo dạng serverless với giá lần lượt là 6,25 USD/giờ và 4,54 USD/giờ, tuyên bố suy luận LLM nhanh hơn 2-4 lần so với H100. Modal cũng phát hành Client 1.0, nhấn mạnh tính ổn định của API, cùng các cập nhật bao gồm phương thức Volume chỉ đọc và hỗ trợ múi giờ cho lịch Cron.

24 tháng 6, 2025Thứ Ba
  1. Vapi Blog22

    Mistral vs Llama 3: So sánh đầy đủ cho các ứng dụng AI giọng nói

    Mistral và Llama 3 khác biệt về triết lý cho AI giọng nói: các mô hình Mistral từ 7B đến Mistral Small 3.1 (24B) ưu tiên hiệu quả độ trễ thấp, trong khi Llama 3 mở rộng từ 8B đến 70B để có khả năng suy luận mạnh hơn và phạm vi đa ngôn ngữ rộng hơn. Mistral Small 3.1 đạt thời gian đến token đầu tiên 0,29 giây với 150-166 token mỗi giây, và Mistral Small 24B vượt Llama 3.1 8B Instruct trên ARC-C, GPQA và MMLU, trong khi Llama 3.1 405B đạt 85,2% trên MMLU và 96,8% trên GSM8K.

19 tháng 6, 2025Thứ Năm
  1. Vapi Blog22

    Gemini Flash và Pro: So sánh các LLM mới nhất của Google

    Gemini 2.5 Flash và 2.5 Pro của Google khác nhau chủ yếu ở tốc độ so với độ sâu suy luận, cả hai đều cung cấp cửa sổ ngữ cảnh 1M token và khả dụng gốc trong Vapi cho các tác nhân thoại. Flash trả về token đầu tiên trong 0,21–0,37 giây với tốc độ 163 token mỗi giây và có giá $0,15/$0,60 cho mỗi triệu token đầu vào/đầu ra, trong khi Pro có giá $1,25/$10 và bổ sung chế độ Deep Think, với cửa sổ 2M token đang được lên kế hoạch.

30 tháng 5, 2025Thứ Sáu
  1. Modal Blog42

    Modal bổ sung GPU Nvidia B200 và H200 với giá 6,25 và 4,54 đô la mỗi giờ

    Modal hiện cung cấp GPU Nvidia B200 và H200 cho mọi chủ tài khoản mà không cần liên hệ bộ phận kinh doanh hay yêu cầu hạn ngạch, với giá lần lượt 6,25 đô la/giờ và 4,54 đô la/giờ. B200 có 180 GB bộ nhớ HBM3e và băng thông 8 TB/s, và trong thử nghiệm vLLM của Modal chạy DeepSeek V3 ở độ chính xác 8-bit, 8xB200 giảm thời gian đến token đầu tiên trung vị 2,5 lần so với 8xH200 ở 1 yêu cầu mỗi giây.

28 tháng 5, 2025Thứ Tư
  1. Vapi Blog30

    DeepSeek R1 và V3 dành cho nhà phát triển Voice AI

    DeepSeek V3 xử lý nhiều hơn 47% token mỗi giây so với R1 với giá 0,28 USD cho mỗi triệu token đầu ra, trong khi R1 có giá 2,19 USD cho mỗi triệu token và chạy các vòng lập luận nội bộ cho các tác vụ khó hơn. R1 đạt 97,3% trên MATH-500 và 79,8% trên AIME 2024, so với 90,2% và 39,2% của V3. Hầu hết các nhóm định tuyến 80-90% truy vấn đơn giản đến V3 và gửi công việc lập luận phức tạp đến R1.

24 tháng 2, 2025Thứ Hai
  1. Modal Blog40

    Hướng dẫn tổng quan về mức sử dụng GPU: cấp phát, kernel và mức sử dụng Model FLOP/s

    Modal đã công bố một hướng dẫn phân biệt ba thứ thường được gọi là "mức sử dụng GPU": Mức sử dụng cấp phát GPU (số giây GPU chạy mã ứng dụng trên số giây GPU đã trả tiền), Mức sử dụng kernel GPU (tỷ lệ thời gian chạy mã trên GPU), và Mức sử dụng Model FLOP/s (phần băng thông số học lý thuyết được sử dụng). Hướng dẫn tập trung vào khối lượng công việc suy luận mạng nơ-ron, mà Modal gọi là trung tâm doanh thu thay vì trung tâm chi phí.

28 tháng 1, 2025Thứ Ba
  1. Modal Blog62

    Modal bổ sung tính năng chụp nhanh bộ nhớ để giảm thời gian khởi động nguội của serverless xuống 2,5 lần

    Modal đã giới thiệu tính năng khôi phục từ ảnh chụp nhanh bộ nhớ cho môi trường chạy container GPU serverless của mình, mà họ cho biết giúp thời gian khởi động nguội nhanh hơn khoảng 2,5 lần so với khởi động container tiêu chuẩn. Một Function suy luận Stable Diffusion thường mất khoảng 13 giây nay khôi phục trong 3,5 giây, và một chương trình import torch đơn giản giảm từ khoảng 5 giây xuống còn khoảng 1,05 giây ở p50 và 0,69 giây ở p0. Ảnh chụp nhanh được xây dựng trên tính năng checkpoint/restore của gVisor và được tạo theo yêu cầu, với tự động chuyển sang khởi động container tiêu chuẩn khi khôi phục thất bại; trạng thái GPU chưa được lưu, nên phải xây dựng lại sau khi khôi phục.

    Vì sao đáng chú ý: Modal giải thích cách ảnh chụp nhanh bộ nhớ dựa trên gVisor giảm thời gian khởi động nguội của serverless, với thời gian khôi phục cụ thể cho một Function Stable Diffusion và một ví dụ import torch.

19 tháng 12, 2024Thứ Năm
  1. Modal Blog25

    Modal bổ sung GPU NVIDIA L40S cho suy luận AI với giá $1,95/giờ

    Modal hiện cung cấp GPU NVIDIA L40S cho tất cả người dùng với giá $1,95/giờ, được định vị là lựa chọn thay thế nhanh hơn, bộ nhớ lớn hơn cho bộ tăng tốc suy luận phổ biến nhất của mình, A10. L40S tăng gấp đôi RAM GPU lên 48GB, cho phép các mô hình như Flux.1-schnell chạy ở độ chính xác 16bit trên một GPU duy nhất, và mang lại tốc độ nhanh hơn khoảng 40% đối với các tác vụ bị giới hạn bởi bộ nhớ và hơn 100% đối với các tác vụ bị giới hạn bởi tính toán 16bit Tensor Core.

16 tháng 9, 2024Thứ Hai
  1. Modal Blog38

    Modal bổ sung dynamic batching gốc, tăng thông lượng Whisper 2,8 lần

    Modal đã bổ sung hỗ trợ dynamic batching gốc, cho phép các hàm inference nhóm yêu cầu thông qua một decorator @modal.batched() duy nhất với các tham số max_batch_size và wait_ms. Trên Whisper large v3 của OpenAI chạy trên A10G, max_batch_size là 64 đã nâng thông lượng từ ~1,2 lên ~3,3 yêu cầu mỗi giây trên mỗi container và giảm 65% chi phí inference.

5 tháng 8, 2024Thứ Hai
  1. Modal Blog62

    Modal tái lập Large Language Monkeys: LLaMA 3.1 8B sánh ngang GPT-4o trên HumanEval nhờ tìm kiếm

    Charles Frye của Modal đã tái lập tuyên bố cốt lõi của bài báo Large Language Monkeys trên một bộ dữ liệu mới, cho thấy việc lấy mẫu lặp lại nâng LLaMA 3.1 8B từ 66,4% pass@1 lên 90,5% pass@100 và 95,1% pass@1000 trên HumanEval, so với 90,2% pass@1 được báo cáo của GPT-4o. Các lần chạy sử dụng vLLM trên GPU không máy chủ của Modal và Modal Sandboxes để thực thi kiểm thử song song, tốn kém dưới 50 USD, và cho thấy khả năng mở rộng mượt mà, có thể dự đoán được qua ba bậc độ lớn.

    Vì sao đáng chú ý: Một bản tái lập thực hành cho thấy cách lấy mẫu lặp lại với một mô hình mở nhỏ có thể tiến gần GPT-4o trên HumanEval, mang lại một công thức cụ thể, chi phí thấp để đánh đổi tính toán lấy độ chính xác.

26 tháng 5, 2024Chủ Nhật
  1. Cursor Changelog40

    Cursor phác thảo các vấn đề lập trình AI giai đoạn tiếp theo: Dự đoán hành động, Chỉnh sửa hoàn hảo, Ngữ cảnh tối ưu

    Cursor đã công bố bài viết tiếp nối cho bài đăng "Problems" gốc của mình, liệt kê các câu hỏi nghiên cứu mà công ty coi là quan trọng nhất đối với giai đoạn tiếp theo của lập trình AI. Công ty đã mở rộng Copilot++ để dự đoán vị trí con trỏ tiếp theo, và kết hợp điều đó với dự đoán chỉnh sửa tiếp theo cho phép mô hình "chơi" chuỗi các thay đổi có độ hỗn loạn thấp—một bản demo cần 11 lần nhấn Tab so với 3 lần nhấn mọi phím khác, mà Cursor gọi là Cursor Flow. Các hướng khác bao gồm dự đoán hành động trên toàn bộ cơ sở mã, chỉnh sửa hoàn hảo thông qua nhiều tính toán suy luận hơn, mã giả ảo giác, chỉnh sửa nhiều tệp, ngữ cảnh tối ưu, ngữ cảnh đa bước, và phát hiện lỗi và gỡ lỗi.

21 tháng 7, 2023Thứ Sáu
  1. Cursor Changelog62

    Cursor phân tích chi phí và độ trễ suy luận của Llama-2-70B so với GPT-3.5

    Cursor đã đo suy luận Llama-2-70B trên 2 GPU A100 80 GB và phát hiện nó rẻ hơn GPT-3.5 hơn 3 lần đối với token prompt nhưng đắt hơn nhiều đối với token được sinh ra ở kích thước batch nhỏ. Chi phí xử lý prompt khoảng $0,00042 mỗi 1K token so với $0,0015 của GPT-3.5, trong khi sinh đạt $0,066 mỗi 1K token ở batch size 1 và chỉ tiến gần mức giá GPT-3.5 ở batch lớn, khiến thời gian đến token đầu tiên tăng lên vài giây. Cursor khuyến nghị dùng mô hình mã nguồn mở cho các tác vụ nặng về prompt như phân loại và xếp hạng lại, và dùng API đóng cho các khối lượng công việc nặng về sinh.

    Vì sao đáng chú ý: Dữ liệu chi phí và độ trễ được Cursor đo cho thấy khi nào tự vận hành Llama-2-70B tốt hơn GPT-3.5 và khi nào không, mang lại một khung có thể tái sử dụng cho các quyết định phục vụ mô hình mã nguồn mở.