Modal đã phân tích bộ lập lịch của SGLang trên một khối lượng công việc đa phương thức và thay thế việc ghi sổ lặp lại các handle CUDA IPC bằng một bộ đệm dict Python đơn giản, nâng thông lượng 16,2% và giảm TTFT trung bình 13,2% cùng TPOT 17,2% trên Qwen2.5-VL-3B-Instruct chạy trên H100. Bản sửa lỗi đã được hợp nhất trong SGLang v0.5.10.
AE Studio trình bày chi tiết cách họ huấn luyện LLM chứng minh các định lý toán học bằng học tăng cường trên Modal, so sánh Evolution Strategies với GRPO trong khi giữ nguyên vòng lặp huấn luyện. Thiết lập này chạy suy luận vLLM trên GPU, xác minh trình biên dịch Lean trong các sandbox CPU cô lập, và một bộ điều phối nhẹ, sử dụng image theo từng hàm, .map() fan-out, và Volumes cho trọng số cơ sở.
GRASP là một bộ lập kế hoạch dựa trên gradient mới cho các mô hình thế giới đã học, giúp việc lập kế hoạch tầm xa trở nên khả thi bằng cách nâng quỹ đạo lên thành các trạng thái ảo để tối ưu hóa song song theo thời gian, thêm tính ngẫu nhiên vào các lần lặp trạng thái để khám phá, và định hình lại gradient để các hành động nhận được tín hiệu rõ ràng trong khi tránh gradient trạng thái-đầu vào dễ vỡ thông qua các mô hình thị giác đa chiều. Công trình giải quyết các đồ thị tính toán điều kiện kém, cực tiểu cục bộ không tham lam, và các chế độ thất bại tiềm ẩn đa chiều khiến việc lập kế hoạch tầm xa trở nên mong manh. Công trình được thực hiện với Mike Rabbat, Aditi Krishnapriyan, Yann LeCun và Amir Bar.
Các nhà nghiên cứu của Berkeley AI Research mô tả SPEX và ProxySPEX, những thuật toán xác định các tương tác có ảnh hưởng giữa đặc trưng, dữ liệu và thành phần mô hình trong LLM ở quy mô vượt xa các phương pháp trước đây. SPEX định hình lại việc tìm kiếm tương tác như bài toán khôi phục thưa sử dụng tính thưa và bậc thấp, trong khi ProxySPEX khai thác cấu trúc phân cấp để đạt kết quả tương đương SPEX với số lần ablation ít hơn khoảng 10 lần. Trong phân tích cảm xúc, SPEX đạt độ trung thực ngang với Faith-Shap và Faith-Banzhaf trên đầu vào ngắn và duy trì được điều đó khi ngữ cảnh mở rộng đến hàng nghìn đặc trưng.
Học liên tục gắn liền với chuyên môn hóa vì chi phí ghi nhớ tăng theo phạm vi: khi ngữ cảnh lớn lên, KV cache tăng tuyến tính và có thể vượt quá toàn bộ trọng số mô hình, nên thông tin phải chuyển từ cấp token vào trọng số. Chuyên môn hóa theo tác vụ về cơ bản đã được giải quyết qua các pipeline tinh chỉnh liên tục, trong khi khả năng ghi nhớ một lần với phạm vi rộng, phản hồi thưa vẫn là bài toán khó.
Reducto đã chuyển khối lượng công việc suy luận cho hơn 30 mô hình xử lý tài liệu của mình sang Modal, cắt giảm độ trễ P90 xuống 3 lần. Tính năng chụp nhanh bộ nhớ GPU đã giảm thời gian khởi động nguội 83%, từ ~70 giây xuống ~12 giây, trong khi các nhóm tự động mở rộng theo từng khách hàng cô lập các đợt tăng đột biến lưu lượng. Trong một bài kiểm tra tải, Reducto đã mở rộng quy mô pipeline tiếp nhận của mình lên hơn 1.000 GPU trong chưa đầy một giờ để chứng minh khả năng xử lý 100k trang mỗi phút.
Blog của Modal giải thích cách chi phí vận hành máy chủ—những khoảng trống khi GPU ngồi không chờ CPU chuẩn bị công việc—thể hiện qua mức sử dụng nhân GPU thấp trong suy luận AI. Với 50% chi phí vận hành máy chủ, chi phí suy luận trên GPU cao gấp 2 lần so với mức có thể. Bài viết trình bày chi tiết các giải pháp được dùng trong các engine suy luận mã nguồn mở trong môi trường production, bao gồm việc xây dựng tensor ngay trên thiết bị thay vì truyền chúng và giảm các lần khởi chạy nhân CUDA không cần thiết.
Decagon và Modal đã hợp tác để xây dựng Decagon Voice 2.0, giảm độ trễ 65% đồng thời cải thiện nhận diện ý định và chất lượng phản hồi. Decagon đã tinh chỉnh các mô hình mã nguồn mở nhỏ gọn bằng SFT và RL để vượt qua các mô hình tiên tiến lớn hơn, trong khi Modal huấn luyện một mô hình nháp EAGLE3 tùy chỉnh với độ dài chấp nhận cao hơn 38% và tái thiết kế SGLang với bộ lập lịch giải mã suy đoán bất đồng bộ, tăng thông lượng lên tới 12%.
Các kỹ sư Modal đã đọc mã nguồn Flash Attention 4 được phát hành và phân tích ngược cách kernel attention tối ưu cho Blackwell hoạt động, do chưa có báo cáo kỹ thuật chính thức. Bài viết theo dõi một tile đi qua pipeline bất đồng bộ chuyên biệt theo warp của kernel và trình bày chi tiết hai thủ thuật toán học: một hàm mũ phần mềm dạng đa thức bậc ba có thể thay thế phép lũy thừa dựa trên SFU, và một quy tắc tái chuẩn hóa online softmax thông minh hơn mà Tri Dao cho biết giảm số lần hiệu chỉnh xuống 10 lần. FA4 được báo cáo là nhanh hơn khoảng 20% so với các kernel attention cudnn mã nguồn đóng của Nvidia, và phiên bản backwards chưa có sẵn tại thời điểm viết bài.
Vì sao đáng chú ý: Các kỹ sư Modal đã đọc mã nguồn Flash Attention 4 được phát hành và giải thích pipeline chuyên biệt theo warp cùng hai thủ thuật toán học của nó, mang lại góc nhìn có thể chuyển giao về hướng phát triển của thiết kế kernel CUDA.
Modal công bố ảnh chụp nhanh bộ nhớ GPU ở dạng alpha, mở rộng hệ thống checkpoint/restore hiện có để ghi lại vRAM GPU, nhân CUDA, luồng và ngữ cảnh, nhờ đó các khối lượng công việc GPU khôi phục từ trạng thái đóng băng thay vì xây dựng lại trạng thái CUDA sau khi khởi động.
Vì sao đáng chú ý: Modal bổ sung trạng thái GPU vào ảnh chụp nhanh bộ nhớ, cắt giảm khởi động nguội cho các khối lượng công việc torch.compile và vLLM tới 10 lần và giúp scale-to-zero thực tế hơn.
Một bài đăng trên Modal Blog lập luận rằng cách định giá "đô la trên mỗi token", vốn được kế thừa từ các nhà cung cấp API như OpenAI, Anthropic và Alphabet, thực sự có hại cho các nhóm vận hành suy luận LLM tự triển khai. Bài viết cho rằng người dùng ứng dụng quan tâm đến yêu cầu chứ không phải token, và cần cách diễn đạt theo mỗi yêu cầu để lý giải về độ trễ, số lượng bản sao và chi phí tính toán.
Modal đã ra mắt cụm huấn luyện đa nút ở dạng beta, cho phép người dùng tận dụng hàng chục GPU trên nhiều máy chủ bằng cách thêm decorator @clustered, với kết nối liên kết Infiniband RDMA 3,2 Tbps để mở rộng gần như tuyến tính. Nền tảng hiện cung cấp GPU NVIDIA B200 và H200 theo dạng serverless với giá lần lượt là 6,25 USD/giờ và 4,54 USD/giờ, tuyên bố suy luận LLM nhanh hơn 2-4 lần so với H100. Modal cũng phát hành Client 1.0, nhấn mạnh tính ổn định của API, cùng các cập nhật bao gồm phương thức Volume chỉ đọc và hỗ trợ múi giờ cho lịch Cron.
Mistral và Llama 3 khác biệt về triết lý cho AI giọng nói: các mô hình Mistral từ 7B đến Mistral Small 3.1 (24B) ưu tiên hiệu quả độ trễ thấp, trong khi Llama 3 mở rộng từ 8B đến 70B để có khả năng suy luận mạnh hơn và phạm vi đa ngôn ngữ rộng hơn. Mistral Small 3.1 đạt thời gian đến token đầu tiên 0,29 giây với 150-166 token mỗi giây, và Mistral Small 24B vượt Llama 3.1 8B Instruct trên ARC-C, GPQA và MMLU, trong khi Llama 3.1 405B đạt 85,2% trên MMLU và 96,8% trên GSM8K.
Gemini 2.5 Flash và 2.5 Pro của Google khác nhau chủ yếu ở tốc độ so với độ sâu suy luận, cả hai đều cung cấp cửa sổ ngữ cảnh 1M token và khả dụng gốc trong Vapi cho các tác nhân thoại. Flash trả về token đầu tiên trong 0,21–0,37 giây với tốc độ 163 token mỗi giây và có giá $0,15/$0,60 cho mỗi triệu token đầu vào/đầu ra, trong khi Pro có giá $1,25/$10 và bổ sung chế độ Deep Think, với cửa sổ 2M token đang được lên kế hoạch.
Modal hiện cung cấp GPU Nvidia B200 và H200 cho mọi chủ tài khoản mà không cần liên hệ bộ phận kinh doanh hay yêu cầu hạn ngạch, với giá lần lượt 6,25 đô la/giờ và 4,54 đô la/giờ. B200 có 180 GB bộ nhớ HBM3e và băng thông 8 TB/s, và trong thử nghiệm vLLM của Modal chạy DeepSeek V3 ở độ chính xác 8-bit, 8xB200 giảm thời gian đến token đầu tiên trung vị 2,5 lần so với 8xH200 ở 1 yêu cầu mỗi giây.
DeepSeek V3 xử lý nhiều hơn 47% token mỗi giây so với R1 với giá 0,28 USD cho mỗi triệu token đầu ra, trong khi R1 có giá 2,19 USD cho mỗi triệu token và chạy các vòng lập luận nội bộ cho các tác vụ khó hơn. R1 đạt 97,3% trên MATH-500 và 79,8% trên AIME 2024, so với 90,2% và 39,2% của V3. Hầu hết các nhóm định tuyến 80-90% truy vấn đơn giản đến V3 và gửi công việc lập luận phức tạp đến R1.
Modal đã công bố một hướng dẫn phân biệt ba thứ thường được gọi là "mức sử dụng GPU": Mức sử dụng cấp phát GPU (số giây GPU chạy mã ứng dụng trên số giây GPU đã trả tiền), Mức sử dụng kernel GPU (tỷ lệ thời gian chạy mã trên GPU), và Mức sử dụng Model FLOP/s (phần băng thông số học lý thuyết được sử dụng). Hướng dẫn tập trung vào khối lượng công việc suy luận mạng nơ-ron, mà Modal gọi là trung tâm doanh thu thay vì trung tâm chi phí.
Modal đã giới thiệu tính năng khôi phục từ ảnh chụp nhanh bộ nhớ cho môi trường chạy container GPU serverless của mình, mà họ cho biết giúp thời gian khởi động nguội nhanh hơn khoảng 2,5 lần so với khởi động container tiêu chuẩn. Một Function suy luận Stable Diffusion thường mất khoảng 13 giây nay khôi phục trong 3,5 giây, và một chương trình import torch đơn giản giảm từ khoảng 5 giây xuống còn khoảng 1,05 giây ở p50 và 0,69 giây ở p0. Ảnh chụp nhanh được xây dựng trên tính năng checkpoint/restore của gVisor và được tạo theo yêu cầu, với tự động chuyển sang khởi động container tiêu chuẩn khi khôi phục thất bại; trạng thái GPU chưa được lưu, nên phải xây dựng lại sau khi khôi phục.
Vì sao đáng chú ý: Modal giải thích cách ảnh chụp nhanh bộ nhớ dựa trên gVisor giảm thời gian khởi động nguội của serverless, với thời gian khôi phục cụ thể cho một Function Stable Diffusion và một ví dụ import torch.
Modal hiện cung cấp GPU NVIDIA L40S cho tất cả người dùng với giá $1,95/giờ, được định vị là lựa chọn thay thế nhanh hơn, bộ nhớ lớn hơn cho bộ tăng tốc suy luận phổ biến nhất của mình, A10. L40S tăng gấp đôi RAM GPU lên 48GB, cho phép các mô hình như Flux.1-schnell chạy ở độ chính xác 16bit trên một GPU duy nhất, và mang lại tốc độ nhanh hơn khoảng 40% đối với các tác vụ bị giới hạn bởi bộ nhớ và hơn 100% đối với các tác vụ bị giới hạn bởi tính toán 16bit Tensor Core.
Modal đã bổ sung hỗ trợ dynamic batching gốc, cho phép các hàm inference nhóm yêu cầu thông qua một decorator @modal.batched() duy nhất với các tham số max_batch_size và wait_ms. Trên Whisper large v3 của OpenAI chạy trên A10G, max_batch_size là 64 đã nâng thông lượng từ ~1,2 lên ~3,3 yêu cầu mỗi giây trên mỗi container và giảm 65% chi phí inference.
Charles Frye của Modal đã tái lập tuyên bố cốt lõi của bài báo Large Language Monkeys trên một bộ dữ liệu mới, cho thấy việc lấy mẫu lặp lại nâng LLaMA 3.1 8B từ 66,4% pass@1 lên 90,5% pass@100 và 95,1% pass@1000 trên HumanEval, so với 90,2% pass@1 được báo cáo của GPT-4o. Các lần chạy sử dụng vLLM trên GPU không máy chủ của Modal và Modal Sandboxes để thực thi kiểm thử song song, tốn kém dưới 50 USD, và cho thấy khả năng mở rộng mượt mà, có thể dự đoán được qua ba bậc độ lớn.
Vì sao đáng chú ý: Một bản tái lập thực hành cho thấy cách lấy mẫu lặp lại với một mô hình mở nhỏ có thể tiến gần GPT-4o trên HumanEval, mang lại một công thức cụ thể, chi phí thấp để đánh đổi tính toán lấy độ chính xác.
Cursor đã công bố bài viết tiếp nối cho bài đăng "Problems" gốc của mình, liệt kê các câu hỏi nghiên cứu mà công ty coi là quan trọng nhất đối với giai đoạn tiếp theo của lập trình AI. Công ty đã mở rộng Copilot++ để dự đoán vị trí con trỏ tiếp theo, và kết hợp điều đó với dự đoán chỉnh sửa tiếp theo cho phép mô hình "chơi" chuỗi các thay đổi có độ hỗn loạn thấp—một bản demo cần 11 lần nhấn Tab so với 3 lần nhấn mọi phím khác, mà Cursor gọi là Cursor Flow. Các hướng khác bao gồm dự đoán hành động trên toàn bộ cơ sở mã, chỉnh sửa hoàn hảo thông qua nhiều tính toán suy luận hơn, mã giả ảo giác, chỉnh sửa nhiều tệp, ngữ cảnh tối ưu, ngữ cảnh đa bước, và phát hiện lỗi và gỡ lỗi.
Cursor đã đo suy luận Llama-2-70B trên 2 GPU A100 80 GB và phát hiện nó rẻ hơn GPT-3.5 hơn 3 lần đối với token prompt nhưng đắt hơn nhiều đối với token được sinh ra ở kích thước batch nhỏ. Chi phí xử lý prompt khoảng $0,00042 mỗi 1K token so với $0,0015 của GPT-3.5, trong khi sinh đạt $0,066 mỗi 1K token ở batch size 1 và chỉ tiến gần mức giá GPT-3.5 ở batch lớn, khiến thời gian đến token đầu tiên tăng lên vài giây. Cursor khuyến nghị dùng mô hình mã nguồn mở cho các tác vụ nặng về prompt như phân loại và xếp hạng lại, và dùng API đóng cho các khối lượng công việc nặng về sinh.
Vì sao đáng chú ý: Dữ liệu chi phí và độ trễ được Cursor đo cho thấy khi nào tự vận hành Llama-2-70B tốt hơn GPT-3.5 và khi nào không, mang lại một khung có thể tái sử dụng cho các quyết định phục vụ mô hình mã nguồn mở.