Tới nội dung
Chỉ Chính chủ#Triển khai / kỹ thuật
12 tháng 8Thứ Tư
  1. Modal Blog62

    Qwen3.8-2.4T-A95B phát hành trọng số mã nguồn mở, Modal đồng thời ra mắt endpoint chia sẻ

    Qwen3.8-2.4T-A95B đã được phát hành dưới dạng mô hình trọng số mã nguồn mở và đồng thời ra mắt trên Modal. Modal cho biết đã hợp tác với Qwen trước khi phát hành, thông qua SGLang và bộ suy đoán DFlash tùy chỉnh được tinh chỉnh cho hình dạng của Qwen3.8, để cung cấp hỗ trợ day zero cho Modal Auto Endpoints.

    Vì sao đáng chú ý: Modal đã ra mắt endpoint chia sẻ ngay trong ngày phát hành trọng số mã nguồn mở của Qwen3.8-2.4T-A95B, đồng thời giải thích cách bộ suy đoán DFlash tùy chỉnh của mình cải thiện tốc độ suy luận cho hình dạng của mô hình này.

4 tháng 8Thứ Ba
  1. Vapi Blog22

    Điều gì tạo nên trải nghiệm AI hội thoại tuyệt vời: Vapi bàn về thiết kế giọng nói

    Vapi lập luận rằng các tác nhân giọng nói được đánh giá dựa trên năm khía cạnh thời gian thực: độ trễ, cách luân phiên lượt nói, xử lý ngắt lời, ngữ điệu và một pipeline có khả năng phục hồi. Công ty trích dẫn nghiên cứu cho thấy khoảng cách lượt nói của con người gần 200ms và ghi nhận độ trễ vượt khoảng 500–700ms sẽ tạo cảm giác không tự nhiên, trong khi các pipeline tuần tự đơn giản có thể tốn khoảng 1,9 giây so với 600–900ms ở các pipeline được tối ưu. Vapi định vị pipeline không phụ thuộc mô hình của mình là có thể tinh chỉnh và kiểm thử thông qua các cuộc gọi mô phỏng.

  2. Modal Blog34

    Modal chuyển Functions serverless sang mặt phẳng I/O theo khu vực, giảm độ trễ p50 khoảng 80ms

    Modal đã di chuyển toàn bộ Functions sang một mặt phẳng I/O phân tán theo địa lý mới, giảm độ trễ end-to-end của Function Call khoảng 80ms ở p50. Trước đây, đầu vào và đầu ra của mọi Function đều được định tuyến qua các máy chủ I/O ở us-east, cộng thêm tới vài 100ms mỗi lần gọi; mặt phẳng mới có sẵn ở ≥4 khu vực và có thể chọn thông qua cờ routing_region. Lớp máy chủ đã được viết lại bằng Go, với các công việc không quan trọng được chuyển ra khỏi hot path.

29 tháng 7Thứ Tư
  1. Berkeley AI Research58

    Từ CUDA đến MLX: K-Search mang chuyên môn tối ưu hóa kernel đến Apple Silicon

    IBM Research đã mở rộng K-Search, khung tìm kiếm kernel tiến hóa từ UC Berkeley Sky Lab, với backend MLX và một lớp chuyển đổi CUDA sang MLX có cấu trúc, giúp chuyển đổi các kernel CUDA hiện có thành kernel cho Apple Silicon. Trên một kernel attention MLX, phương pháp này đạt tốc độ bằng 0,97 lần kernel MLX Attention gốc của Apple, tăng từ 0,26 lần khi không có ngữ cảnh chuyển đổi, và một kernel Mamba SSM được tiến hóa đạt tốc độ prefill nhanh hơn tới 20 lần so với triển khai mlx-lm của cộng đồng trên M1 Max. Các tác giả cho rằng mức tăng chủ yếu đến từ chất lượng ngữ cảnh và các ràng buộc được cung cấp cho LLM chứ không phải khả năng viết mã Metal của nó, và cho biết phương pháp này không dành riêng cho MLX.

27 tháng 7Thứ Hai
  1. Modal Blog75

    Kimi K3 của Moonshot hiện đã có trên Modal với hỗ trợ vLLM ngay ngày đầu

    Modal đã đưa Kimi K3 của Moonshot lên nền tảng của mình ngay trong ngày phát hành, cung cấp mô hình đa phương thức 2,8 nghìn tỷ tham số với cửa sổ ngữ cảnh 1 triệu token thông qua Shared API tính phí theo token và các Auto Endpoint chuyên dụng. Modal cho biết một DFlash speculator tùy chỉnh được điều chỉnh cho kiến trúc của K3 giúp tăng khả năng tương tác từ 100 lên 460 token mỗi giây và thông lượng từ 800k lên 1,5 triệu TPM mỗi GPU trên các khối lượng công việc agentic. Mô hình sử dụng thiết kế mixture-of-experts với 16 trong số 896 expert hoạt động mỗi token, và Moonshot đã đóng góp một triển khai prefix-caching mới cho vLLM trước khi phát hành.

    Vì sao đáng chú ý: Modal trình bày chi tiết cách họ đưa Kimi K3 2,8 nghìn tỷ tham số của Moonshot lên nền tảng của mình ngay trong ngày phát hành, bao gồm một DFlash speculator tùy chỉnh giúp tăng khả năng tương tác từ 100 lên 460 token mỗi giây.

24 tháng 7Thứ Sáu
  1. Vapi Blog22

    Cách giảm thời gian chờ của khách hàng bằng đại lý thoại AI

    Đại lý thoại AI cắt giảm thời gian chờ của khách hàng theo hai cách: loại bỏ công việc khỏi hàng đợi thông qua tự phục vụ chuyển hướng, định tuyến thông minh, hỗ trợ đại lý và dự đoán nhu cầu, đồng thời trả lời ngay lập tức mà không cần giữ máy. SQM Group phát hiện khách hàng hủy cuộc gọi trung bình ở phút 2 giây 36, trong khi ContactBabel đưa ra tỷ lệ hủy cuộc gọi trung bình của Vương quốc Anh là 8,4% vào năm 2024. Vapi cho biết một đại lý thoại đầu tiên có thể được thiết lập từ bảng điều khiển của nó trong vài phút, sau đó được đo lường trên ASA, tỷ lệ hủy cuộc gọi và giải quyết cuộc gọi đầu tiên.

21 tháng 7Thứ Ba
  1. Vapi Blog42

    Vapi ra mắt Model Intelligence với các preset mô hình dựa trên dữ liệu sản xuất và số liệu hiệu suất

    Vapi ra mắt Model Intelligence, một gói tính năng giúp các nhà phát triển chọn tổ hợp mô hình cho voice agent. Gói này bao gồm bốn Model Preset (Balanced, High Intelligence, Ultra Fast, Cost Saver) kết hợp một transcriber, LLM và voice, cùng với số liệu chi phí, độ trễ và chất lượng theo từng mô hình được rút ra từ hơn 1 tỷ cuộc gọi Vapi.

  2. Modal Blog58

    Modal và Cognition ra mắt Devin Outposts với tích hợp sandbox modal-devin

    Modal là đối tác ra mắt của Devin Outposts, một tính năng của Cognition đưa việc thực thi mã của Devin vào môi trường do khách hàng kiểm soát trong khi phần suy luận của Devin vẫn ở trên cloud của Cognition. Thư viện mã nguồn mở modal-devin và CLI chạy mỗi phiên Outpost trong một Modal Sandbox, cho phép truy cập máy được hỗ trợ GPU, image tùy chỉnh, chụp nhanh workspace và scale-to-zero, và nó đã hoạt động ở dạng alpha bắt đầu từ ngày 21 tháng 7 năm 2026. Việc thiết lập sử dụng uvx modal-devin init, tạo ra một hàm orchestrator và một hàm phiên worker mà các nhóm có thể tiếp tục tùy chỉnh.

16 tháng 7Thứ Năm
  1. Modal Blog60

    Modal xây dựng lại nền tảng sandbox để chạy 1 triệu sandbox đồng thời, được tạo trong chưa đầy một phút

    Modal đã xây dựng lại nền tảng sandbox cốt lõi của mình từ đầu, và trên hệ thống mới, nó đã chạy 1 triệu sandbox đồng thời, tạo tất cả chúng trong chưa đầy một phút. Việc thiết kế lại loại bỏ sự phối hợp trung tâm và mọi kho dữ liệu khỏi đường dẫn tạo sandbox: các máy chủ lập lịch mở rộng theo chiều ngang chọn một worker bằng thuật toán trong bộ nhớ và gọi trực tiếp nó, trong khi các worker công bố trạng thái một cách bất đồng bộ lên một Redis stream. Modal cho biết độ trễ khởi động sandbox ở mức trung vị dưới nửa giây, và hệ thống mới đã có sẵn ở dạng Beta với một thay đổi mã một dòng để chọn tham gia.

    Vì sao đáng chú ý: Modal đã xây dựng lại mặt phẳng điều khiển sandbox của mình để loại bỏ sự phối hợp trung tâm, cho thấy khả năng mở rộng của lập lịch container đến đâu khi tính nhất quán toàn cục rời khỏi đường dẫn tới hạn.

15 tháng 7Thứ Tư
  1. Modal Blog60

    Mô hình đa phương thức Inkling của Thinking Machines hiện đã có trên Modal

    Thinking Machines đã phát hành Inkling, một mô hình đa phương thức đa dụng nhận đầu vào văn bản, hình ảnh và âm thanh và xuất ra văn bản, và Modal cung cấp nó ngay từ ngày đầu tiên dưới dạng Managed Endpoint với giá theo token. Inkling là một transformer hỗn hợp chuyên gia với tổng cộng 975B tham số, 41B hoạt động, cửa sổ ngữ cảnh 1M token và âm thanh cùng thị giác gốc, sử dụng năm lớp attention cửa sổ trượt cho mỗi lớp attention đầy đủ. Trên các khối lượng công việc tác tử với 8x B200, speculator DFlash tùy chỉnh của Modal đạt 250 token mỗi giây mỗi người dùng ở 2,5M TPM thông lượng mỗi GPU, tương tác nhanh hơn 67% so với đường speculative tích hợp sẵn của mô hình ở cùng thông lượng.

    Vì sao đáng chú ý: Endpoint ngày đầu tiên của Modal cho Inkling 975B tham số của Thinking Machines cho thấy cách một speculator DFlash tùy chỉnh nâng tương tác lên 67% so với đường speculative tích hợp sẵn của mô hình.

9 tháng 7Thứ Năm
  1. Modal Blog22

    Modal là một Máy tính: Tái định nghĩa Nền tảng Đám mây như một Cỗ máy

    Modal lập luận rằng nó nên được hiểu như một máy tính chứ không phải "Uber cho điện toán", một neocloud, hay một nhà cung cấp suy luận, vì nó bán giây-bộ xử lý và giây-byte thay vì token. Bài viết ánh xạ ALU, phân cấp bộ nhớ, I/O, NIC và hệ điều hành của một cỗ máy thông thường lên các container, lưu trữ đối tượng, Input/Output Plane, Routing Plane và Tunnels của Modal. Nó cũng liên kết Modal Functions, Sandboxes và Servers với các công cụ không trạng thái, tiến trình Linux và trình lắng nghe HTTP.

7 tháng 7Thứ Ba
  1. Berkeley AI Research36

    Trí tuệ là miễn phí, giờ thì sao? Hệ thống dữ liệu cho, của và bởi các tác nhân

    Aditya G. Parameswaran của UC Berkeley và các cộng sự lập luận rằng khi chi phí suy luận giảm từ khoảng 30 đô la mỗi triệu token vào đầu năm 2023 xuống dưới 1 đô la ngày nay, các hệ thống dữ liệu phải được thiết kế lại xoay quanh ba thách thức: hệ thống cho các tác nhân, của các tác nhân, và bởi các tác nhân. Họ lưu ý rằng trong một benchmark text-to-SQL với nhiều tác nhân cho mỗi tác vụ, chỉ 10-20% các kế hoạch con là khác biệt, nên 80-90% các truy vấn con trùng lặp công việc, và đề xuất tái sử dụng, xấp xỉ, và các hệ thống dữ liệu chủ động.

6 tháng 7Thứ Hai
  1. Modal Blog38

    Cách định giá GPU serverless: Mô hình chi phí tương tác của Modal

    Modal đã công bố một công cụ tương tác để ước tính chi phí GPU serverless so với GPU đặt trước, mặc định dùng mức giá hiện hành cho một GPU B200 chạy serverless trên Modal và qua đặt trước ba năm với hyperscaler. Mô hình cho thấy khi tỷ lệ đỉnh trên trung bình của ứng dụng vượt quá tỷ lệ chiết khấu đặt trước, GPU serverless có tổng chi phí thấp hơn, và Modal dẫn ra mức chiết khấu quan sát được từ 2-5 lần so với tỷ lệ đỉnh trên trung bình 5-10 lần.

1 tháng 7Thứ Tư
  1. Modal Blog58

    Modal Research và MRP của HeavyBall mang đến dự đoán đa token cho các mô hình ngôn ngữ khuếch tán

    Modal Research và HeavyBall Research của NYU Shanghai giới thiệu Multi-token Residual Prediction (MRP), một mô-đun 3 lớp gắn vào backbone LM khuếch tán đóng băng, dự đoán phần dư logit giữa các bước thay vì toàn bộ phân phối bước tiếp theo. Trên SDAR-4B GSM8K, MRP giữ độ chính xác 70,9% ở K=3 so với 5,9% của chưng cất MTP thông thường, và trong SGLang đạt thông lượng lên tới 1,56 lần mà không mất mát ở chế độ suy đoán hoặc phục hồi tới +16 điểm chính xác dưới giải mã động ngưỡng thấp tích cực. Bài báo, mã nguồn, triển khai SGLang và các mô hình SDAR-MRP trên Hugging Face đã được phát hành.

30 tháng 6Thứ Ba
  1. Modal Blog66

    Anthropic ra mắt Claude Science với Modal làm backend tính toán có thể mở rộng

    Anthropic ra mắt Claude Science vào ngày 30 tháng 6, một bàn làm việc AI nơi các nhà nghiên cứu khoa học sự sống chạy khối lượng công việc tính toán trực tiếp bên trong cuộc trò chuyện với Claude. Modal tích hợp như backend tính toán: các khối lượng công việc cần GPU hoặc nhiều CPU đồng thời sẽ tự động được định tuyến đến các sandbox Modal từ workspace được kết nối của nhà nghiên cứu, trong khi thực thi mặc định vẫn được sandbox trên máy cục bộ. Modal trích dẫn việc sàng lọc ảo phân tán trên hàng trăm container, quyền truy cập GPU theo từng bước cho các mô hình như ESMFold2, lưu trữ Modal Volumes chia sẻ và Modal Images có thể tái tạo, và cam kết tài trợ tính toán lên đến 100.000 USD cho AI for Science Claude Science Cohort của Anthropic với 500–2.000 USD mỗi dự án, đơn đăng ký mở đến ngày 15 tháng 7 năm 2026.

    Vì sao đáng chú ý: Bài đăng của Modal giải thích cách Claude Science định tuyến khối lượng công việc GPU và song song đến các sandbox Modal, với các ví dụ cụ thể trong khoa học sự sống và khoản tài trợ tính toán cho các phòng thí nghiệm học thuật.

25 tháng 6Thứ Năm
  1. Modal Blog55

    Modal ra mắt Servers serverless cho lưu lượng HTTP, WebSocket và gRPC độ trễ thấp

    Modal đã ra mắt Servers, một nhóm bản sao máy chủ HTTP tự động mở rộng theo khu vực cho lưu lượng HTTP, WebSocket và gRPC, nhắm đến các khối lượng công việc nhạy cảm với độ trễ như suy luận LLM cho các tác nhân tương tác. Modal cho biết đã giảm độ trễ p50 từ 39ms xuống 6ms bằng cách giữ các tra cứu control-plane và xếp hàng ra khỏi đường dẫn yêu cầu, vì vậy khách hàng nhận được 503 khi không có bản sao nào khả dụng và phải xử lý việc giảm tải trong ứng dụng. Lớp định tuyến chạy trên AWS EKS với Envoy ở biên và proxy Rust nội bộ fprs của Modal, được xây dựng trên pingora của Cloudflare, xử lý liên kết miền và cân bằng tải, với cấu hình được đọc từ Spanner và lưu trong bộ nhớ đệm.

24 tháng 6Thứ Tư
  1. Vapi Blog15

    Vapi trả lời các câu hỏi hàng đầu từ hội thảo trực tuyến về sàng lọc khách hàng tiềm năng của SVG

    Vapi đã công bố câu trả lời cho bảy câu hỏi được hỏi nhiều nhất từ hội thảo trực tuyến của mình với Spring Venture Group, nơi Homer Kay mô tả cách SVG sử dụng các tác nhân thoại của Vapi để sàng lọc khách hàng tiềm năng Medicare trước khi chuyển người gọi đến các tác nhân được cấp phép. Các câu trả lời bao gồm tuân thủ quy định gọi ra ngoài, tích hợp ưu tiên API, hoán đổi độc lập các thành phần STT, LLM và TTS, chuyển giao cho con người, và cấu hình đủ điều kiện HIPAA với Zero Data Retention.

  2. Modal Blog58

    Modal ra mắt Auto Endpoints, viện dẫn giải mã suy đoán cho độ trễ suy luận tiên tiến nhất

    Modal ra mắt Modal Auto Endpoints, đưa khả năng mở rộng hạ tầng của Modal đến hiệu năng suy luận tiên tiến nhất chỉ với một cú nhấp chuột trong khi vẫn kiểm soát được mã. Modal cho biết lợi ích độ trễ chính đến từ giải mã suy đoán với các mô hình speculator DFlash tùy chỉnh, giúp cắt giảm khoảng 100ms độ trễ đầu-cuối trong một nghiên cứu điển hình của Decagon Voice, tương đương khoảng 40% độ trễ giải mã phía máy chủ, khiến nó nhanh hơn hơn 60ms so với lựa chọn độc quyền nhanh nhất. Modal cũng phát hành mã nguồn mở các mô hình speculator DFlash với Z Lab và SGLang, bao gồm một mô hình cho Qwen 3.5 397B-A17B cải thiện hơn 50% so với MTP.

23 tháng 6Thứ Ba
  1. Modal Blog60

    Modal ra mắt Auto Endpoints cho suy luận LLM tự phục vụ, tương thích API OpenAI

    Modal ra mắt Auto Endpoints, một dịch vụ tự phục vụ triển khai suy luận LLM cấp sản xuất dưới dạng endpoint tương thích API OpenAI, được hỗ trợ bởi một Modal App mà người dùng có thể xem và kiểm soát. Mỗi mô hình được hỗ trợ đi kèm một bản triển khai khởi điểm được tinh chỉnh từ hoạt động benchmark của chính Modal, sử dụng các engine như SGLang và DFlash speculative decoding drafter từ Z Lab, và người dùng có thể kiểm tra lựa chọn GPU, cờ engine và các chỉ số suy luận như TTFT, ITL và độ dài chấp nhận giải mã suy đoán. Modal cũng phát hành Modal Servers từ bản beta cho định tuyến theo khu vực với chi phí 5ms, và cho biết họ tạo ra các bản triển khai endpoint bằng một hệ thống agentic nội bộ vẫn được các kỹ sư con người giám sát.

    Vì sao đáng chú ý: Auto Endpoints của Modal phơi bày ngăn xếp phục vụ, các chỉ số engine và công thức benchmark mà các nhà cung cấp suy luận được quản lý vẫn giữ kín, mang đến cho các đội một con đường tự phục vụ để sở hữu suy luận mô hình mở.

22 tháng 6Thứ Hai
  1. Modal Blog36

    Modal giải thích vì sao sandbox "đã khởi động" ≠ "sẵn sàng" và cách warm pool cắt giảm độ trễ khởi động mà người dùng cảm nhận

    Modal lập luận rằng thời gian lập lịch và khởi động container — thứ mà hầu hết các benchmark sandbox đo bằng thời gian tới tương tác — chỉ là phần nhỏ nhất trong khoảng thời gian người dùng thực sự phải chờ; việc thiết lập ở tầng ứng dụng sau khi container khởi động thường mất vài giây. Modal đang đưa Readiness Probes ra mắt rộng rãi để báo hiệu khi một sandbox đã hoàn tất khởi tạo, và khuyến nghị dùng warm sandbox pool xây dựng trên modal.Queue cùng Directory Snapshots để đưa bước thiết lập ra khỏi đường tới hạn của người dùng.

19 tháng 6Thứ Sáu
  1. Modal Blog60

    Modal phát hành DFlash speculators cho Qwen 3.5 và 3.6, tuyên bố tăng tốc thêm 5-20%

    Modal đã phát hành một bộ mô hình draft DFlash cho dòng Qwen trên Hugging Face, bao gồm Qwen 3.6 35B-A3B-DFlash và các biến thể Qwen 3.5 từ 4B đến 122B-A10B, cùng một DFlash speculator cho Qwen 3.5 397B-A17B được xây dựng với SGLang. Công ty cho biết các drafter mới tăng tốc thêm 5-20% so với các baseline DFlash hiện có và có thể chạy Qwen 3.5 122B-A10B ở tốc độ hơn 1000 tok/s tại concurrency 1 trên một node B200, so với 250 tok/s khi không có speculation. Bài viết lập luận rằng speculative decoding mang lại mức tăng 2x-3x trong khi tối ưu kernel chỉ mang lại vài phần trăm, và trình bày một mô hình roofline để ước tính mức tăng tốc từ độ dài chấp nhận.

    Vì sao đáng chú ý: Modal giải thích lý do họ đặt cược vào speculative decoding và phát hành các mô hình draft DFlash cho dòng Qwen, kèm theo mức tăng tốc đo được và một mô hình roofline để ước tính lợi ích.

17 tháng 6Thứ Tư
  1. Vapi Blog40

    Vapi đã dựng 15 voice agent trang chủ bằng code như thế nào

    Vapi đã xây dựng 15 voice agent trên trang chủ của mình — 3 trường hợp sử dụng trên 5 ngôn ngữ — bằng cách tạo chúng từ một tệp ROUGH_DRAFT.md duy nhất thay vì chỉnh sửa thủ công từng cái trong dashboard. Khung bốn giai đoạn (lập kế hoạch, phác thảo, khởi tạo, gia cố) tạo khung một dự án TypeScript với OpenAI gpt-4.1 ở temperature 0.5, các stack giọng nói ElevenLabs và Deepgram/Soniox, cùng một vòng lặp upsert idempotent lưu ID assistant trong .env.local. Repo được công khai: clone nó, thêm VAPI_PRIVATE_KEY, và chạy bun run bootstrap.

15 tháng 6Thứ Hai
  1. Modal Blog34

    Cập nhật sản phẩm Modal: VM Sandbox, Định tuyến khu vực, RBAC và hơn thế nữa

    Modal đã phát hành một loạt cập nhật nền tảng, bao gồm VM Sandbox dạng alpha chạy nhân Linux thực để hỗ trợ container Docker, eBPF, systemd và cgroups. Functions giờ có thể định tuyến qua US West, EU West hoặc Asia Pacific South thay vì khu vực mặc định US East, và RBAC khả dụng cho tất cả gói Team và Enterprise. Sandbox readiness probe hiện đã GA, và Python SDK 1.5.0 cùng JS/Go SDK 0.8.0 đặt TTL snapshot mặc định là 30 ngày.

11 tháng 6Thứ Năm
  1. Modal Blog34

    Modal giúp FlashAttention-4 nhanh hơn cho suy luận LLM

    Modal đã đóng góp các tối ưu hóa cho kernel FlashAttention-4 nhằm tăng tốc các khối lượng công việc suy luận LLM nặng về giải mã, nơi băng thông bộ nhớ là điểm nghẽn. Các thay đổi bao gồm việc chuyển kỹ thuật song song hóa "split KV" sang FA4 và thay thế các tải TMA cp.async.bulk bằng cp.async cho các truy cập bộ nhớ không đều. Một PR đầu vào FP8 (được hợp nhất ngày 17 tháng 4 năm 2026) mang lại thông lượng lên đến 1,16 lần so với đường cơ sở bf16 và cho phép bộ nhớ đệm KV nhỏ hơn.

  2. Factory62

    Factory triển khai đánh giá bảo mật tự động trong Droid

    Factory đang triển khai đánh giá bảo mật tự động trong Droid, công cụ này chạy đánh giá bảo mật dựa trên STRIDE song song với đánh giá mã tiêu chuẩn trên mọi PR không phải bản nháp và đăng các phát hiện với mức độ nghiêm trọng, tham chiếu CWE, giải thích và đề xuất sửa lỗi dưới dạng nhận xét nội tuyến trên diff. Công ty cho biết đánh giá bảo mật của Droid đã được chạy trên các cơ sở mã sản xuất và phát hiện các vấn đề đã được công bố có trách nhiệm, bao gồm CVE-2026-42876 trong external-secrets và workos/workos-node#1578. Droid xây dựng một mô hình mối đe dọa nhẹ cho bề mặt thay đổi, quét các lỗ hổng như OWASP Top 10 và OWASP LLM Top 10, sau đó xác thực từng phát hiện ứng viên dựa trên diff để lọc dương tính giả trước khi đăng một bản tóm tắt đã khử trùng lặp cho mỗi PR.

    Vì sao đáng chú ý: Droid của Factory hiện chạy đánh giá bảo mật dựa trên STRIDE trên mọi PR không phải bản nháp, và bài đăng cho thấy các CVE thực tế mà nó đã phát hiện trong các cơ sở mã sản xuất.

1 tháng 6Thứ Hai
  1. Modal Blog46

    Modal: Học tăng cường cho hậu huấn luyện LLM là một bài toán hạ tầng

    Modal cho rằng nút thắt trong hậu huấn luyện bằng học tăng cường cho LLM giờ đây là hạ tầng chứ không phải thuật toán, và đã phát hành một thư viện mã nguồn mở rút ra từ việc chạy RL ở quy mô lớn. Bài viết nêu chi tiết ba điểm đau — mã keo, xếp hàng cụm và GPU sử dụng dưới mức — và báo cáo việc đồng bộ trọng số qua RDMA giảm thời gian cập nhật Qwen3 8B từ 2,62s xuống 41ms.

27 tháng 5Thứ Tư
  1. MiniMax Blog72

    MiniMax nâng cấp Agent thành Mavis và ra mắt Agent Teams cho các tác vụ chạy dài

    MiniMax đã nâng cấp MiniMax Agent dưới tên mới Mavis và ra mắt Agent Teams, cho phép nhiều Agent chuyên biệt theo vai trò chạy song song trên desktop cho các tác vụ dài và phức tạp. Hệ thống sử dụng các vai trò Leader, Worker và Verifier với Team Engine dạng máy trạng thái luân chuyển tác vụ qua các trạng thái đang sản xuất, đang xác minh và hoàn tất, đồng thời hợp nhất TokenPlan và Agent Plan thành một gói đăng ký duy nhất trải rộng CLI, API và Agent trên M2.7, nhạc, video và giọng nói. MiniMax cho biết Agent sẽ được mã nguồn mở sớm, dự kiến cùng với mô hình MiniMax M3, trong khi ứng dụng desktop đã có sẵn.

    Vì sao đáng chú ý: MiniMax giải thích các đánh đổi thiết kế đằng sau Agent Team Leader-Worker-Verifier của mình, bao gồm chi phí bàn giao, chia sẻ và tổng hợp, mang lại một tham chiếu cụ thể cho việc xây dựng các runtime đa Agent.

  2. Modal Blog38

    Modal mở quyền kiểm soát truy cập dựa trên vai trò cho tất cả người dùng Team và Enterprise

    Modal đang cung cấp tính năng Kiểm soát truy cập dựa trên vai trò (RBAC) cho tất cả người dùng trên gói Team và Enterprise, được xây dựng xoay quanh Environments như các ranh giới bảo mật có thể thực thi. Restricted Environments khiến các thành viên workspace chỉ có quyền đọc theo mặc định, chỉ những người dùng hoặc agent được cấp quyền rõ ràng mới có thể triển khai và quản lý tài nguyên, và RBAC liên kết với Audit Logs để có bản ghi đầy đủ về ai đã làm gì và khi nào.

21 tháng 5Thứ Năm
  1. Vapi Blog20

    Vapi: Đưa AI giọng nói vào các bảng điều khiển chăm sóc mãn tính ACCESS

    Vapi lập luận rằng AI giọng nói giờ đây có thể biến giọng nói thành kênh khả thi về mặt kinh tế cho quản lý bệnh mãn tính ACCESS, dẫn dữ liệu từ Hiya cho thấy 42% người tiêu dùng ưa thích giọng nói cho giao tiếp chăm sóc sức khỏe, tăng từ 33% so với năm trước. Bài viết trình bày chi tiết ba quy trình sản xuất, bao gồm tác nhân sàng lọc khách hàng tiềm năng Medicare của Spring Venture Group, được bốn kỹ sư xây dựng trong một tuần, đã nâng tỷ lệ chuyển đổi sang chốt lên 3% và mang lại hơn 5,8 triệu USD tổng tiết kiệm và doanh thu mới.

20 tháng 5Thứ Tư
  1. Modal Blog22

    Applied Compute mở rộng quy mô học tăng cường cho các tác nhân doanh nghiệp tùy chỉnh trên Modal

    Applied Compute huấn luyện các tác nhân AI doanh nghiệp tùy chỉnh thông qua học tăng cường, dựa trên các sandbox, Functions và khởi động nguội dưới một giây của Modal để giữ hàng nghìn lượt rollout song song gắn với GPU. Các tác nhân của công ty bao gồm một mô hình onboarding cho người bán hàng dành cho DoorDash và một tác nhân phát hiện lỗi cho Cognition.

19 tháng 5Thứ Ba
  1. Modal Blog55

    Modal ra mắt tích hợp Sandboxes hạng nhất với Claude Managed Agents

    Modal công bố tích hợp hạng nhất giữa Modal Sandboxes và Claude Managed Agents của Anthropic, cho phép mọi lệnh gọi công cụ chạy trong một Modal Sandbox tự lưu trữ trong khi vòng lặp agent được quản lý của Anthropic xử lý trạng thái phiên. Modal nêu bật khả năng khởi động nguội nhanh trên image tùy chỉnh, lưu trữ snapshot và volume, giá theo lưu lượng với không chi phí khi nhàn rỗi, token kết nối ngắn hạn và lên tới 100.000 sandbox đồng thời cho mỗi khách hàng. Công ty cũng đã công bố hai ví dụ tham chiếu, một agent CLI và một Slack bot, trên cùng nền tảng Modal kết hợp Managed Agents.

12 tháng 5Thứ Ba
  1. Modal Blog58

    Modal đã đạt được GPU phi máy chủ thực sự như thế nào

    Modal đã công bố một bài viết kỹ thuật về cách họ giảm thời gian khởi động bản sao suy luận AI từ khoảng 2.000 giây xuống còn khoảng 50 giây bằng bốn thành phần: một bộ đệm các GPU khỏe mạnh nhàn rỗi, một hệ thống tệp được định địa chỉ theo nội dung một cách lười biếng có tên ImageFS, checkpoint/restore phía máy chủ thông qua runsc của gVisor, và checkpoint/restore CUDA được xây dựng trên hỗ trợ trình điều khiển Nvidia. Qua hơn mười nghìn lần khởi động nguội, độ trễ khởi động trung bình của vLLM giảm từ 95.679 ms xuống 13.797 ms và của SGLang từ 83.713 ms xuống 17.486 ms đối với mô hình Qwen 3 0.6B khoảng 1 GiB ở định dạng bf16. Bài viết cũng nêu các hạn chế, bao gồm ảnh chụp nhanh chỉ hỗ trợ một GPU và độ nhạy cảm với môi trường máy chủ đòi hỏi nhiều ảnh chụp nhanh cho mỗi lần triển khai.

8 tháng 5Thứ Sáu
  1. Berkeley AI Research38

    Suy luận song song thích ứng: Khảo sát về mở rộng suy luận hiệu quả

    Một khảo sát của Berkeley AI Research xem xét suy luận song song thích ứng, trong đó bản thân một mô hình suy luận quyết định khi nào phân rã các nhiệm vụ con, nên tạo bao nhiêu luồng đồng thời và cách phối hợp chúng. Bài viết đối chiếu điều này với các phương pháp song song cố định như self-consistency, Best-of-N, Tree of Thoughts, MCTS, ParaThinker, GroupThink và Hogwild! Inference, vốn áp đặt cấu trúc song song từ bên ngoài. Suy luận tuần tự mở rộng tuyến tính theo token và độ trễ và có nguy cơ context-rot, thúc đẩy các luồng song song khám phá độc lập và đồng thời.

4 tháng 5Thứ Hai
  1. Modal Blog36

    Modal tăng hiệu suất suy luận đa phương thức của SGLang hơn 10% nhờ bộ đệm dict Python

    Modal đã phân tích bộ lập lịch của SGLang trên một khối lượng công việc đa phương thức và thay thế việc ghi sổ lặp lại các handle CUDA IPC bằng một bộ đệm dict Python đơn giản, nâng thông lượng 16,2% và giảm TTFT trung bình 13,2% cùng TPOT 17,2% trên Qwen2.5-VL-3B-Instruct chạy trên H100. Bản sửa lỗi đã được hợp nhất trong SGLang v0.5.10.

1 tháng 5Thứ Sáu
  1. Vapi Blog34

    Open Stack và Giải pháp tích hợp: Những cân nhắc chính cho nhà phát triển Voice AI

    Blog Vapi phỏng vấn Iz Shalom của Cartesia về việc lựa chọn giữa stack Voice AI tích hợp và stack mô-đun mở. Stack tích hợp phù hợp với các trường hợp sử dụng hẹp và proof of concept nhanh, trong khi stack mở phù hợp với nhiều trường hợp sử dụng, hỗ trợ đa ngôn ngữ và thay thế linh kiện. Bài viết kêu gọi các đội đo độ trễ P99 trong môi trường của chính họ và xây dựng đánh giá chặt chẽ trước khi đưa vào sản xuất.

29 tháng 4Thứ Tư
  1. Modal Blog33

    Xây dựng quy trình chứng minh định lý bằng RL trên Modal

    AE Studio trình bày chi tiết cách họ huấn luyện LLM chứng minh các định lý toán học bằng học tăng cường trên Modal, so sánh Evolution Strategies với GRPO trong khi giữ nguyên vòng lặp huấn luyện. Thiết lập này chạy suy luận vLLM trên GPU, xác minh trình biên dịch Lean trong các sandbox CPU cô lập, và một bộ điều phối nhẹ, sử dụng image theo từng hàm, .map() fan-out, và Volumes cho trọng số cơ sở.

23 tháng 4Thứ Năm
  1. Factory55

    Factory ra mắt kỹ năng QA tự động kiểm thử ứng dụng như người dùng thật và báo cáo trong PR

    Factory đã phát hành kỹ năng QA tự động, điều khiển ứng dụng theo cách người dùng thật sẽ làm, điền biểu mẫu, nhập vào terminal và gọi endpoint, sau đó đăng báo cáo có cấu trúc kèm ảnh chụp màn hình, ảnh chụp terminal và dấu vết API dưới dạng một bình luận duy nhất trên mỗi pull request. Kỹ năng này chạy trên mỗi lần push thông qua Droid, có thể được cấu hình như một kiểm tra CI tùy chọn được kích hoạt bởi nhãn PR, lệnh bình luận hoặc kích hoạt thủ công, và cũng có sẵn cục bộ thông qua /qa trong bất kỳ phiên Droid nào. Việc thiết lập sử dụng /install-qa, và tính năng này hiện đã có trong tất cả các gói Factory.

22 tháng 4Thứ Tư
  1. Replit Blog22

    Replit giành Giải thưởng Đối tác Công cụ AI của năm 2026 của Google Cloud

    Google Cloud đã vinh danh Replit là Đối tác Công cụ AI của năm 2026, ghi nhận nền tảng hiện được hơn 50 triệu người sử dụng tại 85% trong Fortune 500. Giải thưởng này diễn ra sau khi Replit ra mắt Agent 4, mà công ty cho biết nhanh gấp 10 lần Agent 3 và chạy nhiều agent song song. Replit có mặt trên Google Cloud Marketplace, tích hợp với Cloud Run, Kubernetes Engine và BigQuery.

20 tháng 4Thứ Hai
  1. Berkeley AI Research38

    GRASP: Lập kế hoạch dựa trên gradient cho mô hình thế giới ở tầm xa hơn

    GRASP là một bộ lập kế hoạch dựa trên gradient mới cho các mô hình thế giới đã học, giúp việc lập kế hoạch tầm xa trở nên khả thi bằng cách nâng quỹ đạo lên thành các trạng thái ảo để tối ưu hóa song song theo thời gian, thêm tính ngẫu nhiên vào các lần lặp trạng thái để khám phá, và định hình lại gradient để các hành động nhận được tín hiệu rõ ràng trong khi tránh gradient trạng thái-đầu vào dễ vỡ thông qua các mô hình thị giác đa chiều. Công trình giải quyết các đồ thị tính toán điều kiện kém, cực tiểu cục bộ không tham lam, và các chế độ thất bại tiềm ẩn đa chiều khiến việc lập kế hoạch tầm xa trở nên mong manh. Công trình được thực hiện với Mike Rabbat, Aditi Krishnapriyan, Yann LeCun và Amir Bar.

17 tháng 4Thứ Sáu
  1. OpenAI Developers Blog60

    OpenAI công bố danh sách kiểm tra triển khai API cho khối lượng công việc GPT-6

    OpenAI đã công bố danh sách kiểm tra triển khai API hướng dẫn các nhà phát triển chuyển khối lượng công việc sang Responses API và dòng mô hình GPT-6, bao gồm gpt-6-astra, gpt-6.1-sol, gpt-6 Sol và gpt-6 Luna. Hướng dẫn bao gồm các mức reasoning.effort từ low đến max, text.verbosity, tool_search với tải công cụ trì hoãn, Programmatic Tool Calling, Multi-agent, compaction, bộ nhớ đệm prompt và chế độ WebSocket, mà OpenAI cho biết đã cho thấy tốc độ thực thi end-to-end nhanh hơn tới khoảng 40% đối với các quy trình có 20 lệnh gọi công cụ trở lên. Tài liệu cũng nêu chi tiết các bước về độ tin cậy và an toàn như xử lý lỗi 429 và 503, background=True cho các tác vụ dài, safety_identifier và giám sát misalignment.

    Vì sao đáng chú ý: Danh sách kiểm tra triển khai chính thức của OpenAI hợp nhất việc lựa chọn mô hình, mức reasoning effort, tool search, compaction và chế độ WebSocket vào một hướng dẫn di chuyển duy nhất cho khối lượng công việc GPT-6.