Tới nội dung
Chỉ Chính chủ#Cập nhật sản phẩm
29 tháng 9Thứ Ba
  1. Vapi Blog55

    Vapi ra mắt bộ công cụ CX để xây dựng và cải thiện các voice agent chăm sóc khách hàng

    Vapi đã ra mắt Vapi for CX, một bộ công cụ để xây dựng, triển khai, giám sát và tối ưu hóa các voice agent trải nghiệm khách hàng. Bộ công cụ này kết hợp một Composer ngôn ngữ tự nhiên dành cho các đội CX với cùng một đối tượng cấu hình có thể truy cập qua API, CLI và một máy chủ MCP, cùng với đánh giá, quản lý phiên bản, kế hoạch dự phòng, thẻ điểm cuộc gọi và dữ liệu hàng tuần về độ trễ, chi phí và chất lượng trên các bộ chuyển văn bản, mô hình và giọng nói. Vapi cho biết Amazon Ring vận hành 100% lưu lượng cuộc gọi đến của mình trên nền tảng này sau khi đánh giá hơn 40 nhà cung cấp, và Kavak xây dựng các phiên bản agent mới trong khoảng năm phút với NPS tăng 20 điểm.

  2. OpenClaw Blog71

    OpenClaw Enterprise ra mắt dưới dạng nền tảng mã nguồn mở để quản lý các tác nhân thường trú

    OpenClaw đã công bố OpenClaw Enterprise (OCE), một nền tảng mã nguồn mở, trung lập với nhà cung cấp để quản lý các tác nhân thường trú trong môi trường nhạy cảm, hiện đang được phát triển trước khi phát hành phiên bản 1.0 vào cuối năm nay. OCE bổ sung một mặt phẳng điều khiển cấp doanh nghiệp với tính đa thuê bao, ranh giới bảo mật cứng, sandbox, đánh giá dựa trên LLM và quyền chi tiết, đồng thời cho phép thay thế harness, mô hình và sandbox bằng các triển khai của bên thứ ba hoặc nội bộ. Các tổ chức có thể tự lưu trữ ngay hôm nay thông qua docker-compose cho phát triển cục bộ hoặc kubernetes cho triển khai nội bộ, và nó đang được thử nghiệm tại các công ty bao gồm Red Hat và OpenAI.

    Vì sao đáng chú ý: OpenClaw Enterprise là một mặt phẳng điều khiển mã nguồn mở cho các tác nhân thường trú trong môi trường nhạy cảm, với tính đa thuê bao, ranh giới bảo mật cứng và khả năng kiểm toán, hiện đã sẵn sàng cho các khối lượng công việc thử nghiệm nội bộ.

24 tháng 9Thứ Năm
  1. Vapi Blog25

    Kỹ sư Vapi giải đáp các câu hỏi hàng đầu về Model Intelligence, Simulations và Campaigns

    Các kỹ sư sản phẩm Vapi gồm Mhar Andal, Scott Lowe và Adham El Fawal đã trình diễn Model Intelligence, Simulations và Campaigns trong một webinar ngày 22 tháng 9 và trả lời các câu hỏi hàng đầu từ nhà phát triển. Model Intelligence đề xuất các preset transcriber, LLM và voice đồng thời hiển thị các chỉ số chi phí, độ trễ và chất lượng, trong khi Simulations chạy các AI tester với kết quả đạt/không đạt và Campaigns quay số danh sách lên tới 10.000 liên hệ.

  2. Modal Blog58

    Modal và Phòng thí nghiệm Dữ liệu Toàn diện của CMU ra mắt Quail, một engine suy luận AI-SQL tối ưu hóa đồng thời query planner và suy luận

    Modal và Phòng thí nghiệm Dữ liệu Toàn diện thuộc Đại học Carnegie Mellon đã xây dựng Quail, một engine suy luận nhận biết truy vấn cho các khối lượng công việc AI-SQL, tối ưu hóa đồng thời query planner SQL và engine suy luận. Trên một truy vấn đa phép nối, nó xử lý hơn một tỷ token mỗi phút trên mỗi GPU H100, nhanh hơn hơn 10 lần so với baseline vLLM của Modal trên cùng phần cứng, với chi phí dưới 6¢ mỗi tỷ token; trên benchmark AI-SQL mới của nhóm, nó chạy nhanh hơn 1,84 lần so với vLLM theo trung bình nhân trên các tác vụ. Vì các phép lọc và phép nối trong AI-SQL chỉ cần một token duy nhất mỗi chuỗi, Quail bỏ qua decode, sampling và phân tách prefill-decode, đồng thời sử dụng query plan đã biết để sắp xếp thứ tự yêu cầu và quản lý việc loại bỏ KV cache.

22 tháng 9Thứ Ba
  1. LiveKit Blog38

    LiveKit ra mắt Private Links để các agent truy cập an toàn vào tài nguyên nội bộ

    LiveKit đã ra mắt Private Links, một đường hầm mã hóa được quản lý hoàn toàn cho phép các agent được lưu trữ trên LiveKit truy cập các tài nguyên nội bộ riêng tư thông qua AWS PrivateLink hoặc Azure Private Link mà không cần IP công khai, quy tắc tường lửa đầu vào hay hạ tầng VPN. Lưu lượng được định tuyến qua đường hầm WireGuard đến một cổng LiveKit trong cùng khu vực đám mây, và chỉ hỗ trợ các kết nối TCP được bảo mật bằng TLS. Việc thiết lập có sẵn thông qua LiveKit CLI hoặc Dashboard, với phê duyệt kết nối một lần ở phía khách hàng.

  2. OpenClaw Blog60

    OpenClaw bổ sung mô hình quyết định tùy chọn và giao diện Plugin SDK dùng chung

    OpenClaw đã giới thiệu hỗ trợ cho một mô hình quyết định được cấu hình riêng mà lõi và các plugin của nó có thể gọi thông qua api.runtime.decisions.evaluate trong Plugin SDK, trả về một lựa chọn, điểm số hoặc xác suất thay vì phản hồi trò chuyện. Tính năng này là tùy chọn và không thay thế mô hình trò chuyện, và các gói nhà cung cấp vẫn đang chờ một bản phát hành hỗ trợ. Bộ chuyển đổi TypeSafe hỗ trợ Jev được lưu trữ và một máy chủ System One cục bộ như Kev của Jared Palmer, và công cụ đánh giá đang được chuyển vào lõi OpenClaw với tên decision_evaluate.

    Vì sao đáng chú ý: OpenClaw bổ sung một lớp mô hình quyết định tùy chọn trả về câu trả lời có kiểu từ mã ứng dụng, với giao diện Plugin SDK dùng chung để các plugin có thể sử dụng mà không cần tích hợp riêng cho từng nhà cung cấp.

17 tháng 9Thứ Năm
  1. Descript Changelog20

    Tổng hợp bản phát hành Descript ngày 17 tháng 9 năm 2026: Cài đặt sẵn phụ đề, Nhạc và Hiệu ứng âm thanh AI, Thanh toán đa tiền tệ

    Bản phát hành ngày 17 tháng 9 năm 2026 của Descript bổ sung 18 cài đặt sẵn phụ đề và 10 hiệu ứng chữ động mới, cùng với nhạc nền và hiệu ứng âm thanh do AI tạo ra được đặt trực tiếp trên dòng thời gian trong phiên bản 145.0.15 trở lên. Thanh toán giờ đây hiển thị giá bằng tiền tệ địa phương với Apple Pay, Google Pay, Cash App và các tùy chọn khác, và trình chọn giọng nói sử dụng thư viện giọng nói ElevenLabs.

14 tháng 9Thứ Hai
  1. Modal Blog40

    Cập nhật sản phẩm Modal: Sandbox Sidecars, hỗ trợ Kimi K3 và GLM 5.3, giao diện Dashboard làm mới

    Modal đã bổ sung hỗ trợ day-zero cho bốn mô hình open-weight — Kimi K3, Qwen3.8-2.4T-A95B, GLM-5.3 và GLM-5.3-Flash — trên Auto Endpoints, với Kimi K3 chạy ở tốc độ 460 token mỗi giây trên các khối lượng công việc agentic thông qua một DFlash speculator tùy chỉnh. Sandbox Sidecars bước vào giai đoạn public alpha, VM Sandboxes đạt public beta, và hệ số giá đa khu vực rộng giảm từ 1.5x xuống 1.15x. Dashboard được làm mới với bản beta chế độ sáng, và Python SDK 1.5.5 cùng JavaScript và Go SDK 0.10.0 đã được phát hành.

3 tháng 9Thứ Năm
  1. Vapi Blog40

    Vapi mở bản beta riêng tư và danh sách chờ công khai cho mô hình giọng nói sang giọng nói GPT-Live

    Vapi đã mở bản beta riêng tư giới hạn cho GPT-Live, mô hình giọng nói sang giọng nói song công hoàn toàn thế hệ tiếp theo của OpenAI, cùng với danh sách chờ công khai để được truy cập sớm. GPT-Live thay thế quy trình mô-đun gồm chuyển giọng nói thành văn bản, LLM và giọng nói bằng cách xử lý cả ba trong một mô hình, giảm độ trễ lượt nói và giữ nguyên ngữ điệu cùng sự nhấn mạnh. Các nhóm beta chạy nó trên cùng nền tảng Vapi như các tác nhân mô-đun hiện có, và các quy trình mô-đun vẫn được hỗ trợ.

2 tháng 9Thứ Tư
  1. LiveKit Blog38

    Triển khai phi sản xuất của LiveKit cho phép bạn kiểm thử voice agent trước khi lên production

    LiveKit đã bổ sung các triển khai phi sản xuất, chạy một voice agent dưới tên khác trên cùng container image, project và secrets như production, được tạo chỉ bằng một lệnh. Mỗi triển khai sẽ ngủ khi nhàn rỗi mà không tốn chi phí và thức dậy ở yêu cầu tiếp theo, và bạn nhắm tới nó bằng cờ --deployment. Nó yêu cầu livekit-agents 1.6+ cho Python hoặc @livekit/agents 1.7.1+ cho Node, và các gói cung cấp 2 triển khai trên Ship và 5 trên Scale.

1 tháng 9Thứ Ba
  1. LiveKit Blog58

    LiveKit ra mắt Connectors để đưa voice agent vào các cuộc gọi Twilio và WhatsApp

    LiveKit ra mắt Connectors, một cầu nối trực tiếp giữa phòng LiveKit với Twilio Programmable Voice và WhatsApp Business Calling, dự kiến sẽ có thêm nhiều nền tảng khác. Mỗi cuộc gọi tham gia phòng với tư cách là một participant CONNECTOR mang theo ngữ cảnh nền tảng như Twilio call SID hoặc số điện thoại của người gọi WhatsApp, và việc điều phối agent diễn ra trong cùng một yêu cầu API. Connectors hiện đã được phát hành chính thức trên LiveKit Cloud với mức giá SIP là 0,004 USD mỗi phút trên gói Ship và 0,003 USD trên gói Scale, với 5, 20 và 100 cuộc gọi connector đồng thời lần lượt trên các gói Build, Ship và Scale.

31 tháng 8Thứ Hai
  1. Vapi Blog58

    Vapi xây dựng lại Campaigns cho gọi ra hàng loạt với 10.000 liên hệ

    Vapi ra mắt phiên bản xây dựng lại của Campaigns, sản phẩm gọi ra hàng loạt của họ, hiện chạy trên một công cụ quy trình công việc bền vững độc lập tách biệt với hàng đợi cuộc gọi. Mỗi chiến dịch có thể chứa tối đa 10.000 liên hệ cùng một trợ lý hoặc đội nhóm và một số điện thoại, với việc quay số giới hạn trong một khung thời gian nhất định, các biến theo từng liên hệ trong lời nhắc của trợ lý, và một webhook trước khi quay số để bỏ qua những liên hệ đã chuyển đổi. Vapi cho biết trạng thái chiến dịch tồn tại bên ngoài bất kỳ tiến trình đơn lẻ nào, tính đồng thời chạy như một cửa sổ trượt thay vì theo lô, và mọi thay đổi trạng thái đều ghi thêm một sự kiện bất biến để tiến độ và nhật ký kiểm tra không thể bị lệch.

24 tháng 8Thứ Hai
  1. LiveKit Blog22

    LiveKit giới thiệu tính cước theo giây cho phiên agent, bản ghi, kết nối WebRTC và SIP

    LiveKit đã chuyển phút phiên agent, bản ghi, kết nối WebRTC và kết nối SIP sang tính cước theo giây với mức tối thiểu mười giây, áp dụng cho tất cả gói và tài khoản bao gồm hợp đồng doanh nghiệp. Thay đổi đã có hiệu lực và sẽ xuất hiện trên hóa đơn tháng 9 cho mức sử dụng tháng 8, không có thay đổi kỹ thuật nào ảnh hưởng đến khách hàng. LiveKit cho biết tính cước theo phút không khớp với các cuộc gọi ra ngắn chỉ kéo dài vài giây, hạn chế trường hợp sử dụng đó.

20 tháng 8Thứ Năm
  1. LiveKit Blog38

    LiveKit bổ sung tính năng che giấu PII vào Agent Observability

    LiveKit đã bổ sung PII Redaction vào Agent Observability, tự động loại bỏ tên, địa chỉ, ngày sinh và các thông tin nhạy cảm khác trước khi bản ghi và bản chép lời được lưu trữ, miễn phí cho tất cả khách hàng Agent Observability. Một LLM đọc từng cuộc hội thoại trong ngữ cảnh để phát hiện PII, thay thế từ bằng dấu đánh dấu và loại bỏ toàn bộ lượt khỏi âm thanh. Tính năng bao gồm 41 loại PII thuộc 10 nhóm và yêu cầu LiveKit Agents SDK 1.7.0 cho Python hoặc Node.js.

18 tháng 8Thứ Ba
  1. Vapi Blog55

    Vapi ra mắt Simulations để kiểm thử các voice agent với người gọi do AI tạo

    Vapi ra mắt Simulations, một tính năng kiểm thử gốc do AI vận hành, đặt những người kiểm thử AI có tính cách riêng biệt và các kịch bản lấy từ khách hàng ở đầu bên kia cuộc gọi với một voice agent. Mỗi lần chạy trả về kết quả đạt/không đạt, bản ghi đầy đủ và bản ghi âm, và các nhóm có thể giả lập phản hồi API, chạy chế độ trò chuyện văn bản tiết kiệm chi phí hoặc chế độ thoại đầy đủ, và kích hoạt các lần chạy qua API với các cổng chất lượng chặn triển khai khi tỷ lệ đạt giảm.

13 tháng 8Thứ Năm
  1. Factory38

    Factory ra mắt phân tích hiệu quả Agent cho Doanh nghiệp

    Factory đã đưa Agent Effectiveness vào trạng thái sẵn sàng chung trong Factory Analytics dành cho các tổ chức Doanh nghiệp, liên kết các phiên Factory với thời gian chu kỳ, ý định công việc và các sản phẩm đã bàn giao. Tính năng này bổ sung các chế độ xem Throughput, Output và Attribution nhằm kết nối việc sử dụng Droid với kết quả bàn giao, được hỗ trợ bởi lớp phân loại Local Signals đọc từ Jira, Linear, GitHub và GitLab. Đây là tính năng tự chọn tham gia, mặc định tắt và yêu cầu kiểm soát doanh nghiệp Advanced Analytics.

12 tháng 8Thứ Tư
  1. Modal Blog62

    Qwen3.8-2.4T-A95B phát hành trọng số mã nguồn mở, Modal đồng thời ra mắt endpoint chia sẻ

    Qwen3.8-2.4T-A95B đã được phát hành dưới dạng mô hình trọng số mã nguồn mở và đồng thời ra mắt trên Modal. Modal cho biết đã hợp tác với Qwen trước khi phát hành, thông qua SGLang và bộ suy đoán DFlash tùy chỉnh được tinh chỉnh cho hình dạng của Qwen3.8, để cung cấp hỗ trợ day zero cho Modal Auto Endpoints.

    Vì sao đáng chú ý: Modal đã ra mắt endpoint chia sẻ ngay trong ngày phát hành trọng số mã nguồn mở của Qwen3.8-2.4T-A95B, đồng thời giải thích cách bộ suy đoán DFlash tùy chỉnh của mình cải thiện tốc độ suy luận cho hình dạng của mô hình này.

4 tháng 8Thứ Ba
  1. Modal Blog34

    Modal chuyển Functions serverless sang mặt phẳng I/O theo khu vực, giảm độ trễ p50 khoảng 80ms

    Modal đã di chuyển toàn bộ Functions sang một mặt phẳng I/O phân tán theo địa lý mới, giảm độ trễ end-to-end của Function Call khoảng 80ms ở p50. Trước đây, đầu vào và đầu ra của mọi Function đều được định tuyến qua các máy chủ I/O ở us-east, cộng thêm tới vài 100ms mỗi lần gọi; mặt phẳng mới có sẵn ở ≥4 khu vực và có thể chọn thông qua cờ routing_region. Lớp máy chủ đã được viết lại bằng Go, với các công việc không quan trọng được chuyển ra khỏi hot path.

27 tháng 7Thứ Hai
  1. Modal Blog75

    Kimi K3 của Moonshot hiện đã có trên Modal với hỗ trợ vLLM ngay ngày đầu

    Modal đã đưa Kimi K3 của Moonshot lên nền tảng của mình ngay trong ngày phát hành, cung cấp mô hình đa phương thức 2,8 nghìn tỷ tham số với cửa sổ ngữ cảnh 1 triệu token thông qua Shared API tính phí theo token và các Auto Endpoint chuyên dụng. Modal cho biết một DFlash speculator tùy chỉnh được điều chỉnh cho kiến trúc của K3 giúp tăng khả năng tương tác từ 100 lên 460 token mỗi giây và thông lượng từ 800k lên 1,5 triệu TPM mỗi GPU trên các khối lượng công việc agentic. Mô hình sử dụng thiết kế mixture-of-experts với 16 trong số 896 expert hoạt động mỗi token, và Moonshot đã đóng góp một triển khai prefix-caching mới cho vLLM trước khi phát hành.

    Vì sao đáng chú ý: Modal trình bày chi tiết cách họ đưa Kimi K3 2,8 nghìn tỷ tham số của Moonshot lên nền tảng của mình ngay trong ngày phát hành, bao gồm một DFlash speculator tùy chỉnh giúp tăng khả năng tương tác từ 100 lên 460 token mỗi giây.

21 tháng 7Thứ Ba
  1. Vapi Blog42

    Vapi ra mắt Model Intelligence với các preset mô hình dựa trên dữ liệu sản xuất và số liệu hiệu suất

    Vapi ra mắt Model Intelligence, một gói tính năng giúp các nhà phát triển chọn tổ hợp mô hình cho voice agent. Gói này bao gồm bốn Model Preset (Balanced, High Intelligence, Ultra Fast, Cost Saver) kết hợp một transcriber, LLM và voice, cùng với số liệu chi phí, độ trễ và chất lượng theo từng mô hình được rút ra từ hơn 1 tỷ cuộc gọi Vapi.

  2. Modal Blog58

    Modal và Cognition ra mắt Devin Outposts với tích hợp sandbox modal-devin

    Modal là đối tác ra mắt của Devin Outposts, một tính năng của Cognition đưa việc thực thi mã của Devin vào môi trường do khách hàng kiểm soát trong khi phần suy luận của Devin vẫn ở trên cloud của Cognition. Thư viện mã nguồn mở modal-devin và CLI chạy mỗi phiên Outpost trong một Modal Sandbox, cho phép truy cập máy được hỗ trợ GPU, image tùy chỉnh, chụp nhanh workspace và scale-to-zero, và nó đã hoạt động ở dạng alpha bắt đầu từ ngày 21 tháng 7 năm 2026. Việc thiết lập sử dụng uvx modal-devin init, tạo ra một hàm orchestrator và một hàm phiên worker mà các nhóm có thể tiếp tục tùy chỉnh.

16 tháng 7Thứ Năm
  1. Modal Blog60

    Modal xây dựng lại nền tảng sandbox để chạy 1 triệu sandbox đồng thời, được tạo trong chưa đầy một phút

    Modal đã xây dựng lại nền tảng sandbox cốt lõi của mình từ đầu, và trên hệ thống mới, nó đã chạy 1 triệu sandbox đồng thời, tạo tất cả chúng trong chưa đầy một phút. Việc thiết kế lại loại bỏ sự phối hợp trung tâm và mọi kho dữ liệu khỏi đường dẫn tạo sandbox: các máy chủ lập lịch mở rộng theo chiều ngang chọn một worker bằng thuật toán trong bộ nhớ và gọi trực tiếp nó, trong khi các worker công bố trạng thái một cách bất đồng bộ lên một Redis stream. Modal cho biết độ trễ khởi động sandbox ở mức trung vị dưới nửa giây, và hệ thống mới đã có sẵn ở dạng Beta với một thay đổi mã một dòng để chọn tham gia.

    Vì sao đáng chú ý: Modal đã xây dựng lại mặt phẳng điều khiển sandbox của mình để loại bỏ sự phối hợp trung tâm, cho thấy khả năng mở rộng của lập lịch container đến đâu khi tính nhất quán toàn cục rời khỏi đường dẫn tới hạn.

15 tháng 7Thứ Tư
  1. Modal Blog60

    Mô hình đa phương thức Inkling của Thinking Machines hiện đã có trên Modal

    Thinking Machines đã phát hành Inkling, một mô hình đa phương thức đa dụng nhận đầu vào văn bản, hình ảnh và âm thanh và xuất ra văn bản, và Modal cung cấp nó ngay từ ngày đầu tiên dưới dạng Managed Endpoint với giá theo token. Inkling là một transformer hỗn hợp chuyên gia với tổng cộng 975B tham số, 41B hoạt động, cửa sổ ngữ cảnh 1M token và âm thanh cùng thị giác gốc, sử dụng năm lớp attention cửa sổ trượt cho mỗi lớp attention đầy đủ. Trên các khối lượng công việc tác tử với 8x B200, speculator DFlash tùy chỉnh của Modal đạt 250 token mỗi giây mỗi người dùng ở 2,5M TPM thông lượng mỗi GPU, tương tác nhanh hơn 67% so với đường speculative tích hợp sẵn của mô hình ở cùng thông lượng.

    Vì sao đáng chú ý: Endpoint ngày đầu tiên của Modal cho Inkling 975B tham số của Thinking Machines cho thấy cách một speculator DFlash tùy chỉnh nâng tương tác lên 67% so với đường speculative tích hợp sẵn của mô hình.

30 tháng 6Thứ Ba
  1. Modal Blog66

    Anthropic ra mắt Claude Science với Modal làm backend tính toán có thể mở rộng

    Anthropic ra mắt Claude Science vào ngày 30 tháng 6, một bàn làm việc AI nơi các nhà nghiên cứu khoa học sự sống chạy khối lượng công việc tính toán trực tiếp bên trong cuộc trò chuyện với Claude. Modal tích hợp như backend tính toán: các khối lượng công việc cần GPU hoặc nhiều CPU đồng thời sẽ tự động được định tuyến đến các sandbox Modal từ workspace được kết nối của nhà nghiên cứu, trong khi thực thi mặc định vẫn được sandbox trên máy cục bộ. Modal trích dẫn việc sàng lọc ảo phân tán trên hàng trăm container, quyền truy cập GPU theo từng bước cho các mô hình như ESMFold2, lưu trữ Modal Volumes chia sẻ và Modal Images có thể tái tạo, và cam kết tài trợ tính toán lên đến 100.000 USD cho AI for Science Claude Science Cohort của Anthropic với 500–2.000 USD mỗi dự án, đơn đăng ký mở đến ngày 15 tháng 7 năm 2026.

    Vì sao đáng chú ý: Bài đăng của Modal giải thích cách Claude Science định tuyến khối lượng công việc GPU và song song đến các sandbox Modal, với các ví dụ cụ thể trong khoa học sự sống và khoản tài trợ tính toán cho các phòng thí nghiệm học thuật.

25 tháng 6Thứ Năm
  1. Modal Blog55

    Modal ra mắt Servers serverless cho lưu lượng HTTP, WebSocket và gRPC độ trễ thấp

    Modal đã ra mắt Servers, một nhóm bản sao máy chủ HTTP tự động mở rộng theo khu vực cho lưu lượng HTTP, WebSocket và gRPC, nhắm đến các khối lượng công việc nhạy cảm với độ trễ như suy luận LLM cho các tác nhân tương tác. Modal cho biết đã giảm độ trễ p50 từ 39ms xuống 6ms bằng cách giữ các tra cứu control-plane và xếp hàng ra khỏi đường dẫn yêu cầu, vì vậy khách hàng nhận được 503 khi không có bản sao nào khả dụng và phải xử lý việc giảm tải trong ứng dụng. Lớp định tuyến chạy trên AWS EKS với Envoy ở biên và proxy Rust nội bộ fprs của Modal, được xây dựng trên pingora của Cloudflare, xử lý liên kết miền và cân bằng tải, với cấu hình được đọc từ Spanner và lưu trong bộ nhớ đệm.

24 tháng 6Thứ Tư
  1. Modal Blog58

    Modal ra mắt Auto Endpoints, viện dẫn giải mã suy đoán cho độ trễ suy luận tiên tiến nhất

    Modal ra mắt Modal Auto Endpoints, đưa khả năng mở rộng hạ tầng của Modal đến hiệu năng suy luận tiên tiến nhất chỉ với một cú nhấp chuột trong khi vẫn kiểm soát được mã. Modal cho biết lợi ích độ trễ chính đến từ giải mã suy đoán với các mô hình speculator DFlash tùy chỉnh, giúp cắt giảm khoảng 100ms độ trễ đầu-cuối trong một nghiên cứu điển hình của Decagon Voice, tương đương khoảng 40% độ trễ giải mã phía máy chủ, khiến nó nhanh hơn hơn 60ms so với lựa chọn độc quyền nhanh nhất. Modal cũng phát hành mã nguồn mở các mô hình speculator DFlash với Z Lab và SGLang, bao gồm một mô hình cho Qwen 3.5 397B-A17B cải thiện hơn 50% so với MTP.

23 tháng 6Thứ Ba
  1. Modal Blog60

    Modal ra mắt Auto Endpoints cho suy luận LLM tự phục vụ, tương thích API OpenAI

    Modal ra mắt Auto Endpoints, một dịch vụ tự phục vụ triển khai suy luận LLM cấp sản xuất dưới dạng endpoint tương thích API OpenAI, được hỗ trợ bởi một Modal App mà người dùng có thể xem và kiểm soát. Mỗi mô hình được hỗ trợ đi kèm một bản triển khai khởi điểm được tinh chỉnh từ hoạt động benchmark của chính Modal, sử dụng các engine như SGLang và DFlash speculative decoding drafter từ Z Lab, và người dùng có thể kiểm tra lựa chọn GPU, cờ engine và các chỉ số suy luận như TTFT, ITL và độ dài chấp nhận giải mã suy đoán. Modal cũng phát hành Modal Servers từ bản beta cho định tuyến theo khu vực với chi phí 5ms, và cho biết họ tạo ra các bản triển khai endpoint bằng một hệ thống agentic nội bộ vẫn được các kỹ sư con người giám sát.

    Vì sao đáng chú ý: Auto Endpoints của Modal phơi bày ngăn xếp phục vụ, các chỉ số engine và công thức benchmark mà các nhà cung cấp suy luận được quản lý vẫn giữ kín, mang đến cho các đội một con đường tự phục vụ để sở hữu suy luận mô hình mở.

22 tháng 6Thứ Hai
  1. Modal Blog36

    Modal giải thích vì sao sandbox "đã khởi động" ≠ "sẵn sàng" và cách warm pool cắt giảm độ trễ khởi động mà người dùng cảm nhận

    Modal lập luận rằng thời gian lập lịch và khởi động container — thứ mà hầu hết các benchmark sandbox đo bằng thời gian tới tương tác — chỉ là phần nhỏ nhất trong khoảng thời gian người dùng thực sự phải chờ; việc thiết lập ở tầng ứng dụng sau khi container khởi động thường mất vài giây. Modal đang đưa Readiness Probes ra mắt rộng rãi để báo hiệu khi một sandbox đã hoàn tất khởi tạo, và khuyến nghị dùng warm sandbox pool xây dựng trên modal.Queue cùng Directory Snapshots để đưa bước thiết lập ra khỏi đường tới hạn của người dùng.

19 tháng 6Thứ Sáu
  1. Modal Blog60

    Modal phát hành DFlash speculators cho Qwen 3.5 và 3.6, tuyên bố tăng tốc thêm 5-20%

    Modal đã phát hành một bộ mô hình draft DFlash cho dòng Qwen trên Hugging Face, bao gồm Qwen 3.6 35B-A3B-DFlash và các biến thể Qwen 3.5 từ 4B đến 122B-A10B, cùng một DFlash speculator cho Qwen 3.5 397B-A17B được xây dựng với SGLang. Công ty cho biết các drafter mới tăng tốc thêm 5-20% so với các baseline DFlash hiện có và có thể chạy Qwen 3.5 122B-A10B ở tốc độ hơn 1000 tok/s tại concurrency 1 trên một node B200, so với 250 tok/s khi không có speculation. Bài viết lập luận rằng speculative decoding mang lại mức tăng 2x-3x trong khi tối ưu kernel chỉ mang lại vài phần trăm, và trình bày một mô hình roofline để ước tính mức tăng tốc từ độ dài chấp nhận.

    Vì sao đáng chú ý: Modal giải thích lý do họ đặt cược vào speculative decoding và phát hành các mô hình draft DFlash cho dòng Qwen, kèm theo mức tăng tốc đo được và một mô hình roofline để ước tính lợi ích.

15 tháng 6Thứ Hai
  1. Modal Blog34

    Cập nhật sản phẩm Modal: VM Sandbox, Định tuyến khu vực, RBAC và hơn thế nữa

    Modal đã phát hành một loạt cập nhật nền tảng, bao gồm VM Sandbox dạng alpha chạy nhân Linux thực để hỗ trợ container Docker, eBPF, systemd và cgroups. Functions giờ có thể định tuyến qua US West, EU West hoặc Asia Pacific South thay vì khu vực mặc định US East, và RBAC khả dụng cho tất cả gói Team và Enterprise. Sandbox readiness probe hiện đã GA, và Python SDK 1.5.0 cùng JS/Go SDK 0.8.0 đặt TTL snapshot mặc định là 30 ngày.

11 tháng 6Thứ Năm
  1. Factory62

    Factory triển khai đánh giá bảo mật tự động trong Droid

    Factory đang triển khai đánh giá bảo mật tự động trong Droid, công cụ này chạy đánh giá bảo mật dựa trên STRIDE song song với đánh giá mã tiêu chuẩn trên mọi PR không phải bản nháp và đăng các phát hiện với mức độ nghiêm trọng, tham chiếu CWE, giải thích và đề xuất sửa lỗi dưới dạng nhận xét nội tuyến trên diff. Công ty cho biết đánh giá bảo mật của Droid đã được chạy trên các cơ sở mã sản xuất và phát hiện các vấn đề đã được công bố có trách nhiệm, bao gồm CVE-2026-42876 trong external-secrets và workos/workos-node#1578. Droid xây dựng một mô hình mối đe dọa nhẹ cho bề mặt thay đổi, quét các lỗ hổng như OWASP Top 10 và OWASP LLM Top 10, sau đó xác thực từng phát hiện ứng viên dựa trên diff để lọc dương tính giả trước khi đăng một bản tóm tắt đã khử trùng lặp cho mỗi PR.

    Vì sao đáng chú ý: Droid của Factory hiện chạy đánh giá bảo mật dựa trên STRIDE trên mọi PR không phải bản nháp, và bài đăng cho thấy các CVE thực tế mà nó đã phát hiện trong các cơ sở mã sản xuất.

27 tháng 5Thứ Tư
  1. MiniMax Blog72

    MiniMax nâng cấp Agent thành Mavis và ra mắt Agent Teams cho các tác vụ chạy dài

    MiniMax đã nâng cấp MiniMax Agent dưới tên mới Mavis và ra mắt Agent Teams, cho phép nhiều Agent chuyên biệt theo vai trò chạy song song trên desktop cho các tác vụ dài và phức tạp. Hệ thống sử dụng các vai trò Leader, Worker và Verifier với Team Engine dạng máy trạng thái luân chuyển tác vụ qua các trạng thái đang sản xuất, đang xác minh và hoàn tất, đồng thời hợp nhất TokenPlan và Agent Plan thành một gói đăng ký duy nhất trải rộng CLI, API và Agent trên M2.7, nhạc, video và giọng nói. MiniMax cho biết Agent sẽ được mã nguồn mở sớm, dự kiến cùng với mô hình MiniMax M3, trong khi ứng dụng desktop đã có sẵn.

    Vì sao đáng chú ý: MiniMax giải thích các đánh đổi thiết kế đằng sau Agent Team Leader-Worker-Verifier của mình, bao gồm chi phí bàn giao, chia sẻ và tổng hợp, mang lại một tham chiếu cụ thể cho việc xây dựng các runtime đa Agent.

  2. Modal Blog38

    Modal mở quyền kiểm soát truy cập dựa trên vai trò cho tất cả người dùng Team và Enterprise

    Modal đang cung cấp tính năng Kiểm soát truy cập dựa trên vai trò (RBAC) cho tất cả người dùng trên gói Team và Enterprise, được xây dựng xoay quanh Environments như các ranh giới bảo mật có thể thực thi. Restricted Environments khiến các thành viên workspace chỉ có quyền đọc theo mặc định, chỉ những người dùng hoặc agent được cấp quyền rõ ràng mới có thể triển khai và quản lý tài nguyên, và RBAC liên kết với Audit Logs để có bản ghi đầy đủ về ai đã làm gì và khi nào.

19 tháng 5Thứ Ba
  1. Modal Blog55

    Modal ra mắt tích hợp Sandboxes hạng nhất với Claude Managed Agents

    Modal công bố tích hợp hạng nhất giữa Modal Sandboxes và Claude Managed Agents của Anthropic, cho phép mọi lệnh gọi công cụ chạy trong một Modal Sandbox tự lưu trữ trong khi vòng lặp agent được quản lý của Anthropic xử lý trạng thái phiên. Modal nêu bật khả năng khởi động nguội nhanh trên image tùy chỉnh, lưu trữ snapshot và volume, giá theo lưu lượng với không chi phí khi nhàn rỗi, token kết nối ngắn hạn và lên tới 100.000 sandbox đồng thời cho mỗi khách hàng. Công ty cũng đã công bố hai ví dụ tham chiếu, một agent CLI và một Slack bot, trên cùng nền tảng Modal kết hợp Managed Agents.

30 tháng 4Thứ Năm
  1. OpenAI Developers Blog47

    Plugin OpenAI Developers cho ChatGPT và Codex

    OpenAI đã phát hành plugin Developers, cho phép ChatGPT và Codex truy cập vào Nền tảng API OpenAI cùng hướng dẫn thiết lập API, với các điều chỉnh dành cho Claude Code và Cursor đi kèm các kỹ năng phát triển di động và máy chủ MCP OpenAI Docs công khai. Plugin bao gồm thiết lập khóa API, xây dựng ứng dụng Agents SDK, chuyển đổi API sang Responses API và xử lý sự cố các lỗi API phổ biến.

23 tháng 4Thứ Năm
  1. Factory55

    Factory ra mắt kỹ năng QA tự động kiểm thử ứng dụng như người dùng thật và báo cáo trong PR

    Factory đã phát hành kỹ năng QA tự động, điều khiển ứng dụng theo cách người dùng thật sẽ làm, điền biểu mẫu, nhập vào terminal và gọi endpoint, sau đó đăng báo cáo có cấu trúc kèm ảnh chụp màn hình, ảnh chụp terminal và dấu vết API dưới dạng một bình luận duy nhất trên mỗi pull request. Kỹ năng này chạy trên mỗi lần push thông qua Droid, có thể được cấu hình như một kiểm tra CI tùy chọn được kích hoạt bởi nhãn PR, lệnh bình luận hoặc kích hoạt thủ công, và cũng có sẵn cục bộ thông qua /qa trong bất kỳ phiên Droid nào. Việc thiết lập sử dụng /install-qa, và tính năng này hiện đã có trong tất cả các gói Factory.

16 tháng 4Thứ Năm
  1. OpenAI Developers Blog60

    Bản cập nhật ứng dụng OpenAI Codex mở rộng sang công cụ, ứng dụng và tự động hóa

    OpenAI đã công bố tổng quan về các bản cập nhật mới của ứng dụng Codex, hướng đến việc hoạt động xuyên suốt các công cụ, ứng dụng, tự động hóa và các quy trình làm việc khác của nhà phát triển. Tài liệu chỉ là bản tóm tắt ngắn, nên không mô tả các tính năng cụ thể, phiên bản và chi tiết về khả năng cung cấp.

    Vì sao đáng chú ý: OpenAI phác thảo các bản cập nhật ứng dụng Codex mở rộng tác nhân lập trình sang công cụ, ứng dụng và tự động hóa, cho thấy phạm vi của nó đang mở rộng ra ngoài việc tạo mã.

15 tháng 4Thứ Tư
  1. Vapi Blog50

    Vapi ra mắt Vapi Monitoring cho các tác nhân thoại trong môi trường production

    Vapi đã phát hành Vapi Monitoring, một sản phẩm giám sát cho phép các nhóm tạo các bộ giám sát tùy chỉnh cho tác nhân thoại và nhận cảnh báo khi chạm ngưỡng. Sản phẩm bao gồm giám sát hiệu quả và tuân thủ cho gói đăng ký Enterprise, cùng với giám sát kỹ thuật và hạ tầng, đồng thời hiển thị các vấn đề kèm số lượng cuộc gọi bị ảnh hưởng và đề xuất cách khắc phục.

14 tháng 4Thứ Ba
  1. Modal Blog40

    Modal Autoscaling Autoresearch: GPU co giãn cho các tác nhân nghiên cứu AI

    Modal trình diễn việc chạy các tác nhân autoresearch trên GPU co giãn: với Modal Skills, Claude Code đã chạy 113 thí nghiệm trong 238 giờ GPU trên thử thách Parameter Golf của OpenAI, hoàn thành các lượt huấn luyện cốt lõi nhanh gấp 5 lần so với một máy trạm đơn lẻ trong khi chỉ dùng một phần nhỏ tài nguyên của một cụm chuyên dụng. Các tác nhân cấp phát GPU qua các lệnh gọi API, mở rộng từ một đến hàng chục H100 và tự động thu về không.

7 tháng 4Thứ Ba
  1. Modal Blog22

    Cập nhật sản phẩm Modal: RTX Pro 6000 Blackwell, Command K, Sandbox FS API

    Modal hiện cung cấp RTX Pro 6000 Blackwell của NVIDIA với 96GB VRAM và thông lượng fp4/fp8 mạnh mẽ, có thể sử dụng chỉ với một dòng mã cho các khối lượng công việc suy luận và tinh chỉnh. Bản cập nhật cũng bổ sung Command Palette trên bảng điều khiển (CMD+K), API Hệ thống Tệp Sandbox được cải tiến ở dạng beta hỗ trợ đọc lên đến 5GB và truyền trực tuyến theo cả hai chiều, cùng các lệnh nhật ký CLI với khả năng truy xuất lịch sử.