Các phiên ứng dụng GitHub Copilot giờ đây có thể được mở trực tiếp trong VS Code, mang theo cuộc hội thoại, các thay đổi mã và worktree để nhà phát triển có thể xem lại diff, chỉnh sửa thủ công và kiểm thử cục bộ mà không cần khởi động lại. Hướng dẫn đi qua việc mở một phiên, xem lại từng dòng thay đổi của agent, tiếp tục cùng cuộc hội thoại trong thanh bên Copilot và đẩy các cập nhật lên pull request của phiên đó.
Google đã phát hành bản fork TPU của TorchTitan do Meta phát triển, cho phép huấn luyện PyTorch trên Cloud TPU thông qua backend torch.device("tpu") gốc của TorchTPU, với các kernel gốc TPU và một playbook tối ưu hóa từng bước. Trên TPU v7x (Ironwood), Llama 3 405B duy trì khoảng 57% MFU từ 128 đến 1.024 chip, Qwen3 235B đạt 32,42% MFU trên một slice 1.024 chip, và FLUX.1 đạt 19,4% MFU trên 1.024 chip với hiệu suất weak-scaling 93%. Bản fork có tại https://github.com/google-pytorch/torchtitan/, và một backend mô hình hóa Transformers cùng một kỹ năng onboarding agent mở rộng cùng trainer này cho các checkpoint khác.
Vì sao đáng chú ý: Google hợp tác với Meta để chuyển TorchTitan sang TPU, đồng thời đưa ra lộ trình tinh chỉnh từng bước từ FLUX.1 đến Qwen3 235B cùng các con số MFU, có thể dùng làm tài liệu tham khảo cho các nhóm PyTorch đánh giá tính khả thi của huấn luyện trên TPU.
Legora hiện chạy từng đánh giá agent pháp lý của mình trong một Modal Sandbox riêng, khởi động toàn bộ ứng dụng được ghim vào một commit cụ thể để mỗi lần chạy phản ánh đúng phiên bản sản phẩm. Một thử nghiệm điển hình gồm 100 ca, 4 biến thể harness và 5 lần thử mỗi ca — 2.000 lần chạy song song — với Modal Volumes chụp nhanh trạng thái tài liệu, cơ sở dữ liệu và quyền. Legora cũng chuyển từ gVisor sang Modal VM Sandboxes, loại bỏ các giải pháp vòng cho mạng Docker và FUSE, đồng thời giảm 30% chi phí agent nhờ nén thông minh hơn và tìm kiếm công cụ tùy chỉnh.
Modal đã trình bày chi tiết cách họ phát triển ngăn xếp hệ thống tệp của mình để hỗ trợ VM Sandboxes, định tuyến các yêu cầu từ khách thông qua virtio-fs và virtiofsd vào hệ thống tệp tải lười ImageFS của họ. Phiên bản đầu tiên khởi động nhanh nhưng chạy chậm: lệnh chown đệ quy tăng từ bốn giây lên hơn một phút, và cài đặt pnpm và bun chậm khoảng ba lần. Các vi mô phép đo cho thấy chown mất 9,87 giây qua virtio-fs so với 2,31 giây trên gVisor và 1,58 giây trên ImageFS.
PJ, một kỹ sư chuyển sang làm chủ dịch vụ diệt côn trùng tại Ocala, Florida, hiện tư vấn cho các doanh nghiệp nhỏ—trong đó có nhà thầu lợp mái, hồ bơi và ô tô—thiết lập OpenClaw và hướng dẫn họ tự vận hành. Khách hàng của anh muốn một công cụ họ sở hữu hoàn toàn thay vì đưa dữ liệu công ty vào phần mềm thuê, và một khách hàng, Donna, 66 tuổi, quản trị viên, sử dụng OpenClaw của mình hàng ngày.
Hướng dẫn của LiveKit đúc kết kinh nghiệm từ các kiến trúc sư giải pháp và kỹ sư triển khai tại chỗ về việc đưa AI voice agent từ bản demo đến môi trường production, được tổ chức xoay quanh ba câu hỏi: liệu agent có đủ thông minh và tự nhiên hay không, hiệu năng của nó có thể quan sát được hay không, và liệu nó có mở rộng một cách đáng tin cậy và tiết kiệm chi phí hay không. Hướng dẫn khuyến nghị đo riêng lượt hội thoại đầu tiên, vì một công ty phát hiện khoảng 3 trong 4 cuộc gọi kết thúc ngay ở bước chào hỏi, và ghi nhận việc khách hàng chuyển từ GPT-4.1 sang Gemma 4 31B trên LiveKit Inference tiết kiệm được 300–500ms ở p50.
Nhóm Claude Code mô tả quy trình đánh giá mã theo nhiều lớp của mình, trong đó phần lớn việc đọc được thực hiện bởi máy móc và sự chú ý của con người được dành cho việc phê duyệt dựa trên rủi ro. Từ tháng 6 đến tháng 9, số pull request đã hợp nhất vào cơ sở mã Claude Code tăng hơn gấp đôi trong khi tỷ lệ phải hoàn nguyên giảm hơn 40 phần trăm. Quy trình xếp chồng các bước xác minh trước PR, CI bắt buộc, đánh giá của Claude, đánh giá bảo mật, phê duyệt của con người theo cấp rủi ro và hàng đợi hợp nhất với cờ và hoàn nguyên nhanh, và nhóm đã biến các sự cố trong quá khứ thành một bộ đánh giá hàng ngày cho người đánh giá.
Vì sao đáng chú ý: Nhóm Claude Code của Anthropic trình bày chi tiết cách họ chuyển phần lớn việc đọc mã sang các lớp tự động trong khi PR đã hợp nhất tăng gấp đôi và số lần hoàn nguyên giảm hơn 40 phần trăm, mang lại một mô hình đánh giá có thể chuyển giao cho các nhóm sử dụng nhiều tác nhân.
Modal giải thích cách chạy LiveKit Agents với các mô hình open-weights hoặc tùy chỉnh trên GPU serverless của mình, sử dụng Expression Video Avatar open-weights của BitHuman với giọng đọc từ Qwen3-TTS để nhân bản Charles Frye. Thiết lập này mở endpoint /launch của container avatar thông qua một Modal Server và dùng Sticky Sessions để giữ các client WebSocket trên cùng một container, với GPU snapshots che giấu cold start.
GitHub đã huấn luyện một bộ phân loại ModernBERT được tinh chỉnh để thay thế pipeline dựa trên LLM trước đó cho việc phát hiện bí mật chung, cải thiện độ chính xác cảnh báo có trọng số theo chủ sở hữu thêm 11,5% và giảm thời gian thực thi quét trung vị sau khi push xuống 86%. Pipeline hai giai đoạn sử dụng tạo ứng viên bằng regex theo sau là phân loại nhận biết ngữ cảnh, điều này cũng giảm chi phí phục vụ hơn 98% so với gọi LLM từ xa. Lợi ích về hiệu quả đã khiến việc mở rộng phát hiện bí mật chung sang bảo vệ khi push trở nên khả thi, trả kết quả trước khi thay đổi được push.
LiveKit đã xuất bản hướng dẫn khắc phục sự cố cho Egress, bao gồm các lỗi thường gặp như lỗi 412 "không nhận được tín hiệu khởi động" từ các template không bao giờ gọi START_RECORDING, lỗi 404 không tìm thấy participant hoặc track trong vòng 30 giây, và lỗi 400 tải lên thất bại do thông tin xác thực S3/GCP/Azure không hợp lệ. Hướng dẫn cũng đề cập đến các vấn đề về layout, webhook và Egress tự lưu trữ, đồng thời lưu ý rằng hướng dẫn này áp dụng cho cả API StartEgress hiện tại và các API riêng theo nguồn đã bị ngừng hỗ trợ.
Loạt bài GitHub Copilot cho người mới bắt đầu giải thích bốn cách cung cấp ngữ cảnh dự án cho Copilot: hướng dẫn tùy chỉnh trong `.github/copilot-instructions.md` cùng với các tệp theo đường dẫn cụ thể trong `.github/instructions`, kỹ năng tác nhân trong `.github/skills`, tác nhân tùy chỉnh trong `.github/agents`, và máy chủ MCP kết nối Copilot với các công cụ bên ngoài như Playwright. Bài viết đi qua từng cơ chế và cách chúng kết hợp với nhau, đồng thời chỉ cho độc giả bộ sưu tập Awesome Copilot của cộng đồng để có các ví dụ sẵn dùng.
Kỹ sư Lat Ware của Vapi đã tổng kết thực tiễn tự xây dựng Pedantic Review Bot, bot này hiện review mọi PR, thời gian merge trung bình giảm từ 130 giờ xuống 65 giờ.
Serve AI đã xây dựng lại phone agent của mình cho một khách hàng kiểm soát côn trùng trị giá 150 triệu đô la trên LiveKit, thu gọn một đồ thị luồng Retell gồm 224 nút thành một prompt duy nhất và xác thực nó bằng Agent Simulations. Khoảng 100 cuộc gọi sản xuất thực tế đã được chuyển thành các kịch bản mô phỏng, đạt tỷ lệ vượt qua 98% qua 10–15 lần lặp trước khi chuyển đổi, với độ trễ lượt trung vị là 1,3 giây so với ngưỡng trần 1,5 giây. Lần di chuyển đầu tiên mất một tuần mà không có rollback, và tỷ lệ containment tăng 15%, mà Serve ước tính tiết kiệm thêm 320.000 đô la mỗi năm cho khách hàng.
Anthropic đã công bố một bản triển khai tham chiếu cho Claude Managed Agents (bản beta), đọc các kênh Slack và pull request GitHub theo lịch cron, theo dõi thay đổi kể từ lần chạy trước thông qua bookmark theo từng nguồn, và đăng bản tóm tắt lên Slack. Hướng dẫn bao gồm thông tin xác thực lưu trong vault, quyền truy cập chỉ đọc và giới hạn chi tiêu mỗi lần chạy, cùng các quy tắc báo cáo nguồn bị lỗi là không thể đọc thay vì coi là ngày yên ắng và xác nhận bài đăng Slack trước khi cập nhật bookmark và sổ cái. Một lệnh Claude Code với kỹ năng claude-api cấu hình tác nhân theo hướng dẫn trong bài viết.
Vì sao đáng chú ý: Anthropic chia sẻ bản triển khai tham chiếu cho Claude Managed Agents theo lịch đọc Slack và GitHub, với các quy tắc cụ thể về bookmark, đọc lỗi và xác nhận đăng bài.
Addy Osmani đi qua các phiên Claude Code trên đám mây, nơi mỗi tác vụ chạy trên một VM mới do Anthropic quản lý với kho lưu trữ được sao chép vào nhánh riêng của nó, và các phiên đám mây được bao gồm trong các gói Pro, Max, Team và Enterprise mà không tính thêm phí tính toán. Trong một thử nghiệm bốn phiên trên một kho Node mẫu, ba phiên bắt đầu trong vòng 16 giây của nhau đã hoàn thành 87 giây sau khi phiên đầu tiên bắt đầu, và phiên kiểm thử không ổn định đã chạy bộ kiểm thử 40 lần với không lỗi. Hướng dẫn bao gồm các script thiết lập, mức mạng, các đường kết nối GitHub và bảy quy trình phù hợp với các phiên đám mây, đồng thời lưu ý rằng các phiên cục bộ vẫn phù hợp hơn cho các tác vụ cần dữ liệu cục bộ, dịch vụ VPN, GPU hoặc Zero Data Retention.
Vì sao đáng chú ý: Một hướng dẫn thực địa thực hành về các phiên Claude Code trên đám mây, cho thấy cách các VM theo từng tác vụ cho phép làm việc song song và nơi các phiên cục bộ vẫn phù hợp hơn.
GitHub Blog nêu ra ba kỹ năng mà lập trình viên nên củng cố khi AI thay đổi công việc của họ: điều hướng các tác nhân AI thay vì chỉ sử dụng chúng, đánh giá phê bình đầu ra của AI thay vì tin vào câu trả lời đầu tiên, và dùng thời gian AI tiết kiệm được để giải quyết những vấn đề rộng lớn hơn. Bài viết dẫn ra tác nhân Rubber Duck tích hợp sẵn của GitHub Copilot, sử dụng một mô hình thứ hai để phê bình kế hoạch, mã và kiểm thử trước khi lập trình viên tiến hành.
Claude Code mods là các tệp JavaScript hoặc TypeScript nhỏ chạy bên trong một phiên như các hook được đóng gói trong plugin, và có thể quan sát sự kiện, viết lại hành vi hoặc vẽ giao diện tùy chỉnh trong terminal hoặc ứng dụng desktop. Hướng dẫn xây dựng Token Weather, một mod khoảng 80 dòng đọc $.session.usage() sau mỗi lượt và vẽ dải cửa sổ ngữ cảnh kiểu thời tiết phía trên prompt, sau đó giới thiệu Blast Radius, giữ các lệnh Bash rủi ro, và Replay Theater, duyệt qua các chỉnh sửa của một lượt. Mods yêu cầu Claude Code 2.1.287 trở lên và được bật mặc định; mã hoàn chỉnh cho cả ba nằm trong anthropics/claude-code-playground.
Vì sao đáng chú ý: Hướng dẫn thực hành về Claude Code mods xây dựng một đồng hồ đo cửa sổ ngữ cảnh hoạt động trong khoảng 80 dòng, cho thấy cách hook, trạng thái và giao diện tùy chỉnh kết hợp với nhau.
Anthropic đã thêm hai lệnh vào skill claude-api bên trong Claude Code: /claude-api build-eval xây dựng một bộ đánh giá trong codebase của bạn, và /claude-api hillclimb lặp cải tiến một ứng dụng dựa trên bộ đánh giá đó với một tập giữ riêng để phát hiện overfitting.
Vì sao đáng chú ý: Anthropic bổ sung lệnh build-eval và hillclimb vào skill claude-api của mình, cho thấy Claude Code có thể thiết kế các bộ đánh giá và lặp cải tiến dựa trên chúng đồng thời phòng ngừa overfitting.
Vapi đã chạy các thử nghiệm ban đầu sử dụng mô hình "System One" Jev trong chương trình truy cập sớm của TypeSafe AI như một hàng rào bảo vệ chấm điểm liệu phản hồi của trợ lý giọng nói có vi phạm quy tắc do nhà phát triển định nghĩa trước khi được phát ra hay không. Trong một thử nghiệm ban đầu, Jev đã phát hiện ít nhất ba trong bốn phản hồi vi phạm, mặc dù Vapi cho biết đây không phải là bảo đảm tuân thủ 100% mà chỉ là một lớp kiểm tra bổ sung bên trên các hàng rào bảo vệ bằng prompt.
Modal giải thích cách họ tối ưu hóa suy luận Kimi K2.6 cho các coding agent, đạt hiệu năng gấp 2,8 lần mỗi người dùng và 5,6 lần giữa các người dùng trên mỗi replica, đồng thời vận hành dịch vụ ở mức hàng trăm tỷ token mỗi ngày. Công trình kết hợp giải mã suy đoán DFlash tùy chỉnh được tinh chỉnh trên các coding trace, FP8 KV cache và lượng tử hóa shared-expert NVFP4, bộ nhớ đệm tầng CPU HiCache, và định tuyến dựa trên tải có nhận biết KV cache. Modal đã đóng góp ngược các bản vá SGLang của mình và phát hành cấu hình đằng sau Modal Auto Endpoints.
Hướng dẫn này so sánh LiveKit Agents và Pipecat, hai framework mã nguồn mở mà bài viết cho là quan trọng nhất để xây dựng AI agent thoại và video cho môi trường production, trên các khía cạnh kiến trúc, mức độ được sử dụng, trải nghiệm nhà phát triển và mức độ sẵn sàng cho production. LiveKit Agents chạy trên hạ tầng WebRTC và SIP mã nguồn mở của LiveKit và tự nối pipeline cho bạn, trong khi Pipecat không giả định transport nào và để nhà phát triển tự lắp pipeline theo từng giai đoạn. Bài viết cũng đề cập vị trí của TEN Framework, Dograh, Vision Agents và Vocode.
LiveKit giải thích rằng cảnh báo "suy luận chậm hơn thời gian thực" trong các voice agent của mình đề cập đến mô hình VAD cục bộ, không phải các mô hình STT, TTS hay LLM được sử dụng thông qua LiveKit Inference. Mỗi cửa sổ âm thanh 32ms phải được xử lý trong vòng dưới 32ms, và độ trễ được báo cáo cho thấy VAD đã bị tụt lại phía sau âm thanh trực tiếp bao xa. Vòng lặp sự kiện bị chặn và CPU bão hòa là những nguyên nhân chính, và cách khắc phục là loại trừ mã đồng bộ thay vì thêm luồng.
Phát hiện hộp thư thoại, còn gọi là phát hiện máy trả lời tự động, quyết định trong khoảng ba đến năm giây liệu một cuộc gọi ra có gặp người thật hay bản ghi âm, dựa vào tín hiệu thời gian và hành vi thay vì âm thanh giọng nói. Một bản tiền ấn phẩm arXiv năm 2026 phát hiện các đặc trưng thời gian đơn thuần có thể sánh ngang với các phương pháp dựa trên tiếng bíp và từ khóa trong khi tránh được độ trễ gia tăng của chúng. Vapi cho phép người dùng chọn nhà cung cấp phát hiện, tinh chỉnh thời gian và chuyển lại sang hội thoại khi có người trả lời.
Botika vận hành hoạt động AI tạo sinh toàn diện của mình trên Modal, bao gồm đường ống dữ liệu hình ảnh 100 terabyte, các mô hình nền tảng nội bộ với hàng chục tỷ tham số và khoảng 15 mô hình phục vụ suy luận trong môi trường sản xuất. Đường ống này xử lý tập dữ liệu đó với tỷ lệ lỗi dưới 1% trên hàng nghìn container đồng thời, và một nhà nghiên cứu giờ đây có thể chạy 50 thí nghiệm mỗi ngày thay vì một hoặc hai.
Blog của LiveKit phân tích lý do vì sao các tác nhân thoại thường im lặng sau những câu trả lời ngắn như "yes" hay "ok", truy nguyên đến lỗi phát hiện lượt nói. Nguyên nhân phổ biến nhất là các nhà cung cấp STT bỏ sót đoạn nói ngắn và không bao giờ phát ra final_transcript, khiến việc phát hiện kết thúc phát ngôn hoàn toàn bị chặn. Bài viết cũng đề cập đến độ trễ endpointing quá mạnh tay hoặc quá dễ dãi và cấu hình khử nhiễu sai khiến âm thanh ngắn bị loại bỏ như nhiễu.
Vapi đã công bố một bộ tiêu chí gồm bảy điểm để đánh giá các AI voice agent trong trải nghiệm khách hàng, bao gồm khả năng giải quyết vấn đề, chất lượng giọng nói thời gian thực, khả năng thực hiện hành động, chuyển tuyến, tính linh hoạt của mô hình, độ tin cậy trong vòng đời và kiểm soát nền tảng. Hướng dẫn lập luận rằng việc containment và deflection đang đếm quá mức thành công, vì những người gọi được containment có thể chỉ đơn giản là cúp máy, và trích dẫn dữ liệu của ContactBabel cho thấy sở thích điện thoại cho các tương tác phức tạp đã tăng từ 28% vào năm 2018 lên 47% vào năm 2024. Vapi tự định vị mình là một lớp nền tảng không phụ thuộc mô hình với endpointing có thể cấu hình, xử lý ngắt lời và khử nhiễu nền.
LiveKit đang mở rộng kiến trúc SFU của mình ra ngoài các liên kết ngang hàng đơn lẻ để các triển khai robot có thể chạy các phiên đa người tham gia, trong đó một Room cho phép mỗi camera, mô hình, người vận hành hoặc dịch vụ tham gia như một người tham gia riêng. LiveKit mô tả ba kiến trúc: ghi dữ liệu có con người trong vòng lặp với robot, policy, người vận hành và bộ ghi trong cùng một phiên; điều phối kỹ năng do VLM dẫn dắt, trong đó một mô hình ngôn ngữ-thị giác chọn kỹ năng ở tần suất khoảng 1 Hz trong khi các người tham gia policy riêng biệt điều khiển robot ở tần suất hàng chục hertz; và leo thang policy, trong đó một mô hình phần thưởng ở 30 Hz hoặc cao hơn đánh dấu các trạng thái bị kẹt hoặc không an toàn và robot thu hồi quyền từ policy chuyên biệt.
Một hướng dẫn trung lập với nhà cung cấp đưa ra năm tiêu chí để chọn nền tảng AI hội thoại cho các tác nhân thoại doanh nghiệp: quyền kiểm soát của nhà phát triển, lựa chọn mô hình và dự phòng, kiểm thử và khả năng quan sát, toàn bộ vòng đời tác nhân, và tuân thủ ở quy mô lớn. Hướng dẫn trích dẫn một khảo sát của Zapier với 542 giám đốc điều hành cấp C tại Mỹ, trong đó 81% lo ngại về việc phụ thuộc vào một nhà cung cấp AI cụ thể và chỉ 6% có thể từ bỏ nhà cung cấp chính của họ mà không bị gián đoạn. Hướng dẫn lập luận rằng độ trễ và điều phối quan trọng hơn danh sách tính năng, đồng thời lưu ý phát hiện của AssemblyAI rằng độ trễ vượt quá 500–700 ms tạo cảm giác không tự nhiên.
Vapi lập luận rằng các tác nhân giọng nói được đánh giá dựa trên năm khía cạnh thời gian thực: độ trễ, cách luân phiên lượt nói, xử lý ngắt lời, ngữ điệu và một pipeline có khả năng phục hồi. Công ty trích dẫn nghiên cứu cho thấy khoảng cách lượt nói của con người gần 200ms và ghi nhận độ trễ vượt khoảng 500–700ms sẽ tạo cảm giác không tự nhiên, trong khi các pipeline tuần tự đơn giản có thể tốn khoảng 1,9 giây so với 600–900ms ở các pipeline được tối ưu. Vapi định vị pipeline không phụ thuộc mô hình của mình là có thể tinh chỉnh và kiểm thử thông qua các cuộc gọi mô phỏng.
Vapi đã công bố câu trả lời cho các câu hỏi từ webinar của họ với Anthropic về AI giọng nói, trình bày chi tiết tác nhân demo đặt xe trực tiếp được xây dựng trên Vapi với Claude Haiku của Anthropic và giọng nói Layla v2. Tác nhân đã sử dụng năm công cụ — ước tính, đặt, kiểm tra trạng thái, hủy và kết thúc cuộc gọi — cùng với endpointing thông minh và ngưỡng ngắt lời thận trọng để đạt được lượt hội thoại dưới một giây. Các tác nhân chạy Claude trên Vapi đã xử lý gần 5 triệu cuộc gọi trong 30 ngày qua trên hơn 50 ngôn ngữ.
Đại lý thoại AI cắt giảm thời gian chờ của khách hàng theo hai cách: loại bỏ công việc khỏi hàng đợi thông qua tự phục vụ chuyển hướng, định tuyến thông minh, hỗ trợ đại lý và dự đoán nhu cầu, đồng thời trả lời ngay lập tức mà không cần giữ máy. SQM Group phát hiện khách hàng hủy cuộc gọi trung bình ở phút 2 giây 36, trong khi ContactBabel đưa ra tỷ lệ hủy cuộc gọi trung bình của Vương quốc Anh là 8,4% vào năm 2024. Vapi cho biết một đại lý thoại đầu tiên có thể được thiết lập từ bảng điều khiển của nó trong vài phút, sau đó được đo lường trên ASA, tỷ lệ hủy cuộc gọi và giải quyết cuộc gọi đầu tiên.
Modal đã công bố một công cụ tương tác để ước tính chi phí GPU serverless so với GPU đặt trước, mặc định dùng mức giá hiện hành cho một GPU B200 chạy serverless trên Modal và qua đặt trước ba năm với hyperscaler. Mô hình cho thấy khi tỷ lệ đỉnh trên trung bình của ứng dụng vượt quá tỷ lệ chiết khấu đặt trước, GPU serverless có tổng chi phí thấp hơn, và Modal dẫn ra mức chiết khấu quan sát được từ 2-5 lần so với tỷ lệ đỉnh trên trung bình 5-10 lần.
Vapi đã công bố câu trả lời cho bảy câu hỏi được hỏi nhiều nhất từ hội thảo trực tuyến của mình với Spring Venture Group, nơi Homer Kay mô tả cách SVG sử dụng các tác nhân thoại của Vapi để sàng lọc khách hàng tiềm năng Medicare trước khi chuyển người gọi đến các tác nhân được cấp phép. Các câu trả lời bao gồm tuân thủ quy định gọi ra ngoài, tích hợp ưu tiên API, hoán đổi độc lập các thành phần STT, LLM và TTS, chuyển giao cho con người, và cấu hình đủ điều kiện HIPAA với Zero Data Retention.
Thành công của AI giọng nói bắt đầu từ việc lựa chọn trường hợp sử dụng: các tác vụ kết thúc bằng liên kết, mã hoặc số nên dùng chat, trong khi các vấn đề khẩn cấp, khó gõ hoặc mang nặng cảm xúc phù hợp với giọng nói. Kịch bản chat phải được viết lại cho đôi tai—chia đoạn dài thành các lượt một ý, đọc to lại các chi tiết đã thu thập như ngày tháng, và giới hạn lựa chọn bằng lời nói ở hai hoặc ba. Một công ty nhân sự đã giảm 30% lỗi bố trí ở khâu sau bằng cách xác nhận từng vị trí ngay khi thu thập, và một nhóm khác đã cắt giảm 40 giây thời lượng cuộc gọi trung bình bằng cách biến các câu hỏi mở thành lựa chọn.
Vapi đã xây dựng 15 voice agent trên trang chủ của mình — 3 trường hợp sử dụng trên 5 ngôn ngữ — bằng cách tạo chúng từ một tệp ROUGH_DRAFT.md duy nhất thay vì chỉnh sửa thủ công từng cái trong dashboard. Khung bốn giai đoạn (lập kế hoạch, phác thảo, khởi tạo, gia cố) tạo khung một dự án TypeScript với OpenAI gpt-4.1 ở temperature 0.5, các stack giọng nói ElevenLabs và Deepgram/Soniox, cùng một vòng lặp upsert idempotent lưu ID assistant trong .env.local. Repo được công khai: clone nó, thêm VAPI_PRIVATE_KEY, và chạy bun run bootstrap.
Modal đã đóng góp các tối ưu hóa cho kernel FlashAttention-4 nhằm tăng tốc các khối lượng công việc suy luận LLM nặng về giải mã, nơi băng thông bộ nhớ là điểm nghẽn. Các thay đổi bao gồm việc chuyển kỹ thuật song song hóa "split KV" sang FA4 và thay thế các tải TMA cp.async.bulk bằng cp.async cho các truy cập bộ nhớ không đều. Một PR đầu vào FP8 (được hợp nhất ngày 17 tháng 4 năm 2026) mang lại thông lượng lên đến 1,16 lần so với đường cơ sở bf16 và cho phép bộ nhớ đệm KV nhỏ hơn.
Modal cho rằng nút thắt trong hậu huấn luyện bằng học tăng cường cho LLM giờ đây là hạ tầng chứ không phải thuật toán, và đã phát hành một thư viện mã nguồn mở rút ra từ việc chạy RL ở quy mô lớn. Bài viết nêu chi tiết ba điểm đau — mã keo, xếp hàng cụm và GPU sử dụng dưới mức — và báo cáo việc đồng bộ trọng số qua RDMA giảm thời gian cập nhật Qwen3 8B từ 2,62s xuống 41ms.
Modal đã công bố một bài viết kỹ thuật về cách họ giảm thời gian khởi động bản sao suy luận AI từ khoảng 2.000 giây xuống còn khoảng 50 giây bằng bốn thành phần: một bộ đệm các GPU khỏe mạnh nhàn rỗi, một hệ thống tệp được định địa chỉ theo nội dung một cách lười biếng có tên ImageFS, checkpoint/restore phía máy chủ thông qua runsc của gVisor, và checkpoint/restore CUDA được xây dựng trên hỗ trợ trình điều khiển Nvidia. Qua hơn mười nghìn lần khởi động nguội, độ trễ khởi động trung bình của vLLM giảm từ 95.679 ms xuống 13.797 ms và của SGLang từ 83.713 ms xuống 17.486 ms đối với mô hình Qwen 3 0.6B khoảng 1 GiB ở định dạng bf16. Bài viết cũng nêu các hạn chế, bao gồm ảnh chụp nhanh chỉ hỗ trợ một GPU và độ nhạy cảm với môi trường máy chủ đòi hỏi nhiều ảnh chụp nhanh cho mỗi lần triển khai.
Nhóm của Vapi đã xem xét hàng nghìn triển khai thoại và xác định năm đặc điểm dự báo liệu một trường hợp sử dụng tác nhân thoại có thành công hay không: khối lượng cuộc gọi cao, hội thoại lặp lại và có thể dự đoán, tiêu chí thành công rõ ràng, và hai đặc điểm nữa. Thiếu một đặc điểm có thể được bù đắp, nhưng thiếu ba đặc điểm nghĩa là nên khám phá các trường hợp sử dụng thay thế.
OpenAI đã công bố hướng dẫn prompting thời gian thực cho voice agent, bao gồm Realtime 2 reasoning, preambles, tools và trích xuất thực thể chính xác. Hướng dẫn giải thích cách cấu trúc prompt để voice agent thời gian thực xử lý reasoning và sử dụng tool trong khi trích xuất thực thể một cách chính xác.