Tới nội dung
#Hướng dẫn / thực hành
2 tháng 10Thứ Sáu
  1. GitHub Blog · AI & ML25

    GitHub Blog: Ba kỹ năng lập trình viên cần khi AI định hình lại công việc

    GitHub Blog nêu ra ba kỹ năng mà lập trình viên nên củng cố khi AI thay đổi công việc của họ: điều hướng các tác nhân AI thay vì chỉ sử dụng chúng, đánh giá phê bình đầu ra của AI thay vì tin vào câu trả lời đầu tiên, và dùng thời gian AI tiết kiệm được để giải quyết những vấn đề rộng lớn hơn. Bài viết dẫn ra tác nhân Rubber Duck tích hợp sẵn của GitHub Copilot, sử dụng một mô hình thứ hai để phê bình kế hoạch, mã và kiểm thử trước khi lập trình viên tiến hành.

  2. Every36

    Làm thế nào để giỏi AI hơn bằng cách hỏi AI: Năm lời nhắc để giao dự án cho nhóm tác nhân

    Một nhân viên của Every mô tả việc chuyển từ nhắc đơn luồng sang giao toàn bộ dự án cho các tác nhân con phối hợp, sử dụng skills, luồng orchestrator, gói ngữ cảnh, MCP và computer use. Sự thay đổi này được thúc đẩy bởi một tweet vào tháng 6, trong đó Katie Parrott yêu cầu Codex đặt cô vào hướng dẫn "Eight Levels of AI Adoption"; Codex xếp cô ở Cấp 5 với những bước khởi đầu của Cấp 6.

1 tháng 10Thứ Năm
  1. Anthropic · Claude.dev60

    Bắt đầu với Claude Code mods: xây dựng dự báo cửa sổ ngữ cảnh

    Claude Code mods là các tệp JavaScript hoặc TypeScript nhỏ chạy bên trong một phiên như các hook được đóng gói trong plugin, và có thể quan sát sự kiện, viết lại hành vi hoặc vẽ giao diện tùy chỉnh trong terminal hoặc ứng dụng desktop. Hướng dẫn xây dựng Token Weather, một mod khoảng 80 dòng đọc $.session.usage() sau mỗi lượt và vẽ dải cửa sổ ngữ cảnh kiểu thời tiết phía trên prompt, sau đó giới thiệu Blast Radius, giữ các lệnh Bash rủi ro, và Replay Theater, duyệt qua các chỉnh sửa của một lượt. Mods yêu cầu Claude Code 2.1.287 trở lên và được bật mặc định; mã hoàn chỉnh cho cả ba nằm trong anthropics/claude-code-playground.

    Vì sao đáng chú ý: Hướng dẫn thực hành về Claude Code mods xây dựng một đồng hồ đo cửa sổ ngữ cảnh hoạt động trong khoảng 80 dòng, cho thấy cách hook, trạng thái và giao diện tùy chỉnh kết hợp với nhau.

28 tháng 9Thứ Hai
  1. Anthropic · Claude.dev72

    Anthropic bổ sung lệnh build-eval và hillclimb vào skill claude-api trong Claude Code

    Anthropic đã thêm hai lệnh vào skill claude-api bên trong Claude Code: /claude-api build-eval xây dựng một bộ đánh giá trong codebase của bạn, và /claude-api hillclimb lặp cải tiến một ứng dụng dựa trên bộ đánh giá đó với một tập giữ riêng để phát hiện overfitting.

    Vì sao đáng chú ý: Anthropic bổ sung lệnh build-eval và hillclimb vào skill claude-api của mình, cho thấy Claude Code có thể thiết kế các bộ đánh giá và lặp cải tiến dựa trên chúng đồng thời phòng ngừa overfitting.

23 tháng 9Thứ Tư
  1. Vapi Blog38

    Vapi thử nghiệm Jev như một hàng rào bảo vệ thời gian thực cho AI giọng nói

    Vapi đã chạy các thử nghiệm ban đầu sử dụng mô hình "System One" Jev trong chương trình truy cập sớm của TypeSafe AI như một hàng rào bảo vệ chấm điểm liệu phản hồi của trợ lý giọng nói có vi phạm quy tắc do nhà phát triển định nghĩa trước khi được phát ra hay không. Trong một thử nghiệm ban đầu, Jev đã phát hiện ít nhất ba trong bốn phản hồi vi phạm, mặc dù Vapi cho biết đây không phải là bảo đảm tuân thủ 100% mà chỉ là một lớp kiểm tra bổ sung bên trên các hàng rào bảo vệ bằng prompt.

  2. Every58

    Mike Taylor của Every bàn về quy trình viết với AI bắt đầu trước cả lúc đưa ra câu lệnh

    Trưởng bộ phận đánh giá của Every, Mike Taylor, trình bày quy trình viết mà ông dùng với AI, từ việc viết tiêu đề trước và thu thập nguồn cho đến ghi âm một đoạn độc thoại nói và tạo bản nháp từ Claude Opus 5.5, Fable 5.1 và GPT-6 Astra. Ông nói quy trình này đã rút thời gian viết một bài 1.200 từ của ông từ một ngày xuống dưới hai giờ mà không giảm lưu lượng truy cập hay bình luận tích cực của độc giả, và ông vẫn tự viết phần mở đầu và kết luận, đồng thời dự kiến 20-30 phần trăm bản nháp sẽ thay đổi trong quá trình tự biên tập.

  3. Modal Blog58

    Modal phục vụ hàng nghìn tỷ token cho các coding agent nghìn tỷ tham số như thế nào

    Modal giải thích cách họ tối ưu hóa suy luận Kimi K2.6 cho các coding agent, đạt hiệu năng gấp 2,8 lần mỗi người dùng và 5,6 lần giữa các người dùng trên mỗi replica, đồng thời vận hành dịch vụ ở mức hàng trăm tỷ token mỗi ngày. Công trình kết hợp giải mã suy đoán DFlash tùy chỉnh được tinh chỉnh trên các coding trace, FP8 KV cache và lượng tử hóa shared-expert NVFP4, bộ nhớ đệm tầng CPU HiCache, và định tuyến dựa trên tải có nhận biết KV cache. Modal đã đóng góp ngược các bản vá SGLang của mình và phát hành cấu hình đằng sau Modal Auto Endpoints.

21 tháng 9Thứ Hai
  1. Every44

    Cách tạo benchmark AI cá nhân của riêng bạn

    Trưởng bộ phận đánh giá của Every giải thích cách xây dựng một benchmark AI cá nhân thay vì dựa vào MMLU-Pro và các bài kiểm tra công khai khác, dựa trên kinh nghiệm của chính anh ấy khi thử nghiệm Claude Opus 5, Claude Fable 5, GPT-5.6 Sol, Astra, Luna và Haiku trên các tác vụ công việc thực tế. Phương pháp này có ba cấp độ và nhằm mục đích chỉ ra khi nào nên chuyển đổi mô hình và liệu một mô hình nhỏ hơn, rẻ hơn có đủ dùng hay không.

  2. LiveKit Blog38

    So sánh các framework mã nguồn mở cho AI agent thoại và video thời gian thực: LiveKit Agents và Pipecat

    Hướng dẫn này so sánh LiveKit Agents và Pipecat, hai framework mã nguồn mở mà bài viết cho là quan trọng nhất để xây dựng AI agent thoại và video cho môi trường production, trên các khía cạnh kiến trúc, mức độ được sử dụng, trải nghiệm nhà phát triển và mức độ sẵn sàng cho production. LiveKit Agents chạy trên hạ tầng WebRTC và SIP mã nguồn mở của LiveKit và tự nối pipeline cho bạn, trong khi Pipecat không giả định transport nào và để nhà phát triển tự lắp pipeline theo từng giai đoạn. Bài viết cũng đề cập vị trí của TEN Framework, Dograh, Vision Agents và Vocode.

9 tháng 9Thứ Tư
  1. LiveKit Blog22

    "Suy luận chậm hơn thời gian thực" có nghĩa là gì trong các voice agent của LiveKit

    LiveKit giải thích rằng cảnh báo "suy luận chậm hơn thời gian thực" trong các voice agent của mình đề cập đến mô hình VAD cục bộ, không phải các mô hình STT, TTS hay LLM được sử dụng thông qua LiveKit Inference. Mỗi cửa sổ âm thanh 32ms phải được xử lý trong vòng dưới 32ms, và độ trễ được báo cáo cho thấy VAD đã bị tụt lại phía sau âm thanh trực tiếp bao xa. Vòng lặp sự kiện bị chặn và CPU bão hòa là những nguyên nhân chính, và cách khắc phục là loại trừ mã đồng bộ thay vì thêm luồng.

3 tháng 9Thứ Năm
  1. Vapi Blog38

    Cách các tác nhân giọng nói AI phân biệt người thật với hộp thư thoại

    Phát hiện hộp thư thoại, còn gọi là phát hiện máy trả lời tự động, quyết định trong khoảng ba đến năm giây liệu một cuộc gọi ra có gặp người thật hay bản ghi âm, dựa vào tín hiệu thời gian và hành vi thay vì âm thanh giọng nói. Một bản tiền ấn phẩm arXiv năm 2026 phát hiện các đặc trưng thời gian đơn thuần có thể sánh ngang với các phương pháp dựa trên tiếng bíp và từ khóa trong khi tránh được độ trễ gia tăng của chúng. Vapi cho phép người dùng chọn nhà cung cấp phát hiện, tinh chỉnh thời gian và chuyển lại sang hội thoại khi có người trả lời.

2 tháng 9Thứ Tư
  1. Modal Blog22

    Botika vận hành AI tạo sinh toàn diện trên Modal như thế nào

    Botika vận hành hoạt động AI tạo sinh toàn diện của mình trên Modal, bao gồm đường ống dữ liệu hình ảnh 100 terabyte, các mô hình nền tảng nội bộ với hàng chục tỷ tham số và khoảng 15 mô hình phục vụ suy luận trong môi trường sản xuất. Đường ống này xử lý tập dữ liệu đó với tỷ lệ lỗi dưới 1% trên hàng nghìn container đồng thời, và một nhà nghiên cứu giờ đây có thể chạy 50 thí nghiệm mỗi ngày thay vì một hoặc hai.

24 tháng 8Thứ Hai
  1. LiveKit Blog36

    Gỡ lỗi các phát ngôn ngắn trong tác nhân thoại

    Blog của LiveKit phân tích lý do vì sao các tác nhân thoại thường im lặng sau những câu trả lời ngắn như "yes" hay "ok", truy nguyên đến lỗi phát hiện lượt nói. Nguyên nhân phổ biến nhất là các nhà cung cấp STT bỏ sót đoạn nói ngắn và không bao giờ phát ra final_transcript, khiến việc phát hiện kết thúc phát ngôn hoàn toàn bị chặn. Bài viết cũng đề cập đến độ trễ endpointing quá mạnh tay hoặc quá dễ dãi và cấu hình khử nhiễu sai khiến âm thanh ngắn bị loại bỏ như nhiễu.

20 tháng 8Thứ Năm
  1. Vapi Blog22

    Các AI Voice Agent tốt nhất cho CX: Cách đánh giá chúng

    Vapi đã công bố một bộ tiêu chí gồm bảy điểm để đánh giá các AI voice agent trong trải nghiệm khách hàng, bao gồm khả năng giải quyết vấn đề, chất lượng giọng nói thời gian thực, khả năng thực hiện hành động, chuyển tuyến, tính linh hoạt của mô hình, độ tin cậy trong vòng đời và kiểm soát nền tảng. Hướng dẫn lập luận rằng việc containment và deflection đang đếm quá mức thành công, vì những người gọi được containment có thể chỉ đơn giản là cúp máy, và trích dẫn dữ liệu của ContactBabel cho thấy sở thích điện thoại cho các tương tác phức tạp đã tăng từ 28% vào năm 2018 lên 47% vào năm 2024. Vapi tự định vị mình là một lớp nền tảng không phụ thuộc mô hình với endpointing có thể cấu hình, xử lý ngắt lời và khử nhiễu nền.

18 tháng 8Thứ Ba
  1. LiveKit Blog40

    LiveKit: robot đa người tham gia vượt ra ngoài kết nối 1:1

    LiveKit đang mở rộng kiến trúc SFU của mình ra ngoài các liên kết ngang hàng đơn lẻ để các triển khai robot có thể chạy các phiên đa người tham gia, trong đó một Room cho phép mỗi camera, mô hình, người vận hành hoặc dịch vụ tham gia như một người tham gia riêng. LiveKit mô tả ba kiến trúc: ghi dữ liệu có con người trong vòng lặp với robot, policy, người vận hành và bộ ghi trong cùng một phiên; điều phối kỹ năng do VLM dẫn dắt, trong đó một mô hình ngôn ngữ-thị giác chọn kỹ năng ở tần suất khoảng 1 Hz trong khi các người tham gia policy riêng biệt điều khiển robot ở tần suất hàng chục hertz; và leo thang policy, trong đó một mô hình phần thưởng ở 30 Hz hoặc cao hơn đánh dấu các trạng thái bị kẹt hoặc không an toàn và robot thu hồi quyền từ policy chuyên biệt.

14 tháng 8Thứ Sáu
  1. Vapi Blog22

    Cách chọn nền tảng AI hội thoại cho phát triển doanh nghiệp

    Một hướng dẫn trung lập với nhà cung cấp đưa ra năm tiêu chí để chọn nền tảng AI hội thoại cho các tác nhân thoại doanh nghiệp: quyền kiểm soát của nhà phát triển, lựa chọn mô hình và dự phòng, kiểm thử và khả năng quan sát, toàn bộ vòng đời tác nhân, và tuân thủ ở quy mô lớn. Hướng dẫn trích dẫn một khảo sát của Zapier với 542 giám đốc điều hành cấp C tại Mỹ, trong đó 81% lo ngại về việc phụ thuộc vào một nhà cung cấp AI cụ thể và chỉ 6% có thể từ bỏ nhà cung cấp chính của họ mà không bị gián đoạn. Hướng dẫn lập luận rằng độ trễ và điều phối quan trọng hơn danh sách tính năng, đồng thời lưu ý phát hiện của AssemblyAI rằng độ trễ vượt quá 500–700 ms tạo cảm giác không tự nhiên.

4 tháng 8Thứ Ba
  1. Vapi Blog22

    Điều gì tạo nên trải nghiệm AI hội thoại tuyệt vời: Vapi bàn về thiết kế giọng nói

    Vapi lập luận rằng các tác nhân giọng nói được đánh giá dựa trên năm khía cạnh thời gian thực: độ trễ, cách luân phiên lượt nói, xử lý ngắt lời, ngữ điệu và một pipeline có khả năng phục hồi. Công ty trích dẫn nghiên cứu cho thấy khoảng cách lượt nói của con người gần 200ms và ghi nhận độ trễ vượt khoảng 500–700ms sẽ tạo cảm giác không tự nhiên, trong khi các pipeline tuần tự đơn giản có thể tốn khoảng 1,9 giây so với 600–900ms ở các pipeline được tối ưu. Vapi định vị pipeline không phụ thuộc mô hình của mình là có thể tinh chỉnh và kiểm thử thông qua các cuộc gọi mô phỏng.

27 tháng 7Thứ Hai
  1. Vapi Blog22

    Hỏi đáp webinar Anthropic và Vapi: Cách xây dựng tác nhân giọng nói đặt xe Claude Haiku

    Vapi đã công bố câu trả lời cho các câu hỏi từ webinar của họ với Anthropic về AI giọng nói, trình bày chi tiết tác nhân demo đặt xe trực tiếp được xây dựng trên Vapi với Claude Haiku của Anthropic và giọng nói Layla v2. Tác nhân đã sử dụng năm công cụ — ước tính, đặt, kiểm tra trạng thái, hủy và kết thúc cuộc gọi — cùng với endpointing thông minh và ngưỡng ngắt lời thận trọng để đạt được lượt hội thoại dưới một giây. Các tác nhân chạy Claude trên Vapi đã xử lý gần 5 triệu cuộc gọi trong 30 ngày qua trên hơn 50 ngôn ngữ.

24 tháng 7Thứ Sáu
  1. Vapi Blog22

    Cách giảm thời gian chờ của khách hàng bằng đại lý thoại AI

    Đại lý thoại AI cắt giảm thời gian chờ của khách hàng theo hai cách: loại bỏ công việc khỏi hàng đợi thông qua tự phục vụ chuyển hướng, định tuyến thông minh, hỗ trợ đại lý và dự đoán nhu cầu, đồng thời trả lời ngay lập tức mà không cần giữ máy. SQM Group phát hiện khách hàng hủy cuộc gọi trung bình ở phút 2 giây 36, trong khi ContactBabel đưa ra tỷ lệ hủy cuộc gọi trung bình của Vương quốc Anh là 8,4% vào năm 2024. Vapi cho biết một đại lý thoại đầu tiên có thể được thiết lập từ bảng điều khiển của nó trong vài phút, sau đó được đo lường trên ASA, tỷ lệ hủy cuộc gọi và giải quyết cuộc gọi đầu tiên.

13 tháng 7Thứ Hai
  1. Every38

    Cách tôi đánh bóng phần mềm do agent xây dựng

    Kieran Klaassen mô tả "polish" (đánh bóng), bước cuối cùng trong quy trình kỹ thuật tổng hợp của anh, nơi anh tự chạy ứng dụng và nói cho agent biết chỗ nào chưa ổn cho đến khi hết chưa ổn. Dùng lệnh /ce-polish từ plugin kỹ thuật tổng hợp, anh checkout một nhánh, khởi động dev server và mở ứng dụng đang chạy bên cạnh agent trong trình soạn thảo. Anh dẫn chứng một hoạt ảnh thẻ email Cora đã vượt qua mọi kiểm tra tự động và agent đánh giá nhưng vẫn trượt vào từ đỉnh màn hình thay vì mở ra từ điểm nhấp.

6 tháng 7Thứ Hai
  1. Modal Blog38

    Cách định giá GPU serverless: Mô hình chi phí tương tác của Modal

    Modal đã công bố một công cụ tương tác để ước tính chi phí GPU serverless so với GPU đặt trước, mặc định dùng mức giá hiện hành cho một GPU B200 chạy serverless trên Modal và qua đặt trước ba năm với hyperscaler. Mô hình cho thấy khi tỷ lệ đỉnh trên trung bình của ứng dụng vượt quá tỷ lệ chiết khấu đặt trước, GPU serverless có tổng chi phí thấp hơn, và Modal dẫn ra mức chiết khấu quan sát được từ 2-5 lần so với tỷ lệ đỉnh trên trung bình 5-10 lần.

24 tháng 6Thứ Tư
  1. Vapi Blog15

    Vapi trả lời các câu hỏi hàng đầu từ hội thảo trực tuyến về sàng lọc khách hàng tiềm năng của SVG

    Vapi đã công bố câu trả lời cho bảy câu hỏi được hỏi nhiều nhất từ hội thảo trực tuyến của mình với Spring Venture Group, nơi Homer Kay mô tả cách SVG sử dụng các tác nhân thoại của Vapi để sàng lọc khách hàng tiềm năng Medicare trước khi chuyển người gọi đến các tác nhân được cấp phép. Các câu trả lời bao gồm tuân thủ quy định gọi ra ngoài, tích hợp ưu tiên API, hoán đổi độc lập các thành phần STT, LLM và TTS, chuyển giao cho con người, và cấu hình đủ điều kiện HIPAA với Zero Data Retention.

17 tháng 6Thứ Tư
  1. Vapi Blog30

    Được xây dựng cho đôi tai: Thiết kế hội thoại cho AI giọng nói

    Thành công của AI giọng nói bắt đầu từ việc lựa chọn trường hợp sử dụng: các tác vụ kết thúc bằng liên kết, mã hoặc số nên dùng chat, trong khi các vấn đề khẩn cấp, khó gõ hoặc mang nặng cảm xúc phù hợp với giọng nói. Kịch bản chat phải được viết lại cho đôi tai—chia đoạn dài thành các lượt một ý, đọc to lại các chi tiết đã thu thập như ngày tháng, và giới hạn lựa chọn bằng lời nói ở hai hoặc ba. Một công ty nhân sự đã giảm 30% lỗi bố trí ở khâu sau bằng cách xác nhận từng vị trí ngay khi thu thập, và một nhóm khác đã cắt giảm 40 giây thời lượng cuộc gọi trung bình bằng cách biến các câu hỏi mở thành lựa chọn.

  2. Vapi Blog40

    Vapi đã dựng 15 voice agent trang chủ bằng code như thế nào

    Vapi đã xây dựng 15 voice agent trên trang chủ của mình — 3 trường hợp sử dụng trên 5 ngôn ngữ — bằng cách tạo chúng từ một tệp ROUGH_DRAFT.md duy nhất thay vì chỉnh sửa thủ công từng cái trong dashboard. Khung bốn giai đoạn (lập kế hoạch, phác thảo, khởi tạo, gia cố) tạo khung một dự án TypeScript với OpenAI gpt-4.1 ở temperature 0.5, các stack giọng nói ElevenLabs và Deepgram/Soniox, cùng một vòng lặp upsert idempotent lưu ID assistant trong .env.local. Repo được công khai: clone nó, thêm VAPI_PRIVATE_KEY, và chạy bun run bootstrap.

11 tháng 6Thứ Năm
  1. Modal Blog34

    Modal giúp FlashAttention-4 nhanh hơn cho suy luận LLM

    Modal đã đóng góp các tối ưu hóa cho kernel FlashAttention-4 nhằm tăng tốc các khối lượng công việc suy luận LLM nặng về giải mã, nơi băng thông bộ nhớ là điểm nghẽn. Các thay đổi bao gồm việc chuyển kỹ thuật song song hóa "split KV" sang FA4 và thay thế các tải TMA cp.async.bulk bằng cp.async cho các truy cập bộ nhớ không đều. Một PR đầu vào FP8 (được hợp nhất ngày 17 tháng 4 năm 2026) mang lại thông lượng lên đến 1,16 lần so với đường cơ sở bf16 và cho phép bộ nhớ đệm KV nhỏ hơn.

1 tháng 6Thứ Hai
  1. Modal Blog46

    Modal: Học tăng cường cho hậu huấn luyện LLM là một bài toán hạ tầng

    Modal cho rằng nút thắt trong hậu huấn luyện bằng học tăng cường cho LLM giờ đây là hạ tầng chứ không phải thuật toán, và đã phát hành một thư viện mã nguồn mở rút ra từ việc chạy RL ở quy mô lớn. Bài viết nêu chi tiết ba điểm đau — mã keo, xếp hàng cụm và GPU sử dụng dưới mức — và báo cáo việc đồng bộ trọng số qua RDMA giảm thời gian cập nhật Qwen3 8B từ 2,62s xuống 41ms.

29 tháng 5Thứ Sáu
  1. Every22

    Compound Engineering mở rộng từ bốn bước lên tám bước

    Compound engineering, triết lý kỹ thuật bản địa AI, đã mở rộng vòng lặp cốt lõi từ bốn bước lên tám bước, bổ sung Ideate và Brainstorm ở phần đầu và Polish ở phần cuối. Vòng lặp ban đầu—brainstorm, work, review, compound—vẫn là chu trình kỹ thuật cốt lõi, nhưng bản cập nhật phản ánh nơi sự chú ý của con người hiện đang hướng tới: quyết định xây dựng cái gì và đánh giá liệu sản phẩm hoàn thiện có cảm giác đúng hay không.

15 tháng 5Thứ Sáu
  1. Every40

    Every đang thiết kế lại các AI Agent Plus One của mình thành tài nguyên nhóm dùng chung

    Every đang thay đổi sản phẩm Plus One để các AI agent của mình hoạt động như tài nguyên nhóm dùng chung với nhiệm vụ được xác định, thay vì mỗi nhân viên có một trợ lý cá nhân. Công ty cho biết phiên bản đầu tiên, được xây dựng trên OpenClaw, mang lại nhiều bực bội hơn là hiệu quả, khi các agent thường không tuân theo chỉ dẫn. Phiên bản tiếp theo được kỳ vọng sẽ ổn định hơn, với các kỹ năng và tích hợp vẫn nằm trong kế hoạch.

12 tháng 5Thứ Ba
  1. Modal Blog58

    Modal đã đạt được GPU phi máy chủ thực sự như thế nào

    Modal đã công bố một bài viết kỹ thuật về cách họ giảm thời gian khởi động bản sao suy luận AI từ khoảng 2.000 giây xuống còn khoảng 50 giây bằng bốn thành phần: một bộ đệm các GPU khỏe mạnh nhàn rỗi, một hệ thống tệp được định địa chỉ theo nội dung một cách lười biếng có tên ImageFS, checkpoint/restore phía máy chủ thông qua runsc của gVisor, và checkpoint/restore CUDA được xây dựng trên hỗ trợ trình điều khiển Nvidia. Qua hơn mười nghìn lần khởi động nguội, độ trễ khởi động trung bình của vLLM giảm từ 95.679 ms xuống 13.797 ms và của SGLang từ 83.713 ms xuống 17.486 ms đối với mô hình Qwen 3 0.6B khoảng 1 GiB ở định dạng bf16. Bài viết cũng nêu các hạn chế, bao gồm ảnh chụp nhanh chỉ hỗ trợ một GPU và độ nhạy cảm với môi trường máy chủ đòi hỏi nhiều ảnh chụp nhanh cho mỗi lần triển khai.

5 tháng 5Thứ Ba
  1. Vapi Blog22

    Năm dấu hiệu cho thấy trường hợp sử dụng của bạn phù hợp với tác nhân thoại

    Nhóm của Vapi đã xem xét hàng nghìn triển khai thoại và xác định năm đặc điểm dự báo liệu một trường hợp sử dụng tác nhân thoại có thành công hay không: khối lượng cuộc gọi cao, hội thoại lặp lại và có thể dự đoán, tiêu chí thành công rõ ràng, và hai đặc điểm nữa. Thiếu một đặc điểm có thể được bù đắp, nhưng thiếu ba đặc điểm nghĩa là nên khám phá các trường hợp sử dụng thay thế.

  2. OpenAI Developers Blog50

    Hướng dẫn prompting thời gian thực của OpenAI cho voice agent

    OpenAI đã công bố hướng dẫn prompting thời gian thực cho voice agent, bao gồm Realtime 2 reasoning, preambles, tools và trích xuất thực thể chính xác. Hướng dẫn giải thích cách cấu trúc prompt để voice agent thời gian thực xử lý reasoning và sử dụng tool trong khi trích xuất thực thể một cách chính xác.

4 tháng 5Thứ Hai
  1. Modal Blog36

    Modal tăng hiệu suất suy luận đa phương thức của SGLang hơn 10% nhờ bộ đệm dict Python

    Modal đã phân tích bộ lập lịch của SGLang trên một khối lượng công việc đa phương thức và thay thế việc ghi sổ lặp lại các handle CUDA IPC bằng một bộ đệm dict Python đơn giản, nâng thông lượng 16,2% và giảm TTFT trung bình 13,2% cùng TPOT 17,2% trên Qwen2.5-VL-3B-Instruct chạy trên H100. Bản sửa lỗi đã được hợp nhất trong SGLang v0.5.10.

1 tháng 5Thứ Sáu
  1. Vapi Blog34

    Open Stack và Giải pháp tích hợp: Những cân nhắc chính cho nhà phát triển Voice AI

    Blog Vapi phỏng vấn Iz Shalom của Cartesia về việc lựa chọn giữa stack Voice AI tích hợp và stack mô-đun mở. Stack tích hợp phù hợp với các trường hợp sử dụng hẹp và proof of concept nhanh, trong khi stack mở phù hợp với nhiều trường hợp sử dụng, hỗ trợ đa ngôn ngữ và thay thế linh kiện. Bài viết kêu gọi các đội đo độ trễ P99 trong môi trường của chính họ và xây dựng đánh giá chặt chẽ trước khi đưa vào sản xuất.

  2. Every26

    Claude Code dành cho Quản lý Sản phẩm: Cách Tổng giám đốc của Spiral điều hành sản phẩm một mình

    Marcus Moretti, tổng giám đốc của Spiral, điều hành toàn bộ sản phẩm một mình bằng Claude Code, ông nói công cụ này đã loại bỏ công việc nhàm chán của quản lý sản phẩm bằng cách chuyển công việc từ 10 ứng dụng khác nhau vào một luồng chat duy nhất. Tài liệu sản phẩm duy nhất ông tự viết là roadmap, được phác thảo qua sáu phiên bản; mọi PRD và ticket đều do Claude viết.

29 tháng 4Thứ Tư
  1. Modal Blog33

    Xây dựng quy trình chứng minh định lý bằng RL trên Modal

    AE Studio trình bày chi tiết cách họ huấn luyện LLM chứng minh các định lý toán học bằng học tăng cường trên Modal, so sánh Evolution Strategies với GRPO trong khi giữ nguyên vòng lặp huấn luyện. Thiết lập này chạy suy luận vLLM trên GPU, xác minh trình biên dịch Lean trong các sandbox CPU cô lập, và một bộ điều phối nhẹ, sử dụng image theo từng hàm, .map() fan-out, và Volumes cho trọng số cơ sở.

17 tháng 4Thứ Sáu
  1. OpenAI Developers Blog60

    OpenAI công bố danh sách kiểm tra triển khai API cho khối lượng công việc GPT-6

    OpenAI đã công bố danh sách kiểm tra triển khai API hướng dẫn các nhà phát triển chuyển khối lượng công việc sang Responses API và dòng mô hình GPT-6, bao gồm gpt-6-astra, gpt-6.1-sol, gpt-6 Sol và gpt-6 Luna. Hướng dẫn bao gồm các mức reasoning.effort từ low đến max, text.verbosity, tool_search với tải công cụ trì hoãn, Programmatic Tool Calling, Multi-agent, compaction, bộ nhớ đệm prompt và chế độ WebSocket, mà OpenAI cho biết đã cho thấy tốc độ thực thi end-to-end nhanh hơn tới khoảng 40% đối với các quy trình có 20 lệnh gọi công cụ trở lên. Tài liệu cũng nêu chi tiết các bước về độ tin cậy và an toàn như xử lý lỗi 429 và 503, background=True cho các tác vụ dài, safety_identifier và giám sát misalignment.

    Vì sao đáng chú ý: Danh sách kiểm tra triển khai chính thức của OpenAI hợp nhất việc lựa chọn mô hình, mức reasoning effort, tool search, compaction và chế độ WebSocket vào một hướng dẫn di chuyển duy nhất cho khối lượng công việc GPT-6.

15 tháng 4Thứ Tư
  1. Modal Blog58

    Modal và OpenAI Agents SDK: xây dựng một harness agent lập trình song song với sandbox và GPU

    Modal đã công bố một bài hướng dẫn về cách xây dựng một harness agent lập trình tùy chỉnh trên nền OpenAI Agents SDK, sản phẩm mà OpenAI ra mắt hôm nay, sử dụng Modal Sandboxes để cung cấp cho agent môi trường Linux cô lập và GPU. Hướng dẫn bắt đầu từ một agent tối giản dựa trên exec, sau đó bổ sung session để lưu bộ nhớ, một orchestrator cùng pool subagent cho công việc bất đồng bộ song song, hạn mức GPU, snapshot hệ thống tệp để loại bỏ trùng lặp khâu thiết lập, và một hệ thống con skills, kết thúc bằng một harness chạy thử thách Parameter Golf của OpenAI trên các subagent GPU song song. Modal dẫn chứng đội ngũ agent lập trình chạy nền của Ramp trên Modal, mà theo Modal hiện tạo ra hơn một nửa số PR của công ty.

14 tháng 4Thứ Ba
  1. Vapi Blog27

    Kỹ sư Vapi chia sẻ bài học về triển khai AI giọng nói ở quy mô doanh nghiệp

    Các Kỹ sư Triển khai Tiền phương của Vapi cho biết khoảng cách từ bản demo đến môi trường sản xuất là nơi phần lớn các sáng kiến AI giọng nói doanh nghiệp bị đình trệ, đòi hỏi kiểm thử kỹ lưỡng, các rào chắn bảo vệ và thiết kế dựa trên ý định thay vì khớp cụm từ chính xác. Nhóm cảnh báo về "trôi dạt tính cách", khi các tác nhân tiếp nhận phong cách nói của người gọi, và lưu ý rằng LLM mang tính phi tất định, nên việc triển khai cần có dung sai lỗi được xác định và lặp lại liên tục. Họ khuyên nên bắt đầu với tối ưu hóa chi phí nhưng hướng tới tạo ra doanh thu, và đánh giá chuẩn một tương tác tốt ở mức dưới một phút.

25 tháng 3Thứ Tư
  1. Modal Blog22

    Doppel đã cắt giảm chi phí hạ tầng ML như thế nào với Modal

    Doppel đã chuyển phần lớn quy trình ML của mình sang Modal, loại bỏ những trở ngại hạ tầng làm chậm việc thử nghiệm huấn luyện và triển khai suy luận. Các thử nghiệm song song qua map() đã thay thế các lần chạy tuần tự, trong khi bộ nhớ đệm lớp image và volume lưu trữ liên tục giúp giảm thời gian build tới 10 lần, với các thiết lập phức tạp đạt thời gian build nóng dưới một phút.

12 tháng 3Thứ Năm
  1. OpenAI Developers Blog67

    OpenAI cập nhật hướng dẫn viết prompt cho Sora 2 với tham chiếu nhân vật, clip 20 giây và gia hạn video

    OpenAI đã cập nhật hướng dẫn viết prompt cho Sora 2 để bao quát các khả năng API mới: tham chiếu nhân vật có thể tái sử dụng cho đồ vật và động vật, xuất 1920×1080 và 1080×1920, độ dài clip tối đa tăng từ 12 giây lên 20 giây, gia hạn video sử dụng toàn bộ clip gốc làm ngữ cảnh, và Batch API cho các tác vụ video bất đồng bộ. Hướng dẫn cũng trình bày cấu trúc prompt cho khung hình, chuyển động camera, ánh sáng và hội thoại, đồng thời lưu ý rằng độ phân giải, thời lượng và ID nhân vật phải được đặt làm tham số API thay vì mô tả bằng văn xuôi. Hỗ trợ gia hạn tối đa 20 giây, và một video có thể được gia hạn tối đa 6 lần với tổng cộng 120 giây.

    Vì sao đáng chú ý: Hướng dẫn viết prompt Sora 2 được cập nhật của OpenAI trình bày chi tiết các khả năng API mới như tham chiếu nhân vật, clip 20 giây và gia hạn video, cùng các mẫu prompt có thể tái sử dụng để kiểm soát khung hình.