Tới nội dung
Chỉ Chính chủ#Cập nhật sản phẩm
  1. Apple Newsroom60

    Apple ra mắt HomeView với Siri AI, giá 299 USD

    Apple phát hành HomeView, thiết bị gia đình giá 299 USD có khả năng nhận diện khuôn mặt tối đa sáu người và hiển thị nội dung cá nhân của họ trong Messages, FaceTime, Calendar, Reminders và Find My. Siri AI trên HomeView bổ sung khả năng nhận biết trên màn hình và có thể tận dụng iPhone hoặc iPad ghép nối hỗ trợ Apple Intelligence để lấy ngữ cảnh cá nhân, với hỗ trợ tiếng Anh tại Mỹ, Úc, Canada, Ấn Độ, New Zealand, Singapore, Nam Phi và Vương quốc Anh. Đơn đặt hàng mở hôm nay tại Úc, Canada, Ấn Độ, New Zealand, Singapore, Vương quốc Anh và Mỹ, trong khi thiết bị không được bán tại EU vì Siri AI không khả dụng trên iOS tại đây.

    Vì sao đáng chú ý: Thiết bị gia đình đầu tiên của Apple với Siri AI cho thấy cách nhận diện khuôn mặt và ngữ cảnh cá nhân có thể biến một màn hình dùng chung thành trợ lý được cá nhân hóa.

  2. AWS Machine Learning Blog66

    AWS cập nhật runtime AgentCore: khởi tạo phiên nhanh gấp 15 lần và tính toán nhiều gấp 4 lần

    AWS công bố cập nhật cho runtime Amazon Bedrock AgentCore, lớp tính toán được quản lý dành cho agent, với các phiên nay khởi tạo nhanh hơn tới 15 lần, mở rộng lên tới 4 lần năng lực tính toán (tối đa 8 vCPU và 32 GB, với container image lên tới 10 GB) và chạy hiệu quả hơn tới 68%, trong khi mỗi phiên vẫn nằm trong Firecracker MicroVM cách ly phần cứng riêng. Phiên khởi tạo dưới 2 giây bất kể kích thước image hay mức đồng thời, agent nhàn rỗi tự động co về 0, và agent có thể gắn kết và lưu công việc vào hệ thống tệp như bucket Amazon S3 với hỗ trợ FUSE để dữ liệu nằm trong ranh giới tin cậy. Runtime hiện có sẵn tại các AWS Region ở Bắc Mỹ, Nam Mỹ, Châu Âu và Châu Á - Thái Bình Dương.

    Vì sao đáng chú ý: Phiên bản mới của runtime AgentCore điều chỉnh đồng thời việc khởi tạo phiên, giới hạn tính toán và tính phí bộ nhớ, mang lại cho các agent cần chạy lâu dài một sự đánh đổi mới giữa cách ly và chi phí.

  3. Google Blog · AI82

    Google Search nâng cấp toàn cầu lên Gemini 4 Hydrogen

    Google Search đã chuyển toàn bộ người dùng trên toàn thế giới sang Gemini 4 Hydrogen, mà công ty gọi là bản nâng cấp mô hình lớn nhất cho Search từ trước đến nay. Mô hình này cải thiện khả năng hiểu ý định đối với các câu hỏi nhiều phần và nhiều lỗi chính tả, bổ sung khả năng tuân theo chỉ dẫn và gọi công cụ sâu hơn, đồng thời tăng cường query fan-out để hiển thị các liên kết mà người dùng có thể không tìm thấy. Phản hồi cũng trở nên trực quan hơn, với nhiều hình ảnh, bảng so sánh và công cụ tùy chỉnh hơn, trên tất cả các ngôn ngữ AI Mode được hỗ trợ.

    Vì sao đáng chú ý: Bản nâng cấp mô hình lớn nhất từ trước đến nay của Google Search, với Gemini 4 Hydrogen hiện xử lý các câu hỏi nhiều phần, gọi công cụ và query fan-out cho tất cả người dùng trên toàn cầu.

  4. AWS Machine Learning Blog60

    AWS mã nguồn mở UAEF, một hệ thống đánh giá độc lập với framework cho các tác nhân AI

    AWS đã mã nguồn mở UAEF (Universal Agent Evaluation Framework), một hệ thống độc lập với framework sử dụng các adapter để chuẩn hóa dấu vết tác nhân từ LangGraph, LangChain, Strands Agents, Amazon Bedrock AgentCore và Langfuse thành một AgentTrace chuẩn duy nhất, sau đó chấm điểm chúng bằng 36 chỉ số tích hợp trên 7 khía cạnh. Kết quả được lưu trữ theo từng thử nghiệm trong Amazon DynamoDB và Amazon S3, để các nhóm có thể so sánh các phiên bản tác nhân với một đường cơ sở, đánh dấu các hồi quy với ngưỡng mặc định 5 phần trăm, và tạo báo cáo thống kê cùng các thông tin chi tiết do LLM viết. Bài viết cho biết khách hàng trên 12 tổ chức trong lĩnh vực viễn thông, chăm sóc sức khỏe và dịch vụ tài chính đã sử dụng UAEF trước khi phát hành, và mã Apache 2.0, thư viện Python, triển khai CDK cùng các notebook theo từng framework nằm trong kho GitHub awslabs/uaef.

    Vì sao đáng chú ý: Nhóm AWS đã mã nguồn mở UAEF, sử dụng các adapter để thống nhất quỹ đạo tác nhân từ các framework khác nhau thành một định dạng duy nhất, sau đó chấm điểm chúng trên 7 khía cạnh bằng 36 chỉ số, cung cấp một lớp đánh giá có thể tái sử dụng để so sánh các phiên bản tác nhân across frameworks.

  5. Replit Blog65

    Replit Agent bổ sung tính năng mua hàng qua Link và Visa cùng tạo chiến dịch Google Ads

    Replit Agent hiện có thêm hai nhiệm vụ mới: mua vật tư kinh doanh qua Link và Visa, và xây dựng chiến dịch Google Ads trên Search, YouTube, Display và Discover. Trong luồng mua hàng, một subagent trình duyệt sẽ điều hướng trang web của người bán và chuẩn bị thanh toán, sau đó chờ chủ sở hữu phê duyệt tổng số tiền cuối cùng; quyền truy cập shell và duyệt web thông thường bị vô hiệu hóa trong quá trình thanh toán và các bước kiểm tra phê duyệt được thực thi trong mã. Agentic Commerce khả dụng cho người dùng Core và Pro bắt đầu từ Hoa Kỳ, chỉ với các giao dịch mua một lần, trong khi Agentic Ads khả dụng cho người dùng Pro trên toàn thế giới.

    Vì sao đáng chú ý: Replit Agent giờ đây xử lý việc mua hàng và chiến dịch Google Ads, với các cổng phê duyệt được thực thi bằng mã cho thấy cách thiết kế giới hạn chi tiêu của agent.

  1. vLLM Blog64

    vLLM-Omni benchmark MiniMax H3-Image trên Vera Rubin: tạo ảnh 4K trong 0,87 giây và 6.115 ảnh/giờ

    vLLM-Omni đã đưa MiniMax H3-Image lên NVIDIA Vera Rubin và đo được độ trễ trung vị 0,87 giây cho text-to-image gốc 4096×4096 trên bốn GPU, cùng 6.115 ảnh/giờ trong một cấu hình thông lượng riêng. H3-Image là mô hình text-to-image và chỉnh sửa ảnh trọng số mở, kết hợp bộ mã hóa Qwen3-VL với DiT dày đặc 33,1B và VAE hình ảnh, xử lý cả hai tác vụ trong sáu bước lấy mẫu với tối đa 16 ảnh tham chiếu. Nhóm báo cáo MXFP8 DiT GEMMs, Ulysses SP4, bộ nhớ đệm AdaLN và một thay đổi giải mã VAE giúp giảm thời gian giải mã từ 2,635 giây xuống 0,213 giây, đồng thời liệt kê các công thức cho phần cứng AMD, Intel, Huawei Ascend và Moore Threads.

    Vì sao đáng chú ý: Benchmark của vLLM-Omni cho thấy MiniMax H3-Image chạy trên Vera Rubin với độ trễ 4K dưới một giây, kèm cấu hình theo từng phần cứng và mô hình chi phí cho kinh tế phục vụ.

  2. vLLM Blog60

    vLLM hỗ trợ day-0 cho Inkling 2 Small của Thinking Machines

    vLLM hỗ trợ Inkling 2 Small của Thinking Machines ngay từ ngày đầu tiên, một MoE đa phương thức văn bản và thị giác với tổng 594B và 17B tham số hoạt động, ngữ cảnh lên đến 1M token. Tích hợp này bổ sung kernel fusion với PDL, sequence parallelism cho prefill giúp giảm bước prefill 8K token 22% ở TP4 và 26% ở TP8, cùng kernel decode attention tương đối Gluon giúp giảm bước decode batch-1 ở ngữ cảnh 100K từ 15,1 ms xuống 4,8 ms. vLLM báo cáo lên đến 630 TPS/người dùng ở TP4 trên GB200 với độ dài chấp nhận 3,5, đồng thời hỗ trợ LoRA và RL qua SkyRL.

    Vì sao đáng chú ý: vLLM hỗ trợ Inkling 2 Small ngay trong ngày ra mắt, đồng thời cung cấp dữ liệu tối ưu cụ thể về kernel fusion, sequence parallelism và kernel decode Gluon, có thể làm tài liệu tham khảo cho các nhóm triển khai mô hình MoE lớn.

  3. Google Blog · AI78

    Google ra mắt API Gemini Decisions và mô hình Gemini Decision 1 cho các quyết định tập đóng nhanh chóng

    Google đã giới thiệu API Gemini Decisions, được hỗ trợ bởi mô hình Gemini Decision 1 mới (gemini-decision-1) và có sẵn thông qua API Gemini trong Google AI Studio. Một đầu vào đa phương thức duy nhất lên tới 256K token có thể được kiểm tra với tối đa 1.000 câu hỏi có/không, trắc nghiệm và chấm điểm theo tiêu chí trong một lượt truyền xuôi, trả về xác suất và điểm tin cậy với độ trễ đầu-cuối 150-250 ms với giá 0,10 USD trên 1 triệu token đầu vào và không tính phí token đầu ra. Google cho biết mô hình này dẫn đầu bộ tiêu chuẩn đánh giá của họ với sai số hiệu chuẩn thấp nhất và rẻ hơn gần 5 lần so với Gemini 3.5 Flash-Lite với API Interactions; các ứng dụng nội bộ bao gồm định tuyến mô hình trong Gemini Notebook, tạo wireframe trong Stitch và kiểm tra nội dung đối kháng cho các công cụ MCP trong Search.

    Vì sao đáng chú ý: Điểm cuối mới của Google chấm điểm tới 1.000 câu hỏi đa phương thức có/không, lựa chọn và theo tiêu chí trong một lượt với 150-250 ms, mang đến cho việc định tuyến tác nhân và kiểm tra chính sách một giải pháp thay thế rẻ hơn so với các lệnh gọi sinh tạo.

  4. Claude Blog78

    Anthropic ra mắt Claude Meetings bản beta cho Google Meet trên gói Team và Enterprise

    Anthropic phát hành Claude Meetings bản beta, cho phép Claude tham gia các cuộc gọi Google Meet với tư cách người tham gia hiển thị, trả lời câu hỏi trong chat, tạo tài liệu và bảng trắng trực tiếp, đồng thời ghi chú và liệt kê các đầu việc. Mỗi cuộc họp có một trang trên claude.ai chứa bản ghi, ghi chú và các sản phẩm tạo ra, và mặc định Claude không tham gia các cuộc gọi có khách bên ngoài trừ khi quản trị viên cho phép. Bản beta đang được triển khai trên gói Team và Enterprise, không khả dụng cho một số tổ chức bao gồm các thiết lập ZDR, sẵn sàng HIPAA và CMEK, và ghi chú, bản ghi cùng câu trả lời trong cuộc gọi được miễn phí trong thời gian beta.

    Vì sao đáng chú ý: Việc ra mắt bản beta của Anthropic cho thấy một tác nhân họp có thể soạn tài liệu, lấy dữ liệu từ công cụ được kết nối và ghi chú ngay trong cuộc gọi trực tiếp, với các quy tắc mặc định để loại trừ khách bên ngoài.

  5. Claude Blog78

    Anthropic đưa Claude Opus 5.5 trở thành mô hình mặc định trên các gói Pro, Max, Ultra và Team

    Claude Opus 5.5 hiện là mô hình mặc định trong Claude trên các gói Pro, Max, Ultra và Team, và Anthropic khuyến nghị đây là lựa chọn hàng ngày cho nghiên cứu, phân tích và hoàn thiện tài liệu, bài trình chiếu và bảng tính. Anthropic cho biết Opus 5.5 ở mức Medium đã ngang bằng hoặc vượt Opus 5 ở mức High trong các đánh giá về lập trình và công việc tri thức, và trong một bài kiểm tra phân tích sáp nhập nội bộ, mô hình hoàn thành trong 63 phút với chi phí bằng một nửa so với Opus 5 cho cùng tác vụ. Bài viết cũng liệt kê những thay đổi về cách viết prompt cho mô hình mới, bao gồm bỏ chỉ dẫn 'think hard', bắt đầu ở mức Medium và đính kèm biểu đồ thay vì gõ lại các giá trị của chúng.

    Vì sao đáng chú ý: Hướng dẫn của chính Anthropic giải thích lý do Opus 5.5 giờ là mặc định cho công việc tri thức hàng ngày và những thói quen viết prompt nào nên bỏ đi đối với mô hình này.

  1. Google Developers Blog75

    Google phát hành A2UI 1.0, một giao thức mở ổn định cho UI gốc do agent tạo ra

    Google đã phát hành A2UI 1.0, phiên bản ổn định đầu tiên của giao thức mở cho phép các AI agent trả lời bằng màn hình tương tác được hiển thị bởi các thành phần gốc của chính từng ứng dụng. Phiên bản 1.0 bổ sung gọi hàm hai chiều, hỗ trợ trợ năng và siêu dữ liệu mở rộng, cùng các trình kết xuất mã nguồn mở cho React, Angular, Lit, Flutter, SwiftUI và Jetpack Compose (trình kết xuất Compose đang ở 0.9.1 và 1.0 sẽ sớm ra mắt) và SDK agent cho Python, TypeScript và Dart. Atlassian đang đưa A2UI vào Jira, Alation kết xuất các nguồn cấp dữ liệu của mình bằng nó trong Claude, và ByteDance đã phát hành trình kết xuất Lynx vào tháng 6 năm 2026, hiện hỗ trợ 0.9.

    Vì sao đáng chú ý: Giao thức A2UI 1.0 ổn định của Google cho phép agent trả về màn hình tương tác gốc thay vì những khối văn bản, với trình kết xuất cho web, Android và iOS cùng những đơn vị áp dụng sớm gồm Atlassian và ByteDance.

  1. Claude Blog78

    Claude mở các ứng dụng được kết nối bên cạnh cuộc trò chuyện và làm việc trong đó

    Anthropic đang triển khai một bản cập nhật cho phép các trình kết nối tương tác được hỗ trợ mở toàn bộ công cụ bên cạnh cuộc hội thoại hoặc ở chế độ toàn màn hình, đồng thời cho phép Claude thực hiện thay đổi đối với một trang, hàng hoặc tệp đang mở mà người dùng phê duyệt theo cùng cách như các hành động của trình kết nối. Đợt triển khai bao gồm web và ứng dụng Claude trên máy tính để bàn ở tất cả các gói, bắt đầu với các công cụ gồm Asana, Canva, Carta, Dropbox, monday.com, Smartsheet, Vercel và Webflow, cùng với Figma, Harvey và Shopify đang xây dựng tích hợp. Các trình kết nối chạy trên MCP Apps, và Claude hiện hỗ trợ nhiều phần mở rộng đó hơn, chẳng hạn như công cụ ứng dụng và trang nhúng, trong bản xem trước công khai dành cho nhà phát triển.

    Vì sao đáng chú ý: Các trình kết nối của Claude giờ đây mở toàn bộ công cụ bên cạnh cuộc trò chuyện và cho phép Claude chỉnh sửa trực tiếp các trang, hàng và tệp, với cùng quy trình phê duyệt như các hành động của trình kết nối.

  2. Google Developers Blog72

    Google AI Edge Gallery bổ sung nhận dạng giọng nói và chuyển văn bản thành giọng nói trên thiết bị

    Google đã giới thiệu Nhận dạng giọng nói tự động (ASR) và Chuyển văn bản thành giọng nói (TTS) trên thiết bị trong Google AI Edge Gallery, cho phép các ứng dụng chạy ASR đa ngôn ngữ và TTS biểu cảm hoàn toàn ngoại tuyến song song với các SLM trên thiết bị như Gemini Nano và Gemma 4. Trên Android, các mô hình giọng nói mới của ML Kit phiên âm hơn 100 ngôn ngữ với tốc độ gấp 10 lần thời gian thực, đạt Tỷ lệ lỗi từ (Word Error Rate) từ 8,0% đến 9,0% trên FLEURS, trong khi TTS khuếch tán few-step bắt đầu nói trong khoảng 100 ms và tạo âm thanh 24 kHz với tốc độ lên đến gấp 50 lần thời gian thực. Hỗ trợ đa nền tảng đến qua MediaPipe Tasks và LiteRT với các gói trọng số mở bao gồm Parakeet-TDT 0.6B, PocketTTS 100M, Kokoro-82M và Phonon 31M, được trình diễn trong showcase XR Language Teacher và AI Chat hỗ trợ giọng nói.

    Vì sao đáng chú ý: Google bổ sung ASR và TTS hoàn toàn ngoại tuyến vào AI Edge Gallery, với ML Kit báo cáo phiên âm hơn 100 ngôn ngữ ở tốc độ gấp 10 lần thời gian thực và TTS khuếch tán bắt đầu nói trong khoảng 100 ms.

  1. NVIDIA Blog70

    NVIDIA ra mắt mô hình hành động thế giới GR00T 2 và Isaac Lab 3.0 tại CoRL

    NVIDIA giới thiệu GR00T 2, một mô hình hành động thế giới mở được xây dựng trên Cosmos và huấn luyện trên 100.000 giờ dữ liệu góc nhìn thứ nhất của con người, cùng với Isaac Lab 3.0 và các bộ đánh giá robot mới tại CoRL. GR00T 2 hoàn thành 40 trong số 50 nhiệm vụ được đánh giá ít nhất một lần mà không cần minh họa dành riêng cho nhiệm vụ và đạt tỷ lệ thành công trung bình 71% trên 50 nhiệm vụ với một minh họa mỗi nhiệm vụ, tăng lên 95% với năm minh họa. Isaac Lab 3.0 bổ sung tích hợp vật lý Newton cho các vật thể biến dạng và báo cáo thông lượng huấn luyện cao gấp 2,5 lần so với Isaac Lab 2.3 với PhysX trong một bộ đánh giá thao tác khéo léo dựa trên thị giác.

    Vì sao đáng chú ý: Bản phát hành CoRL của NVIDIA cho thấy cách mô phỏng kết hợp với các mô hình hành động thế giới hiện đang nhắm đến công việc lắp ráp tinh xảo, với các chi tiết của GR00T 2 và Isaac Lab 3.0 đáng để so sánh với các ngăn xếp robot trước đây.

  2. Google Developers Blog60

    Google Cloud MaxText bổ sung song song hóa ngữ cảnh cho huấn luyện ngữ cảnh dài trên TPU

    Google Cloud đã phát hành hỗ trợ huấn luyện ngữ cảnh dài trong MaxText v0.2.4, khung huấn luyện JAX mã nguồn mở của họ, bổ sung bốn chiến lược song song hóa ngữ cảnh trên Cloud TPU: All-gather, A2A (DeepSpeed Ulysses), P2P (Ring Attention) và kết hợp A2A + P2P (USP). Các đánh giá chuẩn với Llama 3.1 8B đạt 70% MFU trên TPU 5p ở độ dài chuỗi lên đến 4 triệu token, và ngữ cảnh mở rộng đến 14 triệu token trên cả TPU 5p và TPU 7, với TPU 7 duy trì 50% MFU dưới 6 triệu token. Bản phát hành có sẵn trên PyPI, trong các Docker image và trên GitHub main, kèm các công thức mẫu cho TPU 7 và TPU 5p.

    Vì sao đáng chú ý: Bốn chiến lược song song hóa ngữ cảnh của MaxText trên Cloud TPU, cùng các số liệu MFU đánh giá chuẩn cho Llama 3.1 8B, mang đến cho các nhóm một tham chiếu cụ thể để lựa chọn cách huấn luyện ở độ dài chuỗi hàng triệu token.

  3. Google Developers Blog62

    Google đưa Pathways lên trạng thái khả dụng chung trên Google Cloud để huấn luyện mô hình lớn

    Google thông báo Pathways, hệ thống huấn luyện phân tán cho các mô hình lớn bao gồm Gemini, đã đạt trạng thái Khả dụng chung trên Google Cloud Platform. Pathways thay thế cách thực thi SPMD đồng bộ bằng một máy khách Python duy nhất khai báo toàn bộ phép tính dưới dạng đồ thị luồng dữ liệu, trong khi một môi trường chạy phân tán đặt các khối lên thiết bị ảo, di chuyển và phân mảnh lại tensor, và sắp xếp công việc trên toàn cụm. Google cho biết thiết kế này cho phép ánh xạ lại một máy chủ bị lỗi sang các chip khỏe mạnh thay vì khởi động lại công việc, và một dịch vụ Pathways dùng chung có thể phục vụ nhiều máy khách từ một cụm.

    Vì sao đáng chú ý: Google giải thích mô hình một bộ điều khiển của Pathways khác với SPMD như thế nào và cách nó xử lý truyền tensor giữa các nhóm, lập lịch và phục hồi khi máy chủ gặp sự cố.

  1. Meta Newsroom · AI62

    Meta triển khai giọng nói thời gian thực và avatar biểu cảm trong ứng dụng Muse

    Meta đang triển khai các cuộc trò chuyện bằng giọng nói thời gian thực và avatar biểu cảm trong ứng dụng Muse trên di động, web và Mac, bắt đầu từ Mỹ. Người dùng nhấn vào biểu tượng điện thoại để nói, có thể ngắt lời phản hồi và chọn từ hàng trăm giọng nói cùng các chế độ chỉ giọng nói, avatar hoặc toàn màn hình. Giọng nói sẽ sớm có mặt trên AI Glasses và Muse Charm.

    Vì sao đáng chú ý: Ứng dụng Muse của Meta hiện hỗ trợ các cuộc trò chuyện bằng giọng nói thời gian thực với avatar biểu cảm, cho thấy giọng nói và xử lý ngắt lời đang dịch chuyển vào các trợ lý AI tiêu dùng.

  2. OpenClaw Blog69

    OpenClaw phát hành Multiplayer cho các agent và ngữ cảnh dùng chung

    OpenClaw đã phát hành Multiplayer, một tính năng miễn phí và mã nguồn mở cho phép nhiều người kết nối với cùng một agent và workspace của OpenClaw, với các prompt hiển thị trực tiếp trên nhiều laptop và các yêu cầu được điều phối qua một hàng đợi dùng chung. Trong các bản demo tại GitHub Universe ở San Francisco, hai người tham dự đã chỉnh sửa cùng một cảnh 3D bằng cách nhập prompt trên các máy riêng biệt mà không cần nhắc lại ngữ cảnh. OpenClaw Foundation cho biết đã có hơn 50 người cộng tác trong cùng một môi trường dùng chung và đang tiếp tục mở rộng tính năng này.

    Vì sao đáng chú ý: OpenClaw biến việc nhiều người dùng chung một Agent và ngữ cảnh thành tính năng miễn phí, mã nguồn mở, mang đến một cách làm có thể chuyển giao cho vấn đề phải liên tục tái tạo ngữ cảnh trong cộng tác nhóm.

  1. Mistral AI69

    Mistral mở rộng Studio với các agent được quản lý, workflow và ứng dụng cùng Mistral Large 4 (Le Chonk)

    Mistral đã mở rộng nền tảng AI doanh nghiệp Studio với các agent và ứng dụng được quản lý, cùng các khả năng mới về workflow, ngữ cảnh doanh nghiệp, quan sát và đánh giá agent, chạy trên mô hình Mistral Large 4 (Le Chonk). Nhà phát triển có thể xây dựng các agent nhiều bước với skills, sandbox, subagent và hook, rồi triển khai lên Studio bằng một lệnh thông qua Mistral MCP server mới. Mistral cho biết các khách hàng gồm ABANCA, BNP Paribas, Capgemini và TCS đã sử dụng Studio trong môi trường production, với các triển khai có sẵn trên cloud, VPC hoặc on-premises.

    Vì sao đáng chú ý: Mistral mở rộng Studio với các agent được quản lý, workflow và ứng dụng, cho thấy doanh nghiệp có thể giữ quyền kiểm soát triển khai và dữ liệu trong môi trường của chính mình.

  1. vLLM Blog73

    Buoyant phát hành Kinference, một control plane suy luận mã nguồn mở cho vLLM và Kubernetes

    Buoyant công bố Kinference, một control plane mã nguồn mở Apache v2 định tuyến lưu lượng suy luận tương thích OpenAI và Anthropic đến các worker vLLM trên Kubernetes, bổ sung giới hạn tốc độ token, theo dõi mức sử dụng và chi phí theo từng tenant, cân bằng tải nhận biết KV-cache và các chính sách suy luận bằng YAML. Trong các benchmark công khai của dự án, Kinference giảm 95% thời gian đến token đầu tiên trung vị và 45% độ trễ end-to-end trung vị so với cân bằng tải dịch vụ Kubernetes tiêu chuẩn trên một workload, và phục vụ goodput gấp 7,4 lần trên shared-prefix và khoảng 3,5 lần trên multiturn trong một bài kiểm tra công suất. Các chính sách có thể định tuyến prompt đơn giản hơn đến các mô hình rẻ hơn, đẩy lưu lượng đột biến tràn sang các nhà cung cấp như Bedrock và Databricks, hoặc giữ các yêu cầu gắn thẻ PII bên trong cluster, và các chỉ số theo từng tenant bao gồm tốc độ token, TTFT, ITL và token prompt có cache so với không có cache.

    Vì sao đáng chú ý: Kinference của Buoyant bổ sung cân bằng tải nhận biết KV-cache và các chính sách suy luận bằng YAML lên trên vLLM, với các benchmark tuyên bố cải thiện lớn về TTFT và goodput so với định tuyến dịch vụ Kubernetes tiêu chuẩn.