llama.cpp phát hành v1.0.0, đồng thời ggml cũng phát hành v1.0.0; từ nay hai dự án sẽ dùng việc thay đổi số phiên bản chính để đánh dấu các thay đổi không tương thích của C API và ABI công khai. Phía dự án cho biết, cùng với nhu cầu AI cục bộ và quyền riêng tư ngày càng tăng, số lượng ứng dụng downstream tăng lên, giao diện thư viện ổn định trở nên then chốt, trong tương lai ranh giới đối với các thay đổi phá vỡ sẽ chặt chẽ hơn.
Công cụ lập luận lâm sàng Synapsis AI của Dyania Health đọc mọi ghi chú, báo cáo và kết quả xét nghiệm trong hồ sơ bệnh nhân, kết nối các phát hiện cách nhau nhiều năm để đánh dấu những bệnh nhân cần được chú ý và lý do, với mỗi tín hiệu đều có thể truy nguyên về nguồn. Nó chạy trên nền tảng tính toán tăng tốc NVIDIA bên trong tường lửa của chính hệ thống y tế, nên dữ liệu bệnh nhân không bao giờ rời khỏi bệnh viện. Cleveland Clinic đã sử dụng nó để rà soát hồ sơ của hơn 7.800 bệnh nhân thay van động mạch chủ từ năm 2005 đến 2021 và xây dựng một mô hình dự báo về thoái hóa van và nguy cơ can thiệp lại ở các mốc ba, năm và mười năm.
Modal hiện tính phí Sandboxes theo mức sử dụng tài nguyên thực tế thay vì đặt trước cố định, cho phép mỗi Sandbox burst vượt mức yêu cầu mặc định 0,125 lõi và 128 MiB và chỉ trả tiền cho những gì nó sử dụng mỗi giây. Trong ví dụ coding agent 20 phút, burst tốn 8,4¢ mỗi Sandbox-giờ so với 20,0¢ cho đặt trước cố định, tiết kiệm 58%. CPU có thể burst tới 16 lõi vượt mức yêu cầu theo mặc định, với bộ nhớ không giới hạn trừ khi đặt giới hạn.
Factory đã ra mắt Cyber Defense Network, một hệ sinh thái gồm các công ty an ninh mạng có phát hiện được đưa vào Security Factory để Factory Droids có thể điều tra lỗ hổng, triển khai thay đổi mã và xác thực bản sửa lỗi thông qua kiểm thử. Các đối tác sáng lập gồm Snyk, Palo Alto Networks, Semgrep, Cogent, Casco, DepthFirst và Detail. Quy trình bao gồm tín hiệu từ công cụ của đối tác, phân loại lỗ hổng có thể khai thác, và khắc phục liên tục tạo ra bản sửa lỗi sẵn sàng để đội ngũ kỹ thuật xem xét và hợp nhất, trong khi các tổ chức giữ nguyên công cụ và quy trình bảo mật hiện có.
Databricks giải thích chi tiết cách các cuộc tấn công dựa trên thông tin xác thực diễn ra trên nền tảng của mình và cách nhật ký kiểm tra chi tiết cùng Genie có thể phát hiện sự thay đổi hành vi sau khi PAT, cookie phiên hoặc thông tin xác thực của service principal bị đánh cắp được sử dụng. Bài viết phân loại hoạt động của kẻ tấn công thành sáu giai đoạn, từ đăng nhập ban đầu đến trinh sát môi trường, đồng thời đề cập các bước ứng phó và biện pháp kiểm soát nhằm hạn chế phạm vi mà thông tin xác thực bị đánh cắp có thể tiếp cận.
Bright Machines hiện cung cấp cho khách hàng bảng điều khiển dữ liệu nhà máy trực tiếp, có quản trị từ các nhà máy cách ly mạng mà không cần mở bất kỳ quyền truy cập vào nào. Công ty ghi lại các thay đổi PostgreSQL tại biên với Debezium, ghi chúng dưới dạng Apache Iceberg, đẩy ra ngoài qua một đường ra duy nhất có thể kiểm toán, và đọc tại chỗ trong Databricks thông qua liên kết Unity Catalog. Bảng điều khiển đầu tiên mà khách hàng nhìn thấy đã đi vào hoạt động khoảng hai tháng sau khi khởi động, với các hàng đã cam kết có thể truy vấn trong một đến hai phút và bảng điều khiển làm mới mỗi mười phút.
Amazon đã công bố tính khả dụng công khai của SGLang-Neuron, một plugin out-of-tree chạy SGLang trên AWS Trainium thông qua AWS Deep Learning Container, được phát hành bởi RadixArk cùng Annapurna Labs. Người dùng giữ nguyên giao diện máy chủ SGLang và các API sinh, trong khi plugin cung cấp các mô hình, attention, MoE dành riêng cho Trainium và một graph runner được xây dựng trên các kernel PyTorch và NKI gốc được biên dịch bằng torch.compile. Nó cũng hỗ trợ PD disaggregation, chuyển bộ nhớ đệm KV prefill sang máy chủ decode qua NIXL trên EFA, và hướng dẫn thực hành phục vụ openai/gpt-oss-120b trên một phiên bản EC2 Trainium3 với container pytorch-inference-sglang-neuronx.
Natera đã xây dựng SWARM, một hệ thống AI tác tử cho vận hành phòng thí nghiệm, trên Amazon Bedrock AgentCore, giảm thời gian phản hồi đầu tiên khoảng 130 lần và tự động hóa 96,2 phần trăm số ticket hỗ trợ. Hệ thống kết hợp một swarm-agent soạn thảo báo cáo chẩn đoán trước khi kỹ sư mở ticket với một swarm-hive để kỹ sư tương tác theo thời gian thực, cả hai cùng chia sẻ một thư viện kỹ năng. Nó xử lý hơn 65 ticket Jira mỗi ngày trên ba hàng đợi mà trước đây trung bình mất 17,4 giờ cho phản hồi đầu tiên.
Databricks phản hồi bốn cách hiểu sai phổ biến về LTAP, kiến trúc Lakebase giữ một bản dữ liệu vận hành duy nhất được quản trị, phục vụ cả Postgres lẫn phân tích mà không cần CDC. Bài viết lập luận LTAP không phải sao chép: các lớp phía trước hồ dữ liệu là bộ nhớ đệm, không phải cơ sở dữ liệu thứ hai có catalog riêng. Bài viết cũng nói rằng heap page và Parquet là hai cách mã hóa không mất mát của cùng các hàng, nên tra cứu điểm và quét mỗi bên đọc bố cục nhanh cho mình.
AWS hướng dẫn cách theo dõi và giới hạn chi tiêu cho AI tạo sinh Amazon Bedrock theo từng IAM principal chỉ bằng các tính năng gốc: Bedrock tự động ghi lại IAM user hoặc role trên mỗi yêu cầu suy luận, và các thẻ đó trở thành thẻ phân bổ chi phí có thể đọc được trong Cost Explorer hoặc các bản xuất CUR 2.0. Một AWS Budget giới hạn phạm vi cho Bedrock và lọc theo một danh tính hoặc giá trị thẻ có thể gắn một hành động ngân sách áp dụng chính sách Deny IAM khi vượt ngưỡng, không cần mã ứng dụng cho trường hợp thông thường.
Thời lượng bộ nhớ đệm, bậc dịch vụ, nỗ lực suy luận và cài đặt maxTokens của Amazon Bedrock có thể thay đổi chi phí suy luận mà không cần thay đổi mô hình hay prompt. Ghi bộ nhớ đệm 5 phút trên Claude Sonnet 5 và Claude Opus 5 tốn 1,25 lần mức giá đầu vào, ghi 1 giờ tốn 2 lần, và đọc bộ nhớ đệm tốn 0,1 lần; các yêu cầu bậc Flex đến các mô hình không được hỗ trợ sẽ thất bại với ValidationException.
Constellation, đơn vị vận hành đội hạt nhân lớn nhất Hoa Kỳ, đang xây dựng Nền tảng Dữ liệu Doanh nghiệp có quản trị trên Databricks để mang lại cho doanh nghiệp một ý nghĩa chung cho dữ liệu của mình. Nền tảng này sử dụng Unity Catalog cho phả hệ, quyền truy cập chi tiết và một mô hình phân quyền duy nhất, cùng với mô hình hóa Data Vault cho các thực thể quan trọng có thể tái sử dụng. Các trường hợp sử dụng ban đầu bao gồm một trợ lý kỹ thuật hạt nhân được xây dựng với Databricks Genie và lập kế hoạch ngừng hoạt động.
Eclipse Aerospace đang sử dụng nguồn dữ liệu tùy chỉnh Databricks PySpark để nhập gần 20 năm dữ liệu chuyến bay độc quyền, hơn 3TB trải rộng trên hơn một triệu giờ bay, mà không cần tính toán chuyên dụng luôn bật. Gói Python được hỗ trợ bởi Rust đã mang lại hiệu suất gấp đôi so với chuẩn đánh giá của một nguồn dữ liệu Python thuần dựa trên PyArrow tương tự và gần 20 lần so với triển khai Python gốc không có Arrow. API, được giới thiệu trong Apache Spark 4.0 và có sẵn trong Databricks Runtime 15.4 LTS, thay thế quy trình Lambda-to-Avro trước đó.
AWS công bố cập nhật cho runtime Amazon Bedrock AgentCore, lớp tính toán được quản lý dành cho agent, với các phiên nay khởi tạo nhanh hơn tới 15 lần, mở rộng lên tới 4 lần năng lực tính toán (tối đa 8 vCPU và 32 GB, với container image lên tới 10 GB) và chạy hiệu quả hơn tới 68%, trong khi mỗi phiên vẫn nằm trong Firecracker MicroVM cách ly phần cứng riêng. Phiên khởi tạo dưới 2 giây bất kể kích thước image hay mức đồng thời, agent nhàn rỗi tự động co về 0, và agent có thể gắn kết và lưu công việc vào hệ thống tệp như bucket Amazon S3 với hỗ trợ FUSE để dữ liệu nằm trong ranh giới tin cậy. Runtime hiện có sẵn tại các AWS Region ở Bắc Mỹ, Nam Mỹ, Châu Âu và Châu Á - Thái Bình Dương.
Vì sao đáng chú ý: Phiên bản mới của runtime AgentCore điều chỉnh đồng thời việc khởi tạo phiên, giới hạn tính toán và tính phí bộ nhớ, mang lại cho các agent cần chạy lâu dài một sự đánh đổi mới giữa cách ly và chi phí.
Một cổng LLM tự phục vụ được xây dựng trên Amazon Bedrock Application Inference Profiles và LiteLLM chạy trên AWS Fargate, đưa các mô hình nền tảng của Bedrock ra sau một API tương thích OpenAI, mang lại cho nhà phát triển một base URL duy nhất và khóa riêng cho từng người dùng. Thiết lập này bổ sung kiểm soát chi tiêu theo từng người dùng, cô lập hạn mức theo từng mô hình và khả năng quan sát RPM/TPM qua CloudWatch, cùng với Langfuse để theo dõi telemetry ở cấp độ prompt. Việc cấp khóa tự phục vụ yêu cầu LiteLLM Enterprise, vì gói miễn phí chỉ giới hạn ở năm người dùng.
Bài viết này của AWS lập luận rằng chi tiêu cho Amazon Bedrock nên được đánh giá theo chi phí trên mỗi tác vụ thay vì chi phí trên mỗi token, vì hiệu quả của tokenizer, độ dài đầu ra, số vòng lặp agentic và chi phí suy luận có thể khiến một mô hình có giá niêm yết thấp hơn lại tốn kém hơn. Một ví dụ minh họa cho thấy một mô hình có giá niêm yết gấp 2 lần lại hoàn thành với chi phí rẻ hơn 65% trên mỗi tác vụ, và bài viết bổ sung thêm caching, định tuyến và ràng buộc đầu ra cùng một bảng điểm năm chiều để đo ROI của agent so với đường cơ sở do con người thực hiện.
Databricks thông báo Genie Migrate đã chính thức được phát hành rộng rãi (GA), cho phép các công ty chuyển khối lượng công việc dữ liệu của họ lên Databricks Lakehouse với ít thao tác thủ công hơn. Công cụ này nhắm đến các nhóm đang chạy đua để xây dựng AI agent và ứng dụng trên nền dữ liệu lakehouse.
LangChain lập luận rằng các công ty phải sở hữu trí tuệ của mình thay vì dựa vào các mô hình phổ thông, kiểm soát ba lớp: mô hình, harness và ngữ cảnh. Họ nói rằng việc sở hữu hệ thống agent, cùng với các yếu tố kinh tế, chất lượng và rủi ro xung quanh nó, chính là điều biến AI thành lợi thế lâu dài.
H6.ai tự động hóa các khoản phải trả trên nền ERP hiện có của khách hàng, sử dụng một cơ sở dữ liệu Lakebase Postgres riêng cho từng khách hàng làm hệ thống lưu trữ gốc. Vì dữ liệu hóa đơn liên tục thay đổi, nhóm sử dụng các nhánh copy-on-write của Lakebase để đóng băng ảnh chụp nhanh cơ sở dữ liệu khách hàng và chạy từng bài kiểm tra hồi quy trên nhánh ngắn hạn riêng của nó, nhờ đó cơ sở dữ liệu trực tiếp không bao giờ bị ghi vào. Mỗi lần chạy được đánh giá bằng các khẳng định tất định cùng một hội đồng giám khảo AI đến từ các nhà cung cấp mô hình khác nhau.
Databricks giới thiệu Lakehouse//RT, một engine phân tích thời gian thực chạy các khối lượng công việc có độ đồng thời cao trực tiếp trên dữ liệu lakehouse và hiện đang ở giai đoạn beta. Công ty cho biết nó đạt độ trễ dưới 100 mili giây với 12.000 truy vấn mỗi giây, bổ sung dung lượng từng node một và tránh cần một lớp phục vụ riêng; các khách hàng Aurasell, VisionHeight và nOps báo cáo chi phí hạ tầng thấp hơn 6 đến 10 lần sau khi chuyển từ các thiết lập đa cụm, Apache Pinot và Apache Druid.
Amazon Bedrock AgentCore Evaluations hiện cho phép các nhóm chạy các trình đánh giá tích hợp của AWS song song với các chỉ số DeepEval và AutoEval được quản lý, cùng các trình đánh giá tùy chỉnh bắt nguồn từ một trong hai. Danh mục tích hợp bao gồm 15 trình đánh giá trên chất lượng phản hồi, hoàn thành mục tiêu, sử dụng công cụ, kỹ năng và an toàn, với ba kiểm tra quỹ đạo cho các đường dẫn công cụ dự kiến. DeepEval bổ sung các chỉ số đa lượt như ConversationCompleteness và KnowledgeRetention, trong khi AutoEval đóng góp các tín hiệu chuyên biệt bao gồm bảo mật.
API Tìm kiếm Web trong Amazon Bedrock AgentCore hiện đã khả dụng, cung cấp cho các agent kết quả web hiện tại thông qua một lệnh gọi API duy nhất được ký SigV4, phục vụ từ chỉ mục web do Amazon vận hành. Một hướng dẫn xây dựng trình theo dõi phụ thuộc hàng ngày dưới dạng đồ thị LangGraph, nghiên cứu song song npm, PyPI và các image nền container, với cửa sổ ngày, danh sách chặn và ngân sách tìm kiếm được thực thi trong mã. Trong thử nghiệm, ba nhánh hoàn thành trong 36 giây so với 99 giây khi chạy tuần tự.
Kimi K3.1 Pro Highspeed của Moonshot AI hiện đã có trên Amazon Bedrock, đây là phiên bản được huấn luyện hậu kỳ của Kimi K3 với cùng kiến trúc trọng số mở cấp 3T và cửa sổ ngữ cảnh 1 triệu token, được huấn luyện với nhiều tính toán hậu kỳ hơn cho công việc tác nhân dài hạn và ít lỗi thực tế hơn. Moonshot AI báo cáo tốc độ đầu ra gấp 2–3 lần Kimi K3.1 Pro, và người dùng Kimi K3 hiện tại có thể chuyển đổi bằng cách thay đổi ID mô hình. Bài đăng trình bày các lệnh gọi API Chat Completions, Responses và Converse, gói Flex với giá bằng một nửa giá Standard, bộ nhớ đệm lời nhắc rõ ràng với prompt_cache_breakpoint, và kết nối mô hình với tác nhân lập trình OpenCode.
Amazon SageMaker AI phát trực tuyến hai chiều hiện hỗ trợ đo lường theo mức sử dụng, cho phép các nhà cung cấp mô hình báo cáo mức tiêu thụ thực tế cho phí phần mềm trên AWS Marketplace trong khi phí hạ tầng endpoint vẫn được áp dụng. Deepgram là đối tác ra mắt, mang đến tính phí Speech-to-Text và Text-to-Speech theo mức sử dụng trên AWS Marketplace. Thiết kế bổ sung một luồng siêu dữ liệu WebSocket đi kèm, giới hạn ở một tin nhắn mỗi giây và 512 byte, để các nhà cung cấp có thể gửi các bản ghi đo lường tăng dần trong các phiên trực tiếp.
AWS đã mã nguồn mở UAEF (Universal Agent Evaluation Framework), một hệ thống độc lập với framework sử dụng các adapter để chuẩn hóa dấu vết tác nhân từ LangGraph, LangChain, Strands Agents, Amazon Bedrock AgentCore và Langfuse thành một AgentTrace chuẩn duy nhất, sau đó chấm điểm chúng bằng 36 chỉ số tích hợp trên 7 khía cạnh. Kết quả được lưu trữ theo từng thử nghiệm trong Amazon DynamoDB và Amazon S3, để các nhóm có thể so sánh các phiên bản tác nhân với một đường cơ sở, đánh dấu các hồi quy với ngưỡng mặc định 5 phần trăm, và tạo báo cáo thống kê cùng các thông tin chi tiết do LLM viết. Bài viết cho biết khách hàng trên 12 tổ chức trong lĩnh vực viễn thông, chăm sóc sức khỏe và dịch vụ tài chính đã sử dụng UAEF trước khi phát hành, và mã Apache 2.0, thư viện Python, triển khai CDK cùng các notebook theo từng framework nằm trong kho GitHub awslabs/uaef.
Vì sao đáng chú ý: Nhóm AWS đã mã nguồn mở UAEF, sử dụng các adapter để thống nhất quỹ đạo tác nhân từ các framework khác nhau thành một định dạng duy nhất, sau đó chấm điểm chúng trên 7 khía cạnh bằng 36 chỉ số, cung cấp một lớp đánh giá có thể tái sử dụng để so sánh các phiên bản tác nhân across frameworks.
AWS Quick giới thiệu AI-PDLC, một khung gồm sáu tác nhân chuyên biệt—dẫn dắt bởi một Orchestrator bao gồm Discovery, Prioritize, Working Backwards, Spec Generator và Designer—biến các tín hiệu doanh nghiệp phân tán từ Slack, Jira, Salesforce và SharePoint thành một prototype_spec.md có thể truy vết. Mỗi giai đoạn đều yêu cầu con người phê duyệt, và bản đặc tả có thể được chuyển giao cho các tác nhân lập trình như Kiro hoặc Claude Code thông qua Agent Client Protocol (ACP) mở.
AWS đã công bố danh mục 23 tài sản AI tạo sinh mã nguồn mở, sẵn sàng cho môi trường sản xuất, từ Trung tâm Đổi mới AI tạo sinh của mình, nay thuộc AWS Frontier AI Engineering & Services. Các khối xây dựng này bao gồm pipeline RAG, bộ xử lý tài liệu, khung tác nhân (agent scaffolding) và khung đánh giá, và AWS cho biết chúng có thể rút ngắn thời gian phát triển từ nhiều tháng xuống còn vài tuần. DoorDash báo cáo năng lực kiểm thử tăng 50 lần và Ricoh tăng thông lượng gấp 7 lần sau khi xây dựng trên các tài sản này.
DXC Technology đã xây dựng nền tảng mô hình cho bộ công cụ vận hành IT DXC OASIS trên Amazon Bedrock, truy cập Anthropic Claude, Amazon Nova, Meta Llama và các mô hình trọng số mở thông qua một giao diện quản lý duy nhất. Amazon Bedrock Guardrails áp dụng lọc nội dung, che giấu PII và chính sách chủ đề bị cấm một cách thống nhất trên mọi mô hình, trong khi AWS PrivateLink giữ lưu lượng suy luận bên trong VPC của khách hàng. DXC OASIS đã được cung cấp rộng rãi từ tháng 3 năm 2026 và giảm thời gian giải quyết trung bình 95% trên 56 trường hợp sử dụng được đo lường.
AWS giới thiệu Agent Development Lifecycle (Agent DLC), một khung với một vòng đời, hai vòng lặp và một tiêu chuẩn rõ ràng duy nhất để đánh giá mọi thay đổi của agent. Nó giải quyết ba thuộc tính của agent khiến CI/CD thông thường bị phá vỡ: tính không xác định, prompt như mã nguồn và các phụ thuộc di chuyển độc lập. Một trợ lý chính sách nhân sự tham chiếu cho thấy độ chính xác truy xuất ở cấp độ đoạn là 1,00 trên cả ba câu hỏi kiểm tra trong khi độ chính xác ở cấp độ sự kiện giảm xuống 0,09 và độ phủ truy xuất đạt 0,00 ở một câu hỏi.
AWS hướng dẫn cách cấp quyền truy cập tài liệu theo từng người dùng cho một AI agent dùng chung trên Amazon Bedrock Managed Knowledge Base bằng cách đưa tìm kiếm ra dưới dạng các công cụ MCP thông qua AgentCore Gateway. Một request interceptor chèn email đã xác minh của người dùng từ Cognito JWT vào userContext, và khả năng nhận biết ACL chỉ trả về những tài liệu mà người dùng đó được phép xem. Một chính sách Cedar trong AgentCore và một chính sách dựa trên tài nguyên trên knowledge base bổ sung lớp phòng thủ thứ cấp chống lại các tìm kiếm giả mạo hoặc trái phép.
AWS đã công bố một kiến trúc tham chiếu, trong đó một bộ điều phối doanh nghiệp dựa trên LangChain trên Amazon ECS gọi một tác nhân SaaS tuân thủ dựa trên Strands Agents trên Amazon Bedrock AgentCore thông qua giao thức A2A, với hai bên nằm trong các tài khoản AWS riêng biệt và không chia sẻ bí mật. Mỗi bên xác thực bằng token từ nhóm người dùng Amazon Cognito của riêng mình, và tác nhân SaaS gọi lại một tác nhân ngữ cảnh doanh nghiệp để lấy siêu dữ liệu tài khoản, do đó các tác nhân hoạt động như những bên ngang hàng thay vì máy khách và máy chủ. Hệ thống được triển khai từ ba sổ tay Jupyter, cung cấp năm ngăn xếp CloudFormation và chạy một bài kiểm tra đầu cuối cùng bảy kiểm tra ranh giới tin cậy.
AWS đã thêm hướng dẫn chuyển đổi knowledge base vào skill amazon-bedrock trong Agent Toolkit for AWS, cho phép một coding agent lập kế hoạch chuyển từ knowledge base do khách hàng quản lý sang Amazon Bedrock Managed Knowledge Base. Agent bắt đầu bằng việc khám phá chỉ đọc và một kế hoạch được xem xét từng dòng, sau đó tạo knowledge base và các data source mới song song với bản gốc hoặc ghi một mẫu IaC đã chuyển đổi. Managed Knowledge Base nâng hạn mức mặc định lên 200 data source mỗi knowledge base và 10.000 knowledge base mỗi tài khoản mỗi Region, đồng thời bổ sung truy xuất agentic, tích hợp AgentCore Gateway và resource-based policy.
Databricks đã đưa ứng dụng Genie cho Slack lên trạng thái generally available, cho phép người dùng đặt câu hỏi về dữ liệu qua DM hoặc @mention và nhận câu trả lời ngay trong thread, dựa trên quyền của Unity Catalog. Mọi câu trả lời đều trích dẫn nguồn, và thông qua các connector MCP, Genie có thể soạn thảo thay đổi cho tài liệu, ticket và bản ghi để chờ phê duyệt trước khi thực thi.
Warhammer 40,000: Dawn of War IV, do KING Art Games phát triển và Deep Silver phát hành, sẽ có mặt trên GeForce NOW khi ra mắt trên Steam vào thứ Năm, ngày 3 tháng 12. Tựa game chiến thuật thời gian thực này có hơn 70 nhiệm vụ chiến dịch có thể chơi đơn hoặc chơi hợp tác, cùng với các chế độ The Last Stand, Skirmish và nhiều người chơi. NVIDIA DLSS 5 với 3D-Guided Neural Rendering cũng sẽ đến với War Thunder vào giữa tháng 11 và Where Winds Meet vào thứ Hai, ngày 23 tháng 11.
GTM Agent nội bộ của LangChain đã tạo ra 1.540 tài liệu bán hàng trong 12 tuần, giúp các đại diện tiết kiệm 337 giờ cho các tài liệu như kế hoạch tài khoản và bộ đề xuất. 47% thương vụ có tài liệu được gửi đã tiến sang giai đoạn sau, so với 16% ở các thương vụ tương ứng không có tài liệu, và 46% tài liệu được theo sau bởi một cuộc gọi khách hàng trong vòng 14 ngày. Agent vận hành trên Deep Agents harness, với sandbox, skills, memory và scheduled runs có sẵn trong Managed Deep Agents.
AWS hướng dẫn các nhóm Java cách xây dựng tác nhân AI tự hành bằng Spring AI và AgentCore của Amazon Bedrock, với tích hợp spring-ai-agentcore. Hai hệ thống tham chiếu được trình bày chi tiết: một trợ lý du lịch đơn tác nhân có gọi công cụ và bộ nhớ, và một nền tảng xử lý tài liệu thông minh đa tác nhân với năm tác nhân chuyên biệt, một công cụ quy tắc và cảnh báo. Ngăn xếp yêu cầu JDK 21, Spring Boot 4.1 với Spring AI 2.0, và triển khai qua runtime AgentCore trên container ARM64.
LiveKit đã phát hành LiveKit Cloud API dưới dạng bản beta mở, cho phép các coding agent tạo và cấu hình dự án, quản lý thành viên và webhook, đồng thời lấy bản ghi, log, trace và bản ghi âm từ các cuộc gọi agent. API này là REST API, chạy với tư cách đăng nhập của người dùng, sử dụng token ngắn hạn được kiểm tra theo vai trò dự án và các hành động nhạy cảm chỉ giới hạn cho quản trị viên dự án. Trong một thử nghiệm trên trợ lý tài liệu của LiveKit, một coding agent đã đọc 4.321 phiên từ tuần trước và trả về danh sách xếp hạng 8 vấn đề sau khoảng 30 phút. Dữ liệu phiên yêu cầu Agent Observability, tính năng này mặc định tắt đối với các dự án được tạo qua API, và các yêu cầu API là miễn phí nhưng bị giới hạn tốc độ theo gói.
OpenRouter đã công bố phân tích hòa vốn cho thấy khi nào tự vận hành một LLM trọng số mở có chi phí thấp hơn so với gọi nó qua API, sử dụng giá theo từng nhà cung cấp tính đến ngày 8 tháng 10 năm 2026. Với mức giá đó, Qwen3.8 27B trên một RTX 3090 thuê với giá 0,50 đô la một giờ đạt hòa vốn ở mức tải 6 đến 12%, trong khi DeepSeek V4.1 Flash trên bốn H200 không bao giờ đánh bại được endpoint không lưu dữ liệu rẻ nhất. Bài viết cũng lưu ý rằng provider.zdr và các tên miền EU và US đáp ứng hầu hết nhu cầu riêng tư mà không cần tự vận hành, và khuyến nghị chạy một mức tải cơ bản ổn định tại chỗ trong khi gửi các đỉnh tải đến API.
vLLM hỗ trợ Inkling 2 Small của Thinking Machines ngay từ ngày đầu tiên, một MoE đa phương thức văn bản và thị giác với tổng 594B và 17B tham số hoạt động, ngữ cảnh lên đến 1M token. Tích hợp này bổ sung kernel fusion với PDL, sequence parallelism cho prefill giúp giảm bước prefill 8K token 22% ở TP4 và 26% ở TP8, cùng kernel decode attention tương đối Gluon giúp giảm bước decode batch-1 ở ngữ cảnh 100K từ 15,1 ms xuống 4,8 ms. vLLM báo cáo lên đến 630 TPS/người dùng ở TP4 trên GB200 với độ dài chấp nhận 3,5, đồng thời hỗ trợ LoRA và RL qua SkyRL.
Vì sao đáng chú ý: vLLM hỗ trợ Inkling 2 Small ngay trong ngày ra mắt, đồng thời cung cấp dữ liệu tối ưu cụ thể về kernel fusion, sequence parallelism và kernel decode Gluon, có thể làm tài liệu tham khảo cho các nhóm triển khai mô hình MoE lớn.