Tới nội dung
Chỉ Chính chủ#Hướng dẫn / thực hành
13 tháng 11Thứ Sáu
  1. LiveKit Blog62

    LiveKit thử nghiệm Gemini 4 Hydrogen so với 3.8 Flash trong một voice agent với các công cụ bị cố ý làm hỏng

    LiveKit đã chạy Gemini 4 Hydrogen và Gemini 3.8 Flash qua cùng một plugin Google trong một voice agent trợ lý du lịch với các công cụ bị cố ý làm lỗi, và Hydrogen tạo ra 0 báo cáo đặt chỗ sai trên 54 bản ghi, so với 2 của 3.8 Flash. Với Hydrogen ở mức high và 3.8 Flash ở mức mặc định, câu đầu tiên của Hydrogen đến sớm hơn 1,2 giây (4,0 giây so với 5,2 giây), và ở mức low trên cả hai thì sớm hơn 1,7 giây (2,8 giây so với 4,6 giây). Tác giả khuyến nghị dùng mức thinking medium hoặc high cho voice agent, lưu ý mức xhigh có trung vị 7,8 giây đến câu đầu tiên và trường hợp xấu nhất là 52 giây.

    Vì sao đáng chú ý: Bài kiểm tra thực tế của LiveKit cho thấy Gemini 4 Hydrogen báo cáo mọi lệnh gọi công cụ bị cố ý làm hỏng và bắt đầu trả lời sớm hơn 3.8 Flash, kèm dữ liệu độ trễ theo từng mức thinking cho voice agent.

  2. ElevenLabs Blog18

    7 kỹ năng chăm sóc khách hàng mà mọi nhân viên hỗ trợ con người và AI đều cần

    ElevenLabs phác thảo bảy kỹ năng chăm sóc khách hàng — giao tiếp, giải quyết vấn đề, xử lý xung đột, đồng cảm, thích ứng, cá nhân hóa và kiến thức sản phẩm — mà cả nhân viên hỗ trợ con người lẫn AI đều cần. Tài liệu trích dẫn một nghiên cứu của Zendesk cho thấy hơn 50% khách hàng đã chuyển sang đối thủ cạnh tranh sau một trải nghiệm tồi tệ, và dự báo của Gartner rằng ít nhất 70% khách hàng sẽ bắt đầu hành trình của họ bằng một giao diện AI vào năm 2028. Hướng dẫn nhấn mạnh việc đánh giá các chỉ số hội thoại trong quá trình huấn luyện và sau khi triển khai, cùng với việc chuyển giao liền mạch cho con người để giảm căng thẳng.

  3. Databricks Blog36

    Phát hiện các cuộc tấn công dựa trên thông tin xác thực trên Databricks bằng nhật ký kiểm tra chi tiết và Genie

    Databricks giải thích chi tiết cách các cuộc tấn công dựa trên thông tin xác thực diễn ra trên nền tảng của mình và cách nhật ký kiểm tra chi tiết cùng Genie có thể phát hiện sự thay đổi hành vi sau khi PAT, cookie phiên hoặc thông tin xác thực của service principal bị đánh cắp được sử dụng. Bài viết phân loại hoạt động của kẻ tấn công thành sáu giai đoạn, từ đăng nhập ban đầu đến trinh sát môi trường, đồng thời đề cập các bước ứng phó và biện pháp kiểm soát nhằm hạn chế phạm vi mà thông tin xác thực bị đánh cắp có thể tiếp cận.

  4. Databricks Blog36

    Bright Machines dùng Debezium và Iceberg để cung cấp cho khách hàng bảng điều khiển trực tiếp từ các nhà máy cách ly mạng

    Bright Machines hiện cung cấp cho khách hàng bảng điều khiển dữ liệu nhà máy trực tiếp, có quản trị từ các nhà máy cách ly mạng mà không cần mở bất kỳ quyền truy cập vào nào. Công ty ghi lại các thay đổi PostgreSQL tại biên với Debezium, ghi chúng dưới dạng Apache Iceberg, đẩy ra ngoài qua một đường ra duy nhất có thể kiểm toán, và đọc tại chỗ trong Databricks thông qua liên kết Unity Catalog. Bảng điều khiển đầu tiên mà khách hàng nhìn thấy đã đi vào hoạt động khoảng hai tháng sau khi khởi động, với các hàng đã cam kết có thể truy vấn trong một đến hai phút và bảng điều khiển làm mới mỗi mười phút.

  5. OpenRouter Announcements58

    OpenRouter thử nghiệm 11 reranker trên bộ benchmark RAG 274 câu hỏi

    OpenRouter đã benchmark 11 reranker trên một bộ dữ liệu RAG tổng hợp gồm 274 câu hỏi và phát hiện rằng việc rerank 30 ứng viên hàng đầu từ tìm kiếm vector bằng voyageai/rerank-3-lite đã nâng precision@1 từ 81,0% lên 97,1% với chi phí khoảng 0,10 USD cho mỗi 1.000 truy vấn. Hướng dẫn khuyến nghị truy xuất khoảng 30 chunk, rerank chúng, và chỉ gửi 3 chunk hàng đầu đến LLM, điều này trong thử nghiệm của họ đã nâng độ chính xác câu trả lời lên 99,3% đồng thời giảm chi phí trả lời từ 0,22 USD xuống 0,16 USD cho mỗi 1.000 câu hỏi. Nó cũng chỉ ra các chế độ lỗi: bỏ qua tham số input_type mất 7 đến 12 điểm precision@1, và cohere/rerank-v3.5 âm thầm bỏ qua nội dung vượt quá giới hạn 4.096 token của nó.

  6. GitHub Blog · AI & ML58

    Hướng dẫn trên GitHub giải thích cách xây dựng agent skills chạy được trên Claude Code, Cursor và Copilot

    GitHub đã công bố một hướng dẫn thực hành về agent skills, các thư mục được đánh phiên bản tập trung vào tệp SKILL.md mô tả khi nào và cách thực hiện một tác vụ lặp lại. Hướng dẫn sử dụng hai ví dụ, Proof Agent để xác minh đối kháng mã do AI tạo ra và Data Forge cho một pipeline dữ liệu đa kỹ năng, để cho thấy cách các skill chia sẻ một manifest dự án, tái sử dụng một đường thực thi và đặt phê duyệt của con người ở mỗi giai đoạn. Nó cũng mô tả một script đóng gói tạo ra các tệp riêng cho từng client dành cho Claude Code, Cursor và GitHub Copilot từ một nguồn skills duy nhất.

  7. AWS Machine Learning Blog40

    Natera đã xây dựng SWARM như thế nào, một hệ thống AI tác tử cho vận hành phòng thí nghiệm trên Amazon Bedrock AgentCore

    Natera đã xây dựng SWARM, một hệ thống AI tác tử cho vận hành phòng thí nghiệm, trên Amazon Bedrock AgentCore, giảm thời gian phản hồi đầu tiên khoảng 130 lần và tự động hóa 96,2 phần trăm số ticket hỗ trợ. Hệ thống kết hợp một swarm-agent soạn thảo báo cáo chẩn đoán trước khi kỹ sư mở ticket với một swarm-hive để kỹ sư tương tác theo thời gian thực, cả hai cùng chia sẻ một thư viện kỹ năng. Nó xử lý hơn 65 ticket Jira mỗi ngày trên ba hàng đợi mà trước đây trung bình mất 17,4 giờ cho phản hồi đầu tiên.

  8. Databricks Blog30

    Databricks bác bỏ bốn lầm tưởng về LTAP trong kiến trúc Lakebase

    Databricks phản hồi bốn cách hiểu sai phổ biến về LTAP, kiến trúc Lakebase giữ một bản dữ liệu vận hành duy nhất được quản trị, phục vụ cả Postgres lẫn phân tích mà không cần CDC. Bài viết lập luận LTAP không phải sao chép: các lớp phía trước hồ dữ liệu là bộ nhớ đệm, không phải cơ sở dữ liệu thứ hai có catalog riêng. Bài viết cũng nói rằng heap page và Parquet là hai cách mã hóa không mất mát của cùng các hàng, nên tra cứu điểm và quét mỗi bên đọc bố cục nhanh cho mình.

  9. AWS Machine Learning Blog38

    Tokenomics ở quy mô lớn: Theo dõi và giới hạn chi tiêu Amazon Bedrock theo từng IAM Principal với CUR 2.0 và AWS Budgets

    AWS hướng dẫn cách theo dõi và giới hạn chi tiêu cho AI tạo sinh Amazon Bedrock theo từng IAM principal chỉ bằng các tính năng gốc: Bedrock tự động ghi lại IAM user hoặc role trên mỗi yêu cầu suy luận, và các thẻ đó trở thành thẻ phân bổ chi phí có thể đọc được trong Cost Explorer hoặc các bản xuất CUR 2.0. Một AWS Budget giới hạn phạm vi cho Bedrock và lọc theo một danh tính hoặc giá trị thẻ có thể gắn một hành động ngân sách áp dụng chính sách Deny IAM khi vượt ngưỡng, không cần mã ứng dụng cho trường hợp thông thường.

  10. AWS Machine Learning Blog36

    Bốn lựa chọn suy luận trên Amazon Bedrock ảnh hưởng đến chi phí

    Thời lượng bộ nhớ đệm, bậc dịch vụ, nỗ lực suy luận và cài đặt maxTokens của Amazon Bedrock có thể thay đổi chi phí suy luận mà không cần thay đổi mô hình hay prompt. Ghi bộ nhớ đệm 5 phút trên Claude Sonnet 5 và Claude Opus 5 tốn 1,25 lần mức giá đầu vào, ghi 1 giờ tốn 2 lần, và đọc bộ nhớ đệm tốn 0,1 lần; các yêu cầu bậc Flex đến các mô hình không được hỗ trợ sẽ thất bại với ValidationException.

  11. OpenAI News22

    Amplitude ra mắt cải tiến sản phẩm trong 1–2 ngày với OpenAI như thế nào

    Wave, đại lý sản phẩm chủ động của Amplitude, được xây dựng chủ yếu trên các mô hình OpenAI, xác định những gì cần xây dựng, giúp các nhóm triển khai thay đổi với các đại lý lập trình và đo lường tác động. Thiết lập này cho phép Amplitude ra mắt cải tiến sản phẩm trong 1–2 ngày.

  12. LangChain Blog45

    Phát triển dựa trên đánh giá là gì? Cách cải thiện AI Agent

    LangChain giải thích phát triển dựa trên đánh giá (EDD), một quy trình ba bước để xây dựng AI Agent: xác định thế nào là tốt, viết đánh giá trước khi xây dựng, và so sánh kết quả sau mỗi thay đổi. Vì agent có tính không xác định, đánh giá sẽ chấm điểm các lần chạy trên một tập dữ liệu ví dụ và có thể dùng LLM-as-a-judge, với các lần chạy agent thực tế trong LangSmith làm nguồn đầu vào kiểm thử.

  13. Databricks Blog22

    Constellation xây dựng nền tảng dữ liệu có quản trị trên Databricks như thế nào

    Constellation, đơn vị vận hành đội hạt nhân lớn nhất Hoa Kỳ, đang xây dựng Nền tảng Dữ liệu Doanh nghiệp có quản trị trên Databricks để mang lại cho doanh nghiệp một ý nghĩa chung cho dữ liệu của mình. Nền tảng này sử dụng Unity Catalog cho phả hệ, quyền truy cập chi tiết và một mô hình phân quyền duy nhất, cùng với mô hình hóa Data Vault cho các thực thể quan trọng có thể tái sử dụng. Các trường hợp sử dụng ban đầu bao gồm một trợ lý kỹ thuật hạt nhân được xây dựng với Databricks Genie và lập kế hoạch ngừng hoạt động.

  14. Databricks Blog25

    Eclipse Aerospace sử dụng nguồn dữ liệu tùy chỉnh Databricks PySpark để nhập dữ liệu chuyến bay

    Eclipse Aerospace đang sử dụng nguồn dữ liệu tùy chỉnh Databricks PySpark để nhập gần 20 năm dữ liệu chuyến bay độc quyền, hơn 3TB trải rộng trên hơn một triệu giờ bay, mà không cần tính toán chuyên dụng luôn bật. Gói Python được hỗ trợ bởi Rust đã mang lại hiệu suất gấp đôi so với chuẩn đánh giá của một nguồn dữ liệu Python thuần dựa trên PyArrow tương tự và gần 20 lần so với triển khai Python gốc không có Arrow. API, được giới thiệu trong Apache Spark 4.0 và có sẵn trong Databricks Runtime 15.4 LTS, thay thế quy trình Lambda-to-Avro trước đó.

  15. AWS Machine Learning Blog34

    Xây dựng cổng LLM tự phục vụ với Amazon Bedrock và LiteLLM

    Một cổng LLM tự phục vụ được xây dựng trên Amazon Bedrock Application Inference Profiles và LiteLLM chạy trên AWS Fargate, đưa các mô hình nền tảng của Bedrock ra sau một API tương thích OpenAI, mang lại cho nhà phát triển một base URL duy nhất và khóa riêng cho từng người dùng. Thiết lập này bổ sung kiểm soát chi tiêu theo từng người dùng, cô lập hạn mức theo từng mô hình và khả năng quan sát RPM/TPM qua CloudWatch, cùng với Langfuse để theo dõi telemetry ở cấp độ prompt. Việc cấp khóa tự phục vụ yêu cầu LiteLLM Enterprise, vì gói miễn phí chỉ giới hạn ở năm người dùng.

  16. AWS Machine Learning Blog34

    Tối ưu chi phí trên mỗi tác vụ và chứng minh ROI của agent trên Amazon Bedrock

    Bài viết này của AWS lập luận rằng chi tiêu cho Amazon Bedrock nên được đánh giá theo chi phí trên mỗi tác vụ thay vì chi phí trên mỗi token, vì hiệu quả của tokenizer, độ dài đầu ra, số vòng lặp agentic và chi phí suy luận có thể khiến một mô hình có giá niêm yết thấp hơn lại tốn kém hơn. Một ví dụ minh họa cho thấy một mô hình có giá niêm yết gấp 2 lần lại hoàn thành với chi phí rẻ hơn 65% trên mỗi tác vụ, và bài viết bổ sung thêm caching, định tuyến và ràng buộc đầu ra cùng một bảng điểm năm chiều để đo ROI của agent so với đường cơ sở do con người thực hiện.

  17. Databricks Blog22

    H6.ai xây dựng tự động hóa tài chính bằng AI với Lakebase Postgres như thế nào

    H6.ai tự động hóa các khoản phải trả trên nền ERP hiện có của khách hàng, sử dụng một cơ sở dữ liệu Lakebase Postgres riêng cho từng khách hàng làm hệ thống lưu trữ gốc. Vì dữ liệu hóa đơn liên tục thay đổi, nhóm sử dụng các nhánh copy-on-write của Lakebase để đóng băng ảnh chụp nhanh cơ sở dữ liệu khách hàng và chạy từng bài kiểm tra hồi quy trên nhánh ngắn hạn riêng của nó, nhờ đó cơ sở dữ liệu trực tiếp không bao giờ bị ghi vào. Mỗi lần chạy được đánh giá bằng các khẳng định tất định cùng một hội đồng giám khảo AI đến từ các nhà cung cấp mô hình khác nhau.

  18. AWS Machine Learning Blog38

    Amazon Bedrock AgentCore Evaluations: trình đánh giá tích hợp, DeepEval và AutoEval

    Amazon Bedrock AgentCore Evaluations hiện cho phép các nhóm chạy các trình đánh giá tích hợp của AWS song song với các chỉ số DeepEval và AutoEval được quản lý, cùng các trình đánh giá tùy chỉnh bắt nguồn từ một trong hai. Danh mục tích hợp bao gồm 15 trình đánh giá trên chất lượng phản hồi, hoàn thành mục tiêu, sử dụng công cụ, kỹ năng và an toàn, với ba kiểm tra quỹ đạo cho các đường dẫn công cụ dự kiến. DeepEval bổ sung các chỉ số đa lượt như ConversationCompleteness và KnowledgeRetention, trong khi AutoEval đóng góp các tín hiệu chuyên biệt bao gồm bảo mật.

  19. AWS Machine Learning Blog36

    Xây dựng Trình theo dõi Phụ thuộc Hàng ngày với LangGraph và Tìm kiếm Web Amazon Bedrock AgentCore

    API Tìm kiếm Web trong Amazon Bedrock AgentCore hiện đã khả dụng, cung cấp cho các agent kết quả web hiện tại thông qua một lệnh gọi API duy nhất được ký SigV4, phục vụ từ chỉ mục web do Amazon vận hành. Một hướng dẫn xây dựng trình theo dõi phụ thuộc hàng ngày dưới dạng đồ thị LangGraph, nghiên cứu song song npm, PyPI và các image nền container, với cửa sổ ngày, danh sách chặn và ngân sách tìm kiếm được thực thi trong mã. Trong thử nghiệm, ba nhánh hoàn thành trong 36 giây so với 99 giây khi chạy tuần tự.

  20. AWS Machine Learning Blog36

    AWS Quick AI-PDLC: Sáu tác nhân cho phát triển sản phẩm dẫn dắt bởi AI

    AWS Quick giới thiệu AI-PDLC, một khung gồm sáu tác nhân chuyên biệt—dẫn dắt bởi một Orchestrator bao gồm Discovery, Prioritize, Working Backwards, Spec Generator và Designer—biến các tín hiệu doanh nghiệp phân tán từ Slack, Jira, Salesforce và SharePoint thành một prototype_spec.md có thể truy vết. Mỗi giai đoạn đều yêu cầu con người phê duyệt, và bản đặc tả có thể được chuyển giao cho các tác nhân lập trình như Kiro hoặc Claude Code thông qua Agent Client Protocol (ACP) mở.

  21. AWS Machine Learning Blog40

    AWS mở danh mục 23 tài sản AI tạo sinh có thể tái sử dụng từ Trung tâm Đổi mới của mình

    AWS đã công bố danh mục 23 tài sản AI tạo sinh mã nguồn mở, sẵn sàng cho môi trường sản xuất, từ Trung tâm Đổi mới AI tạo sinh của mình, nay thuộc AWS Frontier AI Engineering & Services. Các khối xây dựng này bao gồm pipeline RAG, bộ xử lý tài liệu, khung tác nhân (agent scaffolding) và khung đánh giá, và AWS cho biết chúng có thể rút ngắn thời gian phát triển từ nhiều tháng xuống còn vài tuần. DoorDash báo cáo năng lực kiểm thử tăng 50 lần và Ricoh tăng thông lượng gấp 7 lần sau khi xây dựng trên các tài sản này.

  22. AWS Machine Learning Blog38

    DXC Technology đã xây dựng nền tảng AI đa mô hình trên Amazon Bedrock như thế nào

    DXC Technology đã xây dựng nền tảng mô hình cho bộ công cụ vận hành IT DXC OASIS trên Amazon Bedrock, truy cập Anthropic Claude, Amazon Nova, Meta Llama và các mô hình trọng số mở thông qua một giao diện quản lý duy nhất. Amazon Bedrock Guardrails áp dụng lọc nội dung, che giấu PII và chính sách chủ đề bị cấm một cách thống nhất trên mọi mô hình, trong khi AWS PrivateLink giữ lưu lượng suy luận bên trong VPC của khách hàng. DXC OASIS đã được cung cấp rộng rãi từ tháng 3 năm 2026 và giảm thời gian giải quyết trung bình 95% trên 56 trường hợp sử dụng được đo lường.

  23. AWS Machine Learning Blog40

    Agent DLC: Kỹ thuật AI Agent từ Nguyên mẫu đến Sản xuất

    AWS giới thiệu Agent Development Lifecycle (Agent DLC), một khung với một vòng đời, hai vòng lặp và một tiêu chuẩn rõ ràng duy nhất để đánh giá mọi thay đổi của agent. Nó giải quyết ba thuộc tính của agent khiến CI/CD thông thường bị phá vỡ: tính không xác định, prompt như mã nguồn và các phụ thuộc di chuyển độc lập. Một trợ lý chính sách nhân sự tham chiếu cho thấy độ chính xác truy xuất ở cấp độ đoạn là 1,00 trên cả ba câu hỏi kiểm tra trong khi độ chính xác ở cấp độ sự kiện giảm xuống 0,09 và độ phủ truy xuất đạt 0,00 ở một câu hỏi.

  24. AWS Machine Learning Blog36

    Kiểm soát truy cập chi tiết cho các công cụ Amazon Bedrock Managed Knowledge Base

    AWS hướng dẫn cách cấp quyền truy cập tài liệu theo từng người dùng cho một AI agent dùng chung trên Amazon Bedrock Managed Knowledge Base bằng cách đưa tìm kiếm ra dưới dạng các công cụ MCP thông qua AgentCore Gateway. Một request interceptor chèn email đã xác minh của người dùng từ Cognito JWT vào userContext, và khả năng nhận biết ACL chỉ trả về những tài liệu mà người dùng đó được phép xem. Một chính sách Cedar trong AgentCore và một chính sách dựa trên tài nguyên trên knowledge base bổ sung lớp phòng thủ thứ cấp chống lại các tìm kiếm giả mạo hoặc trái phép.

  25. AWS Machine Learning Blog58

    AWS hướng dẫn xây dựng hệ thống đa tác nhân liên tổ chức với A2A

    AWS đã công bố một kiến trúc tham chiếu, trong đó một bộ điều phối doanh nghiệp dựa trên LangChain trên Amazon ECS gọi một tác nhân SaaS tuân thủ dựa trên Strands Agents trên Amazon Bedrock AgentCore thông qua giao thức A2A, với hai bên nằm trong các tài khoản AWS riêng biệt và không chia sẻ bí mật. Mỗi bên xác thực bằng token từ nhóm người dùng Amazon Cognito của riêng mình, và tác nhân SaaS gọi lại một tác nhân ngữ cảnh doanh nghiệp để lấy siêu dữ liệu tài khoản, do đó các tác nhân hoạt động như những bên ngang hàng thay vì máy khách và máy chủ. Hệ thống được triển khai từ ba sổ tay Jupyter, cung cấp năm ngăn xếp CloudFormation và chạy một bài kiểm tra đầu cuối cùng bảy kiểm tra ranh giới tin cậy.

  26. AWS Machine Learning Blog34

    Chuyển sang Amazon Bedrock Managed Knowledge Base với một coding agent

    AWS đã thêm hướng dẫn chuyển đổi knowledge base vào skill amazon-bedrock trong Agent Toolkit for AWS, cho phép một coding agent lập kế hoạch chuyển từ knowledge base do khách hàng quản lý sang Amazon Bedrock Managed Knowledge Base. Agent bắt đầu bằng việc khám phá chỉ đọc và một kế hoạch được xem xét từng dòng, sau đó tạo knowledge base và các data source mới song song với bản gốc hoặc ghi một mẫu IaC đã chuyển đổi. Managed Knowledge Base nâng hạn mức mặc định lên 200 data source mỗi knowledge base và 10.000 knowledge base mỗi tài khoản mỗi Region, đồng thời bổ sung truy xuất agentic, tích hợp AgentCore Gateway và resource-based policy.

12 tháng 11Thứ Năm
  1. LangChain Blog40

    Cách GTM Agent của LangChain tạo ra các tài liệu bán hàng nhất quán, chất lượng cao

    GTM Agent nội bộ của LangChain đã tạo ra 1.540 tài liệu bán hàng trong 12 tuần, giúp các đại diện tiết kiệm 337 giờ cho các tài liệu như kế hoạch tài khoản và bộ đề xuất. 47% thương vụ có tài liệu được gửi đã tiến sang giai đoạn sau, so với 16% ở các thương vụ tương ứng không có tài liệu, và 46% tài liệu được theo sau bởi một cuộc gọi khách hàng trong vòng 14 ngày. Agent vận hành trên Deep Agents harness, với sandbox, skills, memory và scheduled runs có sẵn trong Managed Deep Agents.

  2. AWS Machine Learning Blog36

    Xây dựng tác nhân AI tự hành với Amazon Bedrock và Spring AI

    AWS hướng dẫn các nhóm Java cách xây dựng tác nhân AI tự hành bằng Spring AI và AgentCore của Amazon Bedrock, với tích hợp spring-ai-agentcore. Hai hệ thống tham chiếu được trình bày chi tiết: một trợ lý du lịch đơn tác nhân có gọi công cụ và bộ nhớ, và một nền tảng xử lý tài liệu thông minh đa tác nhân với năm tác nhân chuyên biệt, một công cụ quy tắc và cảnh báo. Ngăn xếp yêu cầu JDK 21, Spring Boot 4.1 với Spring AI 2.0, và triển khai qua runtime AgentCore trên container ARM64.

  3. OpenRouter Announcements58

    OpenRouter so sánh chi phí LLM tự vận hành và API bằng tính toán tải hòa vốn

    OpenRouter đã công bố phân tích hòa vốn cho thấy khi nào tự vận hành một LLM trọng số mở có chi phí thấp hơn so với gọi nó qua API, sử dụng giá theo từng nhà cung cấp tính đến ngày 8 tháng 10 năm 2026. Với mức giá đó, Qwen3.8 27B trên một RTX 3090 thuê với giá 0,50 đô la một giờ đạt hòa vốn ở mức tải 6 đến 12%, trong khi DeepSeek V4.1 Flash trên bốn H200 không bao giờ đánh bại được endpoint không lưu dữ liệu rẻ nhất. Bài viết cũng lưu ý rằng provider.zdr và các tên miền EU và US đáp ứng hầu hết nhu cầu riêng tư mà không cần tự vận hành, và khuyến nghị chạy một mức tải cơ bản ổn định tại chỗ trong khi gửi các đỉnh tải đến API.

  4. OpenRouter Announcements58

    OpenRouter ra mắt hướng dẫn: Cách ngăn AI Agent rơi vào vòng lặp vô hạn

    OpenRouter đã công bố hướng dẫn về cách ngăn chặn AI Agent bị kẹt khi liên tục thử lại một công cụ đang lỗi, sử dụng bốn lớp bảo vệ được thử nghiệm trên sáu mô hình hiện hành. Khi bật tính năng phát hiện doomLoop, cả sáu mô hình đều bị chặn ở lần gọi công cụ trùng lặp thứ ba, và qua 18 lần chạy, số lần gọi công cụ giảm từ 314 xuống 64 trong khi chi phí giảm từ $0.29 xuống $0.05. Hướng dẫn bổ sung loopKey để chuẩn hóa đối số, stopWhen giới hạn số bước và chi phí, cùng giới hạn tín dụng trên API key trả về mã 402 với limit_source openrouter_key_limit.

  5. OpenRouter Announcements28

    Cách đánh giá LLM: Hướng dẫn chấm điểm bằng mã từ OpenRouter

    OpenRouter đã công bố hướng dẫn đánh giá LLM trên dữ liệu đầu vào của chính ứng dụng, chấm điểm đầu ra bằng mã và so sánh độ chính xác, chi phí tính phí và thời gian yêu cầu. Trên 60 tác vụ tổng hợp, GPT-6.1 Sol đã vượt qua 180/180 lần thử qua ba lần lặp lại, trong khi DeepSeek có chi phí phản hồi thấp nhất với 157/180 lần vượt qua. Mức độ đồng thuận với bảng xếp hạng công khai là yếu, với hệ số tương quan Spearman là 0.109.

  6. vLLM Blog72

    vLLM phục vụ DeepSeek-V4.1-Flash trên Vera Rubin NVL72 với thông lượng gấp 58 lần GB300 NVL72

    vLLM báo cáo việc phục vụ DeepSeek-V4.1-Flash trên một rack NVIDIA Vera Rubin NVL72 duy nhất đạt 1,7M token/s mỗi GPU với 387 token/s mỗi người dùng, gấp 58 lần GB300 NVL72, đạt đỉnh 2,52M token/s và 1.810 token/s cho một người dùng. Mức tăng đến từ các kernel được xây dựng lại cho các miền bộ nhớ tách biệt của Rubin và lõi tensor FP4, một đường giải mã TP8 chuyên dụng, và các pool KV và Engram toàn rack chia sẻ qua NVLink. Với các tiền tố được gộp chung trên toàn rack và định tuyến nhận biết khối lượng công việc của Dynamo, tỷ lệ trúng tiền tố giữ ở mức 96,5-97% ngay cả ở mức đồng thời cao.

    Vì sao đáng chú ý: Bài đăng thứ ba của vLLM về DeepSeek-V4.1-Flash trình bày chi tiết cách các kernel dành riêng cho Rubin và gộp bộ nhớ toàn rack nâng thông lượng gấp 58 lần so với GB300 NVL72, mang lại một tham chiếu cụ thể cho tối ưu hóa phục vụ quy mô lớn.

  7. Hugging Face Blog36

    Hugging Face phát hành hướng dẫn và script fine-tune cho TRELLIS.2 tạo sinh 3D

    Hugging Face đã công bố các script và container fine-tune cho TRELLIS.2, một mô hình tạo sinh 3D, có thể chạy cục bộ hoặc trên Hugging Face Jobs. Hướng dẫn sử dụng LoRA adapter thông qua thư viện PEFT chỉ trên sparse-structure flow DiT và shape flow DiT, giữ nguyên giai đoạn material. Trên tập con 188 đối tượng giày dép của bộ dữ liệu GSO, mô hình tiền huấn luyện thường render sai đế giày, và đây là mục tiêu mà fine-tune LoRA nhắm tới.

  8. AWS Machine Learning Blog36

    Chạy OpenAI Codex trên Amazon Bedrock: Các đường dẫn truy cập và hướng dẫn triển khai

    Bài viết này hướng dẫn cách định tuyến các yêu cầu mô hình OpenAI Codex đến Amazon Bedrock trong khi tận dụng các thực tiễn hiện có về danh tính AWS, IAM, Region và khả năng quan sát. Bài viết khuyến nghị bắt đầu với Native AWS Access cho một thử nghiệm nhỏ với đặc quyền tối thiểu, với AgentCore Gateway hoặc LLM Gateway là các lựa chọn thay thế, và trình bày chi tiết việc đăng nhập IAM Identity Center cùng với kiểm tra trực tiếp Bedrock Runtime bằng GPT-5.6 Sol.

  9. AWS Machine Learning Blog34

    So sánh ngữ nghĩa các chính sách hình thức bằng phản hợp nhất

    Một engine mã nguồn mở tính toán khác biệt ngữ nghĩa của các chính sách hình thức bằng cách dùng phản hợp nhất trên một e-graph, hiển thị cấu trúc chung một lần và giữ lại cả hai phiên bản của mỗi phần khác biệt. Nó nhắm tới các đầu ra tự hình thức hóa trong các chính sách SMT-LIB, Cedar, Dogwood, OpenShell và CEL, nơi một LLM viết ra tạo tác nhưng không tham gia vào việc tính toán khác biệt.

  10. AWS Machine Learning Blog46

    Phát hiện và khắc phục lỗi hỏng dữ liệu âm thầm trên Amazon SageMaker HyperPod

    Một vòng lặp huấn luyện PyTorch DDP trên Amazon SageMaker HyperPod được bổ sung ba bước kiểm tra nhằm phát hiện lỗi hỏng dữ liệu âm thầm: kiểm tra gradient không hữu hạn, kiểm toán phát lại vòng so sánh bit loss và dấu vân tay gradient giữa các node, và so sánh dấu vân tay trọng số sau bước tối ưu hóa. Được thử nghiệm với lỗi tiêm phần mềm trên 4 instance ml.p5.48xlarge (32 GPU NVIDIA H100), các bước kiểm tra chỉ ra rank nghi ngờ, ánh xạ rank đó tới một node, và cho phép HyperPod thay thế node và tiếp tục từ checkpoint.

  11. AWS Machine Learning Blog12

    AWS re:Invent 2026 AI/ML Track: Hướng dẫn cho người tham dự

    AWS sẽ tổ chức hội nghị re:Invent thường niên từ ngày 30 tháng 11 đến ngày 4 tháng 12, với track AI/ML cung cấp hơn 140 phiên độc đáo trong tổng số hơn 2.000 phiên học tập. Hướng dẫn này ánh xạ các phiên vào ngăn xếp AI của AWS, bao gồm chip AI (AWS Trainium và NVIDIA GPUs), mô hình và suy luận trên Amazon Bedrock và SageMaker AI, và phát triển tác nhân với Amazon Bedrock AgentCore. Các phiên được tổ chức từ nội dung cho người mới đến các buổi đào sâu kỹ thuật, và nhiều phiên có thể xem theo yêu cầu.

  12. AWS Machine Learning Blog28

    Tự động hóa cập nhật AWS Agent Registry với kiến trúc dựa trên push

    AWS phác thảo một pipeline hướng sự kiện giúp duy trì các bản ghi AWS Agent Registry cho các máy chủ MCP luôn cập nhật mà không cần cập nhật thủ công. AWS CloudTrail ghi lại các lệnh gọi API UpdateAgentRuntime, Amazon EventBridge định tuyến chúng giữa các tài khoản, và một hàm Lambda truy vấn các công cụ của máy chủ MCP thông qua token OAuth của AgentCore Identity, sau đó so sánh và cập nhật bản ghi registry tương ứng. Mẫu này chỉ cập nhật các bản ghi hiện có và hỗ trợ cả thiết lập một tài khoản và nhiều tài khoản.

  13. Amazon Science36

    Dùng toán học để xác thực cấu hình mạng: AWS Tiros cho kiểm tra phân đoạn

    AWS đang sử dụng công cụ lập luận tự động Tiros để xác thực tĩnh việc phân đoạn mạng trên tất cả các đường đi được mô hình hóa, thay vì dựa vào lấy mẫu dựa trên gói tin. Tiros chuyển đổi cấu hình Cloud WAN từ bảng định tuyến, tệp đính kèm và tài liệu chính sách thành các mệnh đề logic, sau đó kiểm tra rằng không tồn tại đường đi nào giữa các phân đoạn mà chính sách tuyên bố là ngoài giới hạn, với các phân tích được chạy thường xuyên tới mỗi giờ một lần.

  14. Meta Engineering Blog40

    Meta Intelligent Delivery: Hệ thống ML phân bổ năng lực tính toán cho xếp hạng quảng cáo

    Meta đã trình bày chi tiết về Intelligent Delivery, một hệ thống do ML dẫn dắt, phân bổ năng lực tính toán trên toàn bộ ngăn xếp phục vụ quảng cáo của mình hướng tới mức tối ưu toàn hệ thống, đóng góp khoảng 10% hiệu suất xếp hạng gia tăng trên nền các tiến bộ về mô hình và hệ thống từ năm 2017 đến nửa đầu năm 2026. Resource Core Model của hệ thống sử dụng 6B tham số thưa và 20M tham số dày để dự đoán tiện ích biên của từng yêu cầu, và Meta cho biết hệ thống đã cải thiện khả năng nhận diện các yêu cầu quảng cáo có tác động cao thêm khoảng 20% trong các đánh giá ngoại tuyến. Hệ thống cũng dựa vào các cơ chế phân bổ đa tầng và AI ngày càng mang tính tác tử để thích ứng khi mô hình và phần cứng thay đổi.