Tới nội dung
#Triển khai / kỹ thuật
13 tháng 11Thứ Sáu
  1. AWS Machine Learning Blog38

    Amazon Bedrock AgentCore Evaluations: trình đánh giá tích hợp, DeepEval và AutoEval

    Amazon Bedrock AgentCore Evaluations hiện cho phép các nhóm chạy các trình đánh giá tích hợp của AWS song song với các chỉ số DeepEval và AutoEval được quản lý, cùng các trình đánh giá tùy chỉnh bắt nguồn từ một trong hai. Danh mục tích hợp bao gồm 15 trình đánh giá trên chất lượng phản hồi, hoàn thành mục tiêu, sử dụng công cụ, kỹ năng và an toàn, với ba kiểm tra quỹ đạo cho các đường dẫn công cụ dự kiến. DeepEval bổ sung các chỉ số đa lượt như ConversationCompleteness và KnowledgeRetention, trong khi AutoEval đóng góp các tín hiệu chuyên biệt bao gồm bảo mật.

  2. AWS Machine Learning Blog36

    Xây dựng Trình theo dõi Phụ thuộc Hàng ngày với LangGraph và Tìm kiếm Web Amazon Bedrock AgentCore

    API Tìm kiếm Web trong Amazon Bedrock AgentCore hiện đã khả dụng, cung cấp cho các agent kết quả web hiện tại thông qua một lệnh gọi API duy nhất được ký SigV4, phục vụ từ chỉ mục web do Amazon vận hành. Một hướng dẫn xây dựng trình theo dõi phụ thuộc hàng ngày dưới dạng đồ thị LangGraph, nghiên cứu song song npm, PyPI và các image nền container, với cửa sổ ngày, danh sách chặn và ngân sách tìm kiếm được thực thi trong mã. Trong thử nghiệm, ba nhánh hoàn thành trong 36 giây so với 99 giây khi chạy tuần tự.

  3. AWS Machine Learning Blog58

    Kimi K3.1 Pro Highspeed của Moonshot AI ra mắt trên Amazon Bedrock

    Kimi K3.1 Pro Highspeed của Moonshot AI hiện đã có trên Amazon Bedrock, đây là phiên bản được huấn luyện hậu kỳ của Kimi K3 với cùng kiến trúc trọng số mở cấp 3T và cửa sổ ngữ cảnh 1 triệu token, được huấn luyện với nhiều tính toán hậu kỳ hơn cho công việc tác nhân dài hạn và ít lỗi thực tế hơn. Moonshot AI báo cáo tốc độ đầu ra gấp 2–3 lần Kimi K3.1 Pro, và người dùng Kimi K3 hiện tại có thể chuyển đổi bằng cách thay đổi ID mô hình. Bài đăng trình bày các lệnh gọi API Chat Completions, Responses và Converse, gói Flex với giá bằng một nửa giá Standard, bộ nhớ đệm lời nhắc rõ ràng với prompt_cache_breakpoint, và kết nối mô hình với tác nhân lập trình OpenCode.

  4. AWS Machine Learning Blog33

    Amazon SageMaker AI phát trực tuyến hai chiều được hưởng giá theo mức sử dụng, Deepgram là đối tác ra mắt

    Amazon SageMaker AI phát trực tuyến hai chiều hiện hỗ trợ đo lường theo mức sử dụng, cho phép các nhà cung cấp mô hình báo cáo mức tiêu thụ thực tế cho phí phần mềm trên AWS Marketplace trong khi phí hạ tầng endpoint vẫn được áp dụng. Deepgram là đối tác ra mắt, mang đến tính phí Speech-to-Text và Text-to-Speech theo mức sử dụng trên AWS Marketplace. Thiết kế bổ sung một luồng siêu dữ liệu WebSocket đi kèm, giới hạn ở một tin nhắn mỗi giây và 512 byte, để các nhà cung cấp có thể gửi các bản ghi đo lường tăng dần trong các phiên trực tiếp.

  5. AWS Machine Learning Blog60

    AWS mã nguồn mở UAEF, một hệ thống đánh giá độc lập với framework cho các tác nhân AI

    AWS đã mã nguồn mở UAEF (Universal Agent Evaluation Framework), một hệ thống độc lập với framework sử dụng các adapter để chuẩn hóa dấu vết tác nhân từ LangGraph, LangChain, Strands Agents, Amazon Bedrock AgentCore và Langfuse thành một AgentTrace chuẩn duy nhất, sau đó chấm điểm chúng bằng 36 chỉ số tích hợp trên 7 khía cạnh. Kết quả được lưu trữ theo từng thử nghiệm trong Amazon DynamoDB và Amazon S3, để các nhóm có thể so sánh các phiên bản tác nhân với một đường cơ sở, đánh dấu các hồi quy với ngưỡng mặc định 5 phần trăm, và tạo báo cáo thống kê cùng các thông tin chi tiết do LLM viết. Bài viết cho biết khách hàng trên 12 tổ chức trong lĩnh vực viễn thông, chăm sóc sức khỏe và dịch vụ tài chính đã sử dụng UAEF trước khi phát hành, và mã Apache 2.0, thư viện Python, triển khai CDK cùng các notebook theo từng framework nằm trong kho GitHub awslabs/uaef.

    Vì sao đáng chú ý: Nhóm AWS đã mã nguồn mở UAEF, sử dụng các adapter để thống nhất quỹ đạo tác nhân từ các framework khác nhau thành một định dạng duy nhất, sau đó chấm điểm chúng trên 7 khía cạnh bằng 36 chỉ số, cung cấp một lớp đánh giá có thể tái sử dụng để so sánh các phiên bản tác nhân across frameworks.

  6. AWS Machine Learning Blog36

    AWS Quick AI-PDLC: Sáu tác nhân cho phát triển sản phẩm dẫn dắt bởi AI

    AWS Quick giới thiệu AI-PDLC, một khung gồm sáu tác nhân chuyên biệt—dẫn dắt bởi một Orchestrator bao gồm Discovery, Prioritize, Working Backwards, Spec Generator và Designer—biến các tín hiệu doanh nghiệp phân tán từ Slack, Jira, Salesforce và SharePoint thành một prototype_spec.md có thể truy vết. Mỗi giai đoạn đều yêu cầu con người phê duyệt, và bản đặc tả có thể được chuyển giao cho các tác nhân lập trình như Kiro hoặc Claude Code thông qua Agent Client Protocol (ACP) mở.

  7. AWS Machine Learning Blog40

    AWS mở danh mục 23 tài sản AI tạo sinh có thể tái sử dụng từ Trung tâm Đổi mới của mình

    AWS đã công bố danh mục 23 tài sản AI tạo sinh mã nguồn mở, sẵn sàng cho môi trường sản xuất, từ Trung tâm Đổi mới AI tạo sinh của mình, nay thuộc AWS Frontier AI Engineering & Services. Các khối xây dựng này bao gồm pipeline RAG, bộ xử lý tài liệu, khung tác nhân (agent scaffolding) và khung đánh giá, và AWS cho biết chúng có thể rút ngắn thời gian phát triển từ nhiều tháng xuống còn vài tuần. DoorDash báo cáo năng lực kiểm thử tăng 50 lần và Ricoh tăng thông lượng gấp 7 lần sau khi xây dựng trên các tài sản này.

  8. AWS Machine Learning Blog38

    DXC Technology đã xây dựng nền tảng AI đa mô hình trên Amazon Bedrock như thế nào

    DXC Technology đã xây dựng nền tảng mô hình cho bộ công cụ vận hành IT DXC OASIS trên Amazon Bedrock, truy cập Anthropic Claude, Amazon Nova, Meta Llama và các mô hình trọng số mở thông qua một giao diện quản lý duy nhất. Amazon Bedrock Guardrails áp dụng lọc nội dung, che giấu PII và chính sách chủ đề bị cấm một cách thống nhất trên mọi mô hình, trong khi AWS PrivateLink giữ lưu lượng suy luận bên trong VPC của khách hàng. DXC OASIS đã được cung cấp rộng rãi từ tháng 3 năm 2026 và giảm thời gian giải quyết trung bình 95% trên 56 trường hợp sử dụng được đo lường.

  9. AWS Machine Learning Blog40

    Agent DLC: Kỹ thuật AI Agent từ Nguyên mẫu đến Sản xuất

    AWS giới thiệu Agent Development Lifecycle (Agent DLC), một khung với một vòng đời, hai vòng lặp và một tiêu chuẩn rõ ràng duy nhất để đánh giá mọi thay đổi của agent. Nó giải quyết ba thuộc tính của agent khiến CI/CD thông thường bị phá vỡ: tính không xác định, prompt như mã nguồn và các phụ thuộc di chuyển độc lập. Một trợ lý chính sách nhân sự tham chiếu cho thấy độ chính xác truy xuất ở cấp độ đoạn là 1,00 trên cả ba câu hỏi kiểm tra trong khi độ chính xác ở cấp độ sự kiện giảm xuống 0,09 và độ phủ truy xuất đạt 0,00 ở một câu hỏi.

  10. AWS Machine Learning Blog36

    Kiểm soát truy cập chi tiết cho các công cụ Amazon Bedrock Managed Knowledge Base

    AWS hướng dẫn cách cấp quyền truy cập tài liệu theo từng người dùng cho một AI agent dùng chung trên Amazon Bedrock Managed Knowledge Base bằng cách đưa tìm kiếm ra dưới dạng các công cụ MCP thông qua AgentCore Gateway. Một request interceptor chèn email đã xác minh của người dùng từ Cognito JWT vào userContext, và khả năng nhận biết ACL chỉ trả về những tài liệu mà người dùng đó được phép xem. Một chính sách Cedar trong AgentCore và một chính sách dựa trên tài nguyên trên knowledge base bổ sung lớp phòng thủ thứ cấp chống lại các tìm kiếm giả mạo hoặc trái phép.

  11. AWS Machine Learning Blog58

    AWS hướng dẫn xây dựng hệ thống đa tác nhân liên tổ chức với A2A

    AWS đã công bố một kiến trúc tham chiếu, trong đó một bộ điều phối doanh nghiệp dựa trên LangChain trên Amazon ECS gọi một tác nhân SaaS tuân thủ dựa trên Strands Agents trên Amazon Bedrock AgentCore thông qua giao thức A2A, với hai bên nằm trong các tài khoản AWS riêng biệt và không chia sẻ bí mật. Mỗi bên xác thực bằng token từ nhóm người dùng Amazon Cognito của riêng mình, và tác nhân SaaS gọi lại một tác nhân ngữ cảnh doanh nghiệp để lấy siêu dữ liệu tài khoản, do đó các tác nhân hoạt động như những bên ngang hàng thay vì máy khách và máy chủ. Hệ thống được triển khai từ ba sổ tay Jupyter, cung cấp năm ngăn xếp CloudFormation và chạy một bài kiểm tra đầu cuối cùng bảy kiểm tra ranh giới tin cậy.

  12. AWS Machine Learning Blog34

    Chuyển sang Amazon Bedrock Managed Knowledge Base với một coding agent

    AWS đã thêm hướng dẫn chuyển đổi knowledge base vào skill amazon-bedrock trong Agent Toolkit for AWS, cho phép một coding agent lập kế hoạch chuyển từ knowledge base do khách hàng quản lý sang Amazon Bedrock Managed Knowledge Base. Agent bắt đầu bằng việc khám phá chỉ đọc và một kế hoạch được xem xét từng dòng, sau đó tạo knowledge base và các data source mới song song với bản gốc hoặc ghi một mẫu IaC đã chuyển đổi. Managed Knowledge Base nâng hạn mức mặc định lên 200 data source mỗi knowledge base và 10.000 knowledge base mỗi tài khoản mỗi Region, đồng thời bổ sung truy xuất agentic, tích hợp AgentCore Gateway và resource-based policy.

  13. Epoch AI · Gradient Updates60

    Trung tâm dữ liệu Horinger của Huawei tiết lộ gì về khoảng cách năng lực tính toán của Trung Quốc

    Epoch AI ước tính trung tâm dữ liệu Horinger của Huawei ở Nội Mông có khoảng 105.000 chip Ascend 910C và 8.000 chip Ascend 910B đang vận hành, tương đương khoảng 81.000 H100 (CI 90%: 36.000 đến 141.000). Ước tính này đến từ hình ảnh vệ tinh thương mại và một mô hình thiết bị làm mát cho thấy bốn tòa nhà dành cho AI có công suất IT lên tới 286 MW. Điều đó khiến Horinger chỉ đạt khoảng 7% năng lực tính toán AI của Colossus 2 thuộc SpaceX ở Tennessee, và một tòa nhà đang được quy hoạch có thể nâng công suất của nó thêm hơn 70% vào đầu năm 2028, vẫn còn kém xa mức 1,8 triệu H100e dự kiến của Colossus 2.

12 tháng 11Thứ Năm
  1. The Decoder80

    Anthropic cho biết AI đã rút ngắn thời gian chuyển Claude sang GPU AMD từ nhiều tháng xuống còn ba ngày

    Anthropic cho biết họ đã chuyển Claude sang GPU AMD trong ba ngày với gần như không có sự can thiệp của con người, sử dụng mô hình tiên tiến Mythos của mình để tự viết gần như 100 phần trăm các kernel. Đồng sáng lập Tom Brown cho biết Anthropic hiện huấn luyện và vận hành Claude trên AWS Trainium, Google TPUs, GPU Nvidia và GPU AMD, coi chúng như một nhóm tài nguyên tính toán có thể hoán đổi cho nhau. Các con số đến từ một bài thuyết trình cho nhà đầu tư và chưa được xác minh độc lập; Anthropic nêu ba ngày so với sáu đến mười hai tháng mà kỹ thuật truyền thống cần, được đo trên xử lý prompt với GPU AMD MI355X.

    Vì sao đáng chú ý: Tuyên bố của Anthropic rằng mô hình của chính họ đã chuyển Claude sang GPU AMD trong ba ngày mang lại một phép thử cụ thể về việc liệu AI có thể nới lỏng sự kìm kẹp của CUDA đối với việc lựa chọn chip hay không.

  2. TechCrunch · AI38

    Plurai huy động 13 triệu USD vòng hạt giống để làm cho các tác nhân AI đáng tin cậy hơn thông qua mô phỏng

    Plurai đã huy động được 13 triệu USD trong vòng gọi vốn hạt giống do Team8 dẫn dắt nhằm làm cho các tác nhân AI đáng tin cậy hơn bằng các kỹ thuật mô phỏng vay mượn từ xe tự lái. Startup này xây dựng một bản sao số cho các hệ thống của công ty, lập bản đồ các luồng tác nhân khả thi, và sử dụng dữ liệu tổng hợp để chuẩn bị cho các mô hình trước các trường hợp biên, sau đó huấn luyện hậu kỳ các mô hình mở trọng số nhỏ phù hợp với từng khách hàng. Các thử nghiệm với Nvidia và Nebius cho thấy các mô hình của công ty vượt trội so với các mô hình tiên phong tầm trung với chi phí thấp hơn.

  3. TechCrunch · AI58

    Databricks cập nhật Genie agent để chạy các tác vụ đa bước không cần giám sát

    Databricks đã ra mắt phiên bản cập nhật của AI agent Genie, có thể hoàn thành các công việc đa bước kéo dài mà không cần giám sát, sử dụng ontology được xây dựng từ dữ liệu khách hàng lưu trữ trên nền tảng Databricks. CEO Ali Ghodsi đã trình diễn việc sử dụng trực tiếp của chính mình, bao gồm phân tích các điểm yếu trong một khảo sát mức độ hài lòng của nhân viên, tóm tắt một buổi chào hàng thất bại và chuẩn bị cho một cuộc phỏng vấn podcast. Ghodsi cho biết các nhà lãnh đạo tại các công ty có hơn 150 nhân viên có thể nhận được giá trị từ những agent như vậy, và chi phí có thể được giới hạn thông qua Unity Gateway của Databricks, công cụ đặt giới hạn sử dụng và cho phép thay thế bằng các mô hình open-weight rẻ hơn.

  4. TechCrunch · AI52

    Fractile huy động 720 triệu USD vòng Series C để xây dựng chip AI với DRAM xếp chồng

    Startup chip AI người Anh Fractile đã huy động được 720 triệu USD trong vòng Series C do Quỹ AI Chủ quyền của Vương quốc Anh hậu thuẫn, với việc chính phủ Anh nêu định giá hơn 5 tỷ bảng Anh, có thể khoảng 7 tỷ USD. Vòng gọi vốn do Thrive Capital, Founders Fund, Lightspeed Venture Partners và Redpoint dẫn dắt. Fractile kết hợp chip của mình với một trình biên dịch học máy và, sau một lần chuyển hướng, xếp chồng DRAM lên trên mỗi chip để cố gắng vượt qua sự đánh đổi thông thường giữa bộ nhớ và dung lượng, điều mà công ty cho là ngày càng tốn kém đối với AI tác tử. CEO Walter Goodwin cho biết khoản tài trợ sẽ cho phép startup xuất xưởng những chip và hệ thống đầu tiên vào năm tới.

  5. TechCrunch · AI58

    CoreWeave dựa vào khoản trả trước của khách hàng và hợp đồng ngắn hơn để tài trợ cho việc xây dựng AI

    CoreWeave cho biết trong báo cáo thu nhập quý ba rằng họ ngày càng yêu cầu khách hàng trả trước, vay dựa trên các hợp đồng cụ thể và ký các thỏa thuận ngắn hạn hơn để tài trợ cho tăng trưởng cơ sở hạ tầng AI của mình. Công ty báo cáo doanh thu 3,66 tỷ USD, tăng 168% so với cùng kỳ năm ngoái, cùng với khoản lỗ ròng 709 triệu USD và 846 triệu USD chi phí lãi vay hàng quý, và họ kỳ vọng khoảng 9 tỷ USD tiền trả trước và tiền gửi của khách hàng trong ba tháng tới so với lượng đơn hàng tồn đọng 132,5 tỷ USD. CEO Michael Intrator cho biết CoreWeave sẽ không sử dụng thị trường nợ không bảo đảm ở mức lợi suất hiện tại, trong khi công suất ngắn hạn đang được bán với giá hơn 40 triệu USD mỗi megawatt mỗi năm so với 20 triệu USD đến 25 triệu USD cho các hợp đồng bốn và năm năm.

  6. Databricks Blog40

    Ứng dụng Databricks Genie cho Slack đạt trạng thái General Availability

    Databricks đã đưa ứng dụng Genie cho Slack lên trạng thái generally available, cho phép người dùng đặt câu hỏi về dữ liệu qua DM hoặc @mention và nhận câu trả lời ngay trong thread, dựa trên quyền của Unity Catalog. Mọi câu trả lời đều trích dẫn nguồn, và thông qua các connector MCP, Genie có thể soạn thảo thay đổi cho tài liệu, ticket và bản ghi để chờ phê duyệt trước khi thực thi.

  7. Databricks Blog58

    Block 如何利用 Buzz 和 Databricks Unity Gateway 运行协作式 AI 智能体

    Block 构建了 Buzz，这是一个开源协作工作空间，员工和 AI 智能体可以在其中通过群组讨论、聚焦对话和一对一交流协同工作，并使用 Databricks Unity Gateway 作为模型访问层。员工可以创建智能体，为每个智能体选择背后的模型或编码工具，并选择 Databricks 作为其推理提供商，通过单一集成访问 OpenAI、Anthropic 和 Google 的前沿模型以及部分开放权重模型。Block 的工程师还在试验多智能体设置，即由能力更强的模型协调运行更小、更高效模型的智能体，并已构建了一套内部方法来对这些智能体团队进行基准测试。

  8. NVIDIA Blog18

    Warhammer 40,000: Dawn of War IV sẽ có mặt trên GeForce NOW

    Warhammer 40,000: Dawn of War IV, do KING Art Games phát triển và Deep Silver phát hành, sẽ có mặt trên GeForce NOW khi ra mắt trên Steam vào thứ Năm, ngày 3 tháng 12. Tựa game chiến thuật thời gian thực này có hơn 70 nhiệm vụ chiến dịch có thể chơi đơn hoặc chơi hợp tác, cùng với các chế độ The Last Stand, Skirmish và nhiều người chơi. NVIDIA DLSS 5 với 3D-Guided Neural Rendering cũng sẽ đến với War Thunder vào giữa tháng 11 và Where Winds Meet vào thứ Hai, ngày 23 tháng 11.

  9. The Decoder71

    ElevenLabs ra mắt mô hình chuyển giọng nói thành văn bản Scribe v3 và Scribe v3 Live

    ElevenLabs đã ra mắt hai mô hình chuyển giọng nói thành văn bản: Scribe v3 dành cho âm thanh ghi sẵn và Scribe v3 Live dành cho sử dụng thời gian thực với độ trễ thấp, cả hai đều có sẵn thông qua giao diện lập trình viên ElevenAPI và nền tảng ElevenAgents. Công ty cho biết Scribe v3 giảm khoảng 25 phần trăm lỗi từ so với phiên bản tiền nhiệm trên 102 ngôn ngữ, và Scribe v3 Live sử dụng ngữ cảnh hội thoại để xác định khi nào người nói thực sự đã nói xong thay vì dựa vào bộ hẹn giờ tạm dừng. Các đánh giá độc lập từ Artificial Analysis xếp Scribe v3 vào nhóm các mô hình phiên âm chính xác nhất, chỉ đứng sau một mô hình xem trước của Alibaba, nhưng cho thấy nó chậm hơn về tốc độ và có giá 3,33 đô la Mỹ cho mỗi 1.000 phút.

  10. Latent Space58

    Cuộc cách mạng Jev: Các kỹ sư tại Glean, UiPath và Workday đang xây dựng với các mô hình System One như thế nào

    Tại AI Engineer Code Summit, CEO Diogo Almeida của TypeSafe AI lập luận rằng các mô hình system one như Jev, vốn trả về các lựa chọn có cấu trúc, điểm số hoặc xác suất thay vì văn bản được tạo, nên được gọi trực tiếp từ mã ứng dụng để tự động hóa các tác vụ một cách đáng tin cậy hơn. Chinmay Goyal của Glean cho biết Jev phù hợp với tính linh hoạt zero-shot vì việc thay đổi phân loại quyết định không đòi hỏi phải tinh chỉnh lặp đi lặp lại, trong khi UiPath trình diễn Jev xếp hạng các đoạn tài liệu thông qua một loạt lời gọi theo thể thức đấu loại hoàn thành trong chưa đầy một giây. Scott Roberts của Workday đã demo một giao diện điền vào thẻ nghỉ phép khi người dùng đang gõ, mà ông mô tả là chuyển từ dự đoán điều bạn muốn nói sang dự đoán điều bạn muốn làm.

  11. LangChain Blog40

    Cách GTM Agent của LangChain tạo ra các tài liệu bán hàng nhất quán, chất lượng cao

    GTM Agent nội bộ của LangChain đã tạo ra 1.540 tài liệu bán hàng trong 12 tuần, giúp các đại diện tiết kiệm 337 giờ cho các tài liệu như kế hoạch tài khoản và bộ đề xuất. 47% thương vụ có tài liệu được gửi đã tiến sang giai đoạn sau, so với 16% ở các thương vụ tương ứng không có tài liệu, và 46% tài liệu được theo sau bởi một cuộc gọi khách hàng trong vòng 14 ngày. Agent vận hành trên Deep Agents harness, với sandbox, skills, memory và scheduled runs có sẵn trong Managed Deep Agents.

  12. AWS Machine Learning Blog36

    Xây dựng tác nhân AI tự hành với Amazon Bedrock và Spring AI

    AWS hướng dẫn các nhóm Java cách xây dựng tác nhân AI tự hành bằng Spring AI và AgentCore của Amazon Bedrock, với tích hợp spring-ai-agentcore. Hai hệ thống tham chiếu được trình bày chi tiết: một trợ lý du lịch đơn tác nhân có gọi công cụ và bộ nhớ, và một nền tảng xử lý tài liệu thông minh đa tác nhân với năm tác nhân chuyên biệt, một công cụ quy tắc và cảnh báo. Ngăn xếp yêu cầu JDK 21, Spring Boot 4.1 với Spring AI 2.0, và triển khai qua runtime AgentCore trên container ARM64.

  13. LiveKit Blog55

    LiveKit ra mắt Cloud API dưới dạng bản beta mở để các coding agent có thể quản lý LiveKit Cloud

    LiveKit đã phát hành LiveKit Cloud API dưới dạng bản beta mở, cho phép các coding agent tạo và cấu hình dự án, quản lý thành viên và webhook, đồng thời lấy bản ghi, log, trace và bản ghi âm từ các cuộc gọi agent. API này là REST API, chạy với tư cách đăng nhập của người dùng, sử dụng token ngắn hạn được kiểm tra theo vai trò dự án và các hành động nhạy cảm chỉ giới hạn cho quản trị viên dự án. Trong một thử nghiệm trên trợ lý tài liệu của LiveKit, một coding agent đã đọc 4.321 phiên từ tuần trước và trả về danh sách xếp hạng 8 vấn đề sau khoảng 30 phút. Dữ liệu phiên yêu cầu Agent Observability, tính năng này mặc định tắt đối với các dự án được tạo qua API, và các yêu cầu API là miễn phí nhưng bị giới hạn tốc độ theo gói.

  14. OpenRouter Announcements58

    OpenRouter so sánh chi phí LLM tự vận hành và API bằng tính toán tải hòa vốn

    OpenRouter đã công bố phân tích hòa vốn cho thấy khi nào tự vận hành một LLM trọng số mở có chi phí thấp hơn so với gọi nó qua API, sử dụng giá theo từng nhà cung cấp tính đến ngày 8 tháng 10 năm 2026. Với mức giá đó, Qwen3.8 27B trên một RTX 3090 thuê với giá 0,50 đô la một giờ đạt hòa vốn ở mức tải 6 đến 12%, trong khi DeepSeek V4.1 Flash trên bốn H200 không bao giờ đánh bại được endpoint không lưu dữ liệu rẻ nhất. Bài viết cũng lưu ý rằng provider.zdr và các tên miền EU và US đáp ứng hầu hết nhu cầu riêng tư mà không cần tự vận hành, và khuyến nghị chạy một mức tải cơ bản ổn định tại chỗ trong khi gửi các đỉnh tải đến API.

  15. vLLM Blog60

    vLLM hỗ trợ day-0 cho Inkling 2 Small của Thinking Machines

    vLLM hỗ trợ Inkling 2 Small của Thinking Machines ngay từ ngày đầu tiên, một MoE đa phương thức văn bản và thị giác với tổng 594B và 17B tham số hoạt động, ngữ cảnh lên đến 1M token. Tích hợp này bổ sung kernel fusion với PDL, sequence parallelism cho prefill giúp giảm bước prefill 8K token 22% ở TP4 và 26% ở TP8, cùng kernel decode attention tương đối Gluon giúp giảm bước decode batch-1 ở ngữ cảnh 100K từ 15,1 ms xuống 4,8 ms. vLLM báo cáo lên đến 630 TPS/người dùng ở TP4 trên GB200 với độ dài chấp nhận 3,5, đồng thời hỗ trợ LoRA và RL qua SkyRL.

    Vì sao đáng chú ý: vLLM hỗ trợ Inkling 2 Small ngay trong ngày ra mắt, đồng thời cung cấp dữ liệu tối ưu cụ thể về kernel fusion, sequence parallelism và kernel decode Gluon, có thể làm tài liệu tham khảo cho các nhóm triển khai mô hình MoE lớn.

  16. OpenRouter Announcements58

    OpenRouter giải thích quy trình bản địa hóa tự sửa lỗi đằng sau 7 ngôn ngữ mới của mình

    OpenRouter đã ra mắt bản beta bản địa hóa bằng tiếng Trung Giản thể, tiếng Tây Ban Nha, tiếng Bồ Đào Nha Brazil, tiếng Đức, tiếng Pháp, tiếng Nhật và tiếng Hàn, đồng thời trình bày chi tiết quy trình tự sửa lỗi giúp duy trì bản dịch của 16.918 chuỗi tiếng Anh. Vòng lặp hàng ngày gửi các chuỗi đã thay đổi đến GPT-6.1 Sol theo lô tối đa 40 chuỗi, để mã từ chối các placeholder bị hỏng và vi phạm bảng thuật ngữ, sau đó dùng lệnh gọi thứ hai đến cùng mô hình làm trình xác minh trả về lỗi theo mức độ nghiêm trọng để thử lại. OpenRouter cho biết việc dịch lại toàn bộ danh mục sang 7 ngôn ngữ tốn khoảng 460 USD, so với khoảng 7.200 USD theo mức giá dịch máy công bố của Smartling.

  17. OpenRouter Announcements58

    OpenRouter ra mắt hướng dẫn: Cách ngăn AI Agent rơi vào vòng lặp vô hạn

    OpenRouter đã công bố hướng dẫn về cách ngăn chặn AI Agent bị kẹt khi liên tục thử lại một công cụ đang lỗi, sử dụng bốn lớp bảo vệ được thử nghiệm trên sáu mô hình hiện hành. Khi bật tính năng phát hiện doomLoop, cả sáu mô hình đều bị chặn ở lần gọi công cụ trùng lặp thứ ba, và qua 18 lần chạy, số lần gọi công cụ giảm từ 314 xuống 64 trong khi chi phí giảm từ $0.29 xuống $0.05. Hướng dẫn bổ sung loopKey để chuẩn hóa đối số, stopWhen giới hạn số bước và chi phí, cùng giới hạn tín dụng trên API key trả về mã 402 với limit_source openrouter_key_limit.

  18. vLLM Blog64

    vLLM-Omni benchmark MiniMax H3-Image trên Vera Rubin: tạo ảnh 4K trong 0,87 giây và 6.115 ảnh/giờ

    vLLM-Omni đã đưa MiniMax H3-Image lên NVIDIA Vera Rubin và đo được độ trễ trung vị 0,87 giây cho text-to-image gốc 4096×4096 trên bốn GPU, cùng 6.115 ảnh/giờ trong một cấu hình thông lượng riêng. H3-Image là mô hình text-to-image và chỉnh sửa ảnh trọng số mở, kết hợp bộ mã hóa Qwen3-VL với DiT dày đặc 33,1B và VAE hình ảnh, xử lý cả hai tác vụ trong sáu bước lấy mẫu với tối đa 16 ảnh tham chiếu. Nhóm báo cáo MXFP8 DiT GEMMs, Ulysses SP4, bộ nhớ đệm AdaLN và một thay đổi giải mã VAE giúp giảm thời gian giải mã từ 2,635 giây xuống 0,213 giây, đồng thời liệt kê các công thức cho phần cứng AMD, Intel, Huawei Ascend và Moore Threads.

    Vì sao đáng chú ý: Benchmark của vLLM-Omni cho thấy MiniMax H3-Image chạy trên Vera Rubin với độ trễ 4K dưới một giây, kèm cấu hình theo từng phần cứng và mô hình chi phí cho kinh tế phục vụ.

  19. vLLM Blog72

    vLLM phục vụ DeepSeek-V4.1-Flash trên Vera Rubin NVL72 với thông lượng gấp 58 lần GB300 NVL72

    vLLM báo cáo việc phục vụ DeepSeek-V4.1-Flash trên một rack NVIDIA Vera Rubin NVL72 duy nhất đạt 1,7M token/s mỗi GPU với 387 token/s mỗi người dùng, gấp 58 lần GB300 NVL72, đạt đỉnh 2,52M token/s và 1.810 token/s cho một người dùng. Mức tăng đến từ các kernel được xây dựng lại cho các miền bộ nhớ tách biệt của Rubin và lõi tensor FP4, một đường giải mã TP8 chuyên dụng, và các pool KV và Engram toàn rack chia sẻ qua NVLink. Với các tiền tố được gộp chung trên toàn rack và định tuyến nhận biết khối lượng công việc của Dynamo, tỷ lệ trúng tiền tố giữ ở mức 96,5-97% ngay cả ở mức đồng thời cao.

    Vì sao đáng chú ý: Bài đăng thứ ba của vLLM về DeepSeek-V4.1-Flash trình bày chi tiết cách các kernel dành riêng cho Rubin và gộp bộ nhớ toàn rack nâng thông lượng gấp 58 lần so với GB300 NVL72, mang lại một tham chiếu cụ thể cho tối ưu hóa phục vụ quy mô lớn.

  20. Hugging Face Blog36

    Hugging Face phát hành hướng dẫn và script fine-tune cho TRELLIS.2 tạo sinh 3D

    Hugging Face đã công bố các script và container fine-tune cho TRELLIS.2, một mô hình tạo sinh 3D, có thể chạy cục bộ hoặc trên Hugging Face Jobs. Hướng dẫn sử dụng LoRA adapter thông qua thư viện PEFT chỉ trên sparse-structure flow DiT và shape flow DiT, giữ nguyên giai đoạn material. Trên tập con 188 đối tượng giày dép của bộ dữ liệu GSO, mô hình tiền huấn luyện thường render sai đế giày, và đây là mục tiêu mà fine-tune LoRA nhắm tới.

  21. AWS Machine Learning Blog36

    Chạy OpenAI Codex trên Amazon Bedrock: Các đường dẫn truy cập và hướng dẫn triển khai

    Bài viết này hướng dẫn cách định tuyến các yêu cầu mô hình OpenAI Codex đến Amazon Bedrock trong khi tận dụng các thực tiễn hiện có về danh tính AWS, IAM, Region và khả năng quan sát. Bài viết khuyến nghị bắt đầu với Native AWS Access cho một thử nghiệm nhỏ với đặc quyền tối thiểu, với AgentCore Gateway hoặc LLM Gateway là các lựa chọn thay thế, và trình bày chi tiết việc đăng nhập IAM Identity Center cùng với kiểm tra trực tiếp Bedrock Runtime bằng GPT-5.6 Sol.

  22. AWS Machine Learning Blog46

    Phát hiện và khắc phục lỗi hỏng dữ liệu âm thầm trên Amazon SageMaker HyperPod

    Một vòng lặp huấn luyện PyTorch DDP trên Amazon SageMaker HyperPod được bổ sung ba bước kiểm tra nhằm phát hiện lỗi hỏng dữ liệu âm thầm: kiểm tra gradient không hữu hạn, kiểm toán phát lại vòng so sánh bit loss và dấu vân tay gradient giữa các node, và so sánh dấu vân tay trọng số sau bước tối ưu hóa. Được thử nghiệm với lỗi tiêm phần mềm trên 4 instance ml.p5.48xlarge (32 GPU NVIDIA H100), các bước kiểm tra chỉ ra rank nghi ngờ, ánh xạ rank đó tới một node, và cho phép HyperPod thay thế node và tiếp tục từ checkpoint.

  23. AWS Machine Learning Blog41

    Ra mắt API Tìm kiếm Web của Amazon Bedrock AgentCore

    Amazon Bedrock AgentCore hiện cung cấp API Tìm kiếm Web độc lập, cho phép nhà phát triển gọi trực tiếp InvokeWebSearch từ AWS SDK hoặc AWS CLI chỉ với một yêu cầu và không cần tạo tài nguyên nào. API trả về kết quả đã xếp hạng từ chỉ mục web do Amazon vận hành, mỗi kết quả gồm một đoạn trích văn bản và, khi có sẵn, tiêu đề, URL và thời gian xuất bản, kèm bộ lọc theo tên miền và ngày. Các yêu cầu được ký bằng SigV4 và IAM, sử dụng cùng quyền như tuyến AgentCore Gateway.

  24. AWS Machine Learning Blog36

    Những gì đã ra mắt dành cho nhà phát triển AI trên AWS vào tháng 10 năm 2026: Claude Haiku 5.5, GPT-6.1 Terra, AgentCore CLI 1.0

    Bản tổng hợp tháng 10 năm 2026 của AWS bổ sung Claude Haiku 5.5, mà Anthropic cho biết có chi phí thấp hơn khoảng 75 phần trăm so với Claude Haiku 4.5 cho hầu hết các tác vụ, cùng với OpenAI GPT-6.1 Terra trên Amazon Bedrock với tối đa 1 triệu token đầu vào và giá thấp hơn ít nhất 50 phần trăm so với GPT-6.1 Sol và GPT-5.6 Terra. AgentCore CLI đạt phiên bản 1.0, và AgentCore Gateway bổ sung tính năng dự phòng mô hình và quy trình Step Functions như các công cụ agent.

  25. MarkTechPost74

    Google ra mắt API Gemini Decisions với Gemini Decision 1 ở mức 0,10 USD/1 triệu token

    Google đã ra mắt API Gemini Decisions, được vận hành bởi một mô hình mới có tên Gemini Decision 1 (gemini-decision-1), mô hình này không sinh văn bản mà chấm điểm tối đa 1.000 câu hỏi có kiểu dữ liệu xác định dựa trên một đầu vào chung và trả về xác suất đã hiệu chỉnh. Nó đọc văn bản, hình ảnh, âm thanh, video và PDF trong một lượt prefill duy nhất, hỗ trợ các loại câu hỏi có/không, lựa chọn và điểm số, và có giá 0,10 USD/1 triệu token đầu vào với không tính phí token đầu ra. Google báo cáo ngữ cảnh 262.144 token, độ trễ end-to-end 150-250 ms và ECE top-1 là 0,0250, khoảng một nửa so với TypeSafe Jev 1.14, mặc dù nó kém Jev trên benchmark When2Call (79,9% so với 82,0%) và tốn nhiều chi phí hơn trên mỗi token (0,10 USD so với 0,042 USD).

  26. Simon Willison58

    AWS phát hành trình giả lập cục bộ chính thức để kiểm thử các dịch vụ của mình mà không cần API key trả phí

    AWS đã phát hành một trình giả lập chính thức cho phép các nhà phát triển chạy thử nghiệm trên một bản sao cục bộ của nhiều dịch vụ khác nhau mà không cần cấp API key trả phí. Trình giả lập được viết bằng Rust và đã tích lũy 29.684 commit trong ba tuần đầu tiên của dự án, theo một bài đăng khách mời của Swaminathan (Swami) Sivasubramanian trên blog của Werner Vogels. Hiện tại nó yêu cầu Docker trên macOS và Windows, và Simon Willison hy vọng sẽ có một tệp nhị phân đơn lẻ có thể tải xuống để sử dụng trong các bộ kiểm thử tiêu chuẩn trên các nền tảng và ngôn ngữ khác.

  27. AWS Machine Learning Blog12

    AWS re:Invent 2026 AI/ML Track: Hướng dẫn cho người tham dự

    AWS sẽ tổ chức hội nghị re:Invent thường niên từ ngày 30 tháng 11 đến ngày 4 tháng 12, với track AI/ML cung cấp hơn 140 phiên độc đáo trong tổng số hơn 2.000 phiên học tập. Hướng dẫn này ánh xạ các phiên vào ngăn xếp AI của AWS, bao gồm chip AI (AWS Trainium và NVIDIA GPUs), mô hình và suy luận trên Amazon Bedrock và SageMaker AI, và phát triển tác nhân với Amazon Bedrock AgentCore. Các phiên được tổ chức từ nội dung cho người mới đến các buổi đào sâu kỹ thuật, và nhiều phiên có thể xem theo yêu cầu.