Tới nội dung
#Triển khai / kỹ thuật
12 tháng 11Thứ Năm
  1. AWS Machine Learning Blog28

    Tự động hóa cập nhật AWS Agent Registry với kiến trúc dựa trên push

    AWS phác thảo một pipeline hướng sự kiện giúp duy trì các bản ghi AWS Agent Registry cho các máy chủ MCP luôn cập nhật mà không cần cập nhật thủ công. AWS CloudTrail ghi lại các lệnh gọi API UpdateAgentRuntime, Amazon EventBridge định tuyến chúng giữa các tài khoản, và một hàm Lambda truy vấn các công cụ của máy chủ MCP thông qua token OAuth của AgentCore Identity, sau đó so sánh và cập nhật bản ghi registry tương ứng. Mẫu này chỉ cập nhật các bản ghi hiện có và hỗ trợ cả thiết lập một tài khoản và nhiều tài khoản.

  2. TechCrunch · AI38

    Vì sao trung tâm dữ liệu mà bạn lo ngại có thể sẽ không bao giờ được xây dựng

    Podcast Equity của TechCrunch thảo luận về lý do nhiều dự án trung tâm dữ liệu đã được công bố có thể sẽ không bao giờ được xây dựng, ngay cả trước khi sự phản đối của địa phương, sự chậm trễ trong cấp phép và tình trạng thiếu điện phát sinh. Người dẫn chương trình Rebecca Bellan và Tim De Chant cùng với Brent Nelson của Ascend Analytics phân biệt các dự án thực tế với các dự án mang tính đầu cơ trong bối cảnh hàng tỷ đô la đầu tư vào cơ sở hạ tầng AI.

  3. TechCrunch · AI38

    Làn sóng phản đối và thủ tục hành chính tiếp tục làm chậm các trung tâm dữ liệu sau Blue Wave như thế nào

    Podcast Equity của TechCrunch thảo luận về việc phản đối tại địa phương, sự chậm trễ trong cấp phép và tình trạng thiếu điện đang làm chậm sự bùng nổ trung tâm dữ liệu, với Brent Nelson của Ascend Analytics lập luận rằng đường ống dự án bị thổi phồng quá mức và chỉ một phần nhỏ cơ sở hạ tầng AI được công bố sẽ thực sự được xây dựng. Tập này cũng đề cập đến ý nghĩa của việc bong bóng vỡ đối với các nhà phát triển có khách thuê sai, lý do đảng Dân chủ nên theo đuổi cải cách cấp phép ngay bây giờ, và lý do khí tự nhiên không phải là phương án dự phòng đáng tin cậy như các nhà phát triển vẫn tưởng.

  4. Google Research58

    Google Research sử dụng thiết bị đeo để xây dựng hồ sơ rủi ro CKM và huấn luyện cá nhân hóa

    Google Research đã giới thiệu một khung nghiên cứu chuyển dữ liệu từ thiết bị đeo tiêu dùng thành tuổi sức khỏe có thể huấn luyện và mô phỏng các quỹ đạo sức khỏe giả định cá nhân hóa trong 12 tuần. Mô hình thế giới SensorWM được tiền huấn luyện trên 2,28 triệu tuần-người dữ liệu Fitbit đã khử nhận dạng từ khoảng 100.000 người dùng và dự báo 20 chỉ dấu sinh lý dưới các chế độ đi bộ, ngủ và tim mạch khác nhau. Trong một nghiên cứu mù, các huấn luyện viên lối sống chọn kế hoạch dựa trên phản thực tế là tốt nhất tổng thể trong 71,4% đánh giá, và các bác sĩ đánh giá 99,2% kế hoạch nằm trong giới hạn cường độ tập luyện an toàn; các tác giả lưu ý các mô hình là nguyên mẫu nghiên cứu, không phải công cụ chẩn đoán lâm sàng.

  5. Google Blog · AI78

    Google ra mắt API Gemini Decisions và mô hình Gemini Decision 1 cho các quyết định tập đóng nhanh chóng

    Google đã giới thiệu API Gemini Decisions, được hỗ trợ bởi mô hình Gemini Decision 1 mới (gemini-decision-1) và có sẵn thông qua API Gemini trong Google AI Studio. Một đầu vào đa phương thức duy nhất lên tới 256K token có thể được kiểm tra với tối đa 1.000 câu hỏi có/không, trắc nghiệm và chấm điểm theo tiêu chí trong một lượt truyền xuôi, trả về xác suất và điểm tin cậy với độ trễ đầu-cuối 150-250 ms với giá 0,10 USD trên 1 triệu token đầu vào và không tính phí token đầu ra. Google cho biết mô hình này dẫn đầu bộ tiêu chuẩn đánh giá của họ với sai số hiệu chuẩn thấp nhất và rẻ hơn gần 5 lần so với Gemini 3.5 Flash-Lite với API Interactions; các ứng dụng nội bộ bao gồm định tuyến mô hình trong Gemini Notebook, tạo wireframe trong Stitch và kiểm tra nội dung đối kháng cho các công cụ MCP trong Search.

    Vì sao đáng chú ý: Điểm cuối mới của Google chấm điểm tới 1.000 câu hỏi đa phương thức có/không, lựa chọn và theo tiêu chí trong một lượt với 150-250 ms, mang đến cho việc định tuyến tác nhân và kiểm tra chính sách một giải pháp thay thế rẻ hơn so với các lệnh gọi sinh tạo.

  6. Simon Willison22

    LLM 0.37.2 khắc phục lỗi rò rỉ khóa API tới các endpoint tương thích OpenAI của bên thứ ba

    Simon Willison đã phát hành LLM 0.37.2 để khắc phục một vấn đề bảo mật do Daniel de Araujo báo cáo trong GHSA-v9h7-jj4g-f862 và GHSA-r639-rr7r-x72w. Lỗi này có thể gửi khóa API OpenAI đã cấu hình tới các endpoint tương thích OpenAI của bên thứ ba thông qua extra-openai-models.yaml nếu api_key_name được chỉ định chưa từng được lưu, hoặc nếu một mô hình responses: true chạy với -o chat_completions 1.

  7. Amazon Science36

    Dùng toán học để xác thực cấu hình mạng: AWS Tiros cho kiểm tra phân đoạn

    AWS đang sử dụng công cụ lập luận tự động Tiros để xác thực tĩnh việc phân đoạn mạng trên tất cả các đường đi được mô hình hóa, thay vì dựa vào lấy mẫu dựa trên gói tin. Tiros chuyển đổi cấu hình Cloud WAN từ bảng định tuyến, tệp đính kèm và tài liệu chính sách thành các mệnh đề logic, sau đó kiểm tra rằng không tồn tại đường đi nào giữa các phân đoạn mà chính sách tuyên bố là ngoài giới hạn, với các phân tích được chạy thường xuyên tới mỗi giờ một lần.

  8. Meta Engineering Blog40

    Meta Intelligent Delivery: Hệ thống ML phân bổ năng lực tính toán cho xếp hạng quảng cáo

    Meta đã trình bày chi tiết về Intelligent Delivery, một hệ thống do ML dẫn dắt, phân bổ năng lực tính toán trên toàn bộ ngăn xếp phục vụ quảng cáo của mình hướng tới mức tối ưu toàn hệ thống, đóng góp khoảng 10% hiệu suất xếp hạng gia tăng trên nền các tiến bộ về mô hình và hệ thống từ năm 2017 đến nửa đầu năm 2026. Resource Core Model của hệ thống sử dụng 6B tham số thưa và 20M tham số dày để dự đoán tiện ích biên của từng yêu cầu, và Meta cho biết hệ thống đã cải thiện khả năng nhận diện các yêu cầu quảng cáo có tác động cao thêm khoảng 20% trong các đánh giá ngoại tuyến. Hệ thống cũng dựa vào các cơ chế phân bổ đa tầng và AI ngày càng mang tính tác tử để thích ứng khi mô hình và phần cứng thay đổi.

  9. Mastra Blog40

    Mastra Agents Private Model Gateways cho các mô hình tự lưu trữ

    Mastra đã bổ sung các cổng mô hình riêng tư cho phép các agent định tuyến yêu cầu đến các mô hình trọng số mở tự lưu trữ, được tham chiếu bằng tiền tố như private/ollama/gpt-oss:20b. Tự lưu trữ giữ dữ liệu nhạy cảm trong mạng nội bộ và thay thế chi phí theo token bằng chi phí hạ tầng, và việc đặt AUTO_BLOCK_EXTERNAL_PROVIDERS=true sẽ ẩn các nhà cung cấp bên ngoài trong Studio. Tính năng này yêu cầu @mastra/core@1.82.0 trở lên.

  10. Claude Blog40

    Hướng dẫn Claude Tag của Anthropic dành cho startup: các kênh Slack hàng đầu và trường hợp sử dụng

    Anthropic đã công bố hướng dẫn về Claude Tag (bản beta) dành cho startup, dựa trên các cuộc trò chuyện với tám công ty tăng trưởng cao về nơi họ triển khai tác nhân dựa trên Slack đầu tiên. Hướng dẫn bao gồm năm thiết lập phổ biến — phân loại trực ca, thread-to-PR, bộ não công ty, dữ liệu tự phục vụ và báo cáo — cùng danh sách kiểm tra khởi đầu. Kết quả được trích dẫn bao gồm một PR được mở 21 phút sau khi được nhắc trên Slack và 134 pull request được hợp nhất từ các thread Slack tại NavigateAI.

  11. Claude Blog56

    Anthropic mở bản beta riêng tư của Claude Managed Agents tự vận hành

    Anthropic phát hành Claude Managed Agents tự vận hành dưới dạng beta riêng tư, cho phép nhà phát triển chạy toàn bộ dịch vụ agent, bao gồm harness, sandbox, thông tin xác thực và lịch sử phiên, trong môi trường cloud hoặc on-premise của riêng họ. Yêu cầu mô hình có thể gửi trực tiếp đến Anthropic, đến Amazon Bedrock, Agent Platform của Google hoặc Microsoft Foundry, hoặc qua gateway của chính khách hàng, và lịch sử phiên được lưu trong cơ sở dữ liệu của khách hàng. Công ty cho biết thiết kế này giữ vòng lặp agent và bí mật vault bên ngoài sandbox, hỗ trợ danh sách cho phép các host được phép, và xuất bản ghi đầy đủ của mỗi phiên qua OpenTelemetry.

  12. Figma Blog42

    Cách 3D transforms và agent của Figma đưa video ra mắt trở nên sống động

    Figma đã phát hành 3D transforms dưới dạng open beta, cho phép nhà thiết kế nghiêng, xoay và sắp xếp văn bản, hình ảnh, vector và frame trong không gian, với hiệu ứng phối cảnh trên frame cha để tạo bố cục không gian chung. Các hiệu ứng không phá hủy vẫn có thể chỉnh sửa và có thể kết hợp với shader, tạo hoạt ảnh bằng Figma Motion hoặc khám phá qua agent của Figma. Brand Studio của Figma đã sử dụng các công cụ này, bao gồm một plugin tạo sinh do agent xây dựng, để sản xuất video ra mắt của tính năng.

  13. Claude Blog31

    J.Crew ra mắt Style Advisor AI stylist được xây dựng bằng Claude Code

    J.Crew đã ra mắt Style Advisor, một AI stylist trên JCrew.com, gợi ý toàn bộ trang phục thay vì từng sản phẩm riêng lẻ, hiện đã có sẵn cho phong cách nữ và nam tại Mỹ. Đội ngũ J.Crew đã xây dựng nó bằng Claude Code sử dụng nhiều mô hình Claude: Claude Fable 5.1 để lập kế hoạch lý luận của stylist, Claude Opus 5.5 cho bản nguyên mẫu, Claude Sonnet 5.5 làm stylist trong mỗi cuộc trò chuyện, và Claude Haiku 5.5 cho các tác vụ nhanh. Mọi gợi ý đều được lấy từ các bộ trang phục do chính các stylist của J.Crew tạo ra cho các buổi chụp catalog.

11 tháng 11Thứ Tư
  1. MarkTechPost40

    Marktechpost AI ra mắt Bảng xếp hạng GPU và ra mắt tiện ích mở rộng Chrome Deploy It

    Marktechpost đã ra mắt GPU Leaderboard, một trang web so sánh giá GPU đám mây miễn phí cho suy luận AI, xếp hạng 201 ưu đãi trực tiếp từ 24 nhà cung cấp theo $/GPU-giờ. Công cụ tính chi phí của nó định giá toàn bộ quá trình chạy bao gồm cả thời gian nhàn rỗi: một tác vụ 8×H100, 72 giờ với mức sử dụng 90% dao động từ $967,68 tại Latitude đến $3.545,28 tại CoreWeave. Tiện ích mở rộng Chrome Deploy It đi kèm ước tính VRAM ở FP16, INT8 và INT4 và hiển thị các GPU phù hợp rẻ nhất trên các trang mô hình Hugging Face và kho GitHub.

  2. Simon Willison78

    Video roadshow IPO của Anthropic nêu chi tiết chiến lược huấn luyện và phục vụ Claude trên nhiều loại chip

    Anthropic đã khởi động roadshow IPO của mình vào hôm qua, và video roadshow của công ty đã tiết lộ những chi tiết chưa từng được công bố về cách doanh nghiệp này vận hành, bao gồm một phần về chiến lược tính toán với đồng sáng lập Tom Brown. Brown cho biết Anthropic huấn luyện và phục vụ Claude trên AWS Trainium, Google TPUs, NVIDIA GPUs và AMD GPUs, và khi công ty bắt đầu làm việc với AMD GPUs trong năm nay, một hệ thống có tên Mythos đã đưa Claude chạy trên AMD trong ba ngày với hầu như không có can thiệp của con người, chuyển đổi hoặc viết gần như 100% các kernel. Ông cũng mô tả các hệ số nhân tính toán là động lực thứ hai của lợi thế tính toán, nói rằng mỗi hệ số nhân xếp chồng lên những hệ số trước đó và Claude cuối cùng có thể tự khám phá ra chúng hoàn toàn.

    Vì sao đáng chú ý: Video roadshow IPO của Anthropic nêu chi tiết chiến lược huấn luyện và phục vụ trên nhiều loại chip của công ty trên bốn dòng chip, bao gồm một bản chuyển đổi AMD có sự hỗ trợ của Claude được hoàn thành trong ba ngày.

  3. ElevenLabs Blog25

    ElevenLabs ra mắt Chương trình Đối tác nhằm đẩy nhanh việc ứng dụng AI Agent trong doanh nghiệp

    ElevenLabs đã ra mắt Chương trình Đối tác với các ưu đãi thương mại được nâng cao, chứng nhận mới, cơ hội tiếp cận thị trường chung và hỗ trợ kỹ thuật chuyên biệt. Chương trình bao gồm hơn 550 đối tác đang hoạt động tại 44 quốc gia, và hệ sinh thái đối tác đã tạo ra 315 triệu USD pipeline cùng hơn 52 triệu USD doanh thu từ đối tác và do đối tác tác động trong năm nay. ElevenLabs hướng tới mục tiêu các đối tác kiếm được 3 USD doanh thu dịch vụ cho mỗi 1 USD mà công ty tạo ra, với sự hỗ trợ của các kỹ sư triển khai tiền phương và danh bạ đối tác được chứng nhận mới.

  4. ElevenLabs Blog58

    Hội nghị thượng đỉnh ElevenLabs tại NYC: Interaction Engine, Bộ nhớ và Routines của ElevenAgents, ứng dụng ElevenAI, Chương trình Đối tác và Marketplace

    Tại Hội nghị thượng đỉnh ở New York, ElevenLabs đã công bố các mô hình, tác nhân và tùy chọn triển khai mới cho lớp tương tác AI của mình, bao gồm Interaction Engine quản lý việc luân phiên lượt nói và định tuyến từng phần của cuộc hội thoại đến một LLM rẻ hơn hoặc tiên tiến hơn. ElevenAgents có thêm Memory, tính năng xây dựng hồ sơ có cấu trúc về khách hàng quay lại, và Routines, một lớp tự động hóa cho công việc nhiều bước trước, trong và sau cuộc gọi. ElevenLabs cũng đã giới thiệu trước ứng dụng làm việc ElevenAI với quyền truy cập sớm miễn phí mở từ hôm nay, ra mắt Chương trình Đối tác hiện có hơn 550 đối tác tại 44 quốc gia cùng liên minh với McKinsey, và giới thiệu ElevenLabs Marketplace; Nemotron 3.5 Super VL của NVIDIA hiện đã có trong ElevenAgents cùng với 15 MW công suất tính toán Vera Rubin mới.

  5. ElevenLabs Blog40

    ElevenLabs ra mắt Marketplace cho các ứng dụng AI sẵn sàng cho doanh nghiệp

    ElevenLabs đã ra mắt ElevenLabs Marketplace, một bộ sưu tập được tuyển chọn các ứng dụng AI và giọng nói theo ngành cụ thể được xây dựng trên các mô hình của mình bởi các đối tác công nghệ, với các đối tác ra mắt bao gồm Salesforce, IBM, NiCE, Twilio và Zendesk. Doanh nghiệp có thể khám phá các giải pháp trong lĩnh vực dịch vụ tài chính, bảo hiểm, chăm sóc sức khỏe, viễn thông, bán lẻ và chính phủ, đồng thời kết nối trực tiếp với các đối tác đứng sau chúng. Bắt đầu từ năm sau, các giải pháp đủ điều kiện của đối tác sẽ có thể được mua thông qua các cam kết hiện có của ElevenLabs.

  6. Modal Blog58

    Modal gia nhập nhóm maintainer của gVisor khi Google trao tặng dự án cho CNCF

    Modal là một trong ba công ty, cùng với Ant Group và Tines, gia nhập nhóm maintainer của gVisor khi Google trao tặng dự án và các nhãn hiệu của nó cho CNCF theo mô hình quản trị do maintainer dẫn dắt. Modal cho biết họ khởi chạy hơn 40 triệu container gVisor mỗi ngày và đã đóng góp upstream từ năm 2023, bao gồm hỗ trợ GPU nvproxy, một proxy thiết bị RDMA có tên rdmaproxy, cùng các tối ưu hóa tmpfs và bộ cấp phát bộ nhớ. Công ty cho biết đang phát triển tính năng snapshot bộ nhớ đa GPU và hỗ trợ GPUDirect Storage cho gVisor.

  7. ElevenLabs Blog58

    ElevenLabs và NVIDIA mở rộng hợp tác để đưa voice agent đến doanh nghiệp và chính phủ

    ElevenLabs và NVIDIA đã mở rộng hợp tác trên các mảng mô hình, hạ tầng và triển khai chủ quyền, đưa NVIDIA Nemotron 3.5 Super VL vào nền tảng ElevenAgents. ElevenLabs dự kiến bổ sung 15MW công suất NVIDIA Vera Rubin bên cạnh các hệ thống Blackwell Ultra hiện có, và đang vận hành một voice agent cho hệ thống đặt lịch Centralna e-Rejestracja của Ba Lan theo hình thức on-premises sử dụng NVIDIA Confidential Computing. Trên benchmark chăm sóc khách hàng của ElevenAgents, Nemotron 3.5 Super VL đạt độ chính xác hoàn thành tác vụ end-to-end hàng đầu với chi phí thấp hơn 70% so với các mô hình mở hàng đầu khác, theo ElevenLabs.

  8. ElevenLabs Blog22

    Các khách hàng doanh nghiệp đang đưa AI của ElevenLabs vào công việc như thế nào

    ElevenLabs cho biết các doanh nghiệp hiện chiếm hơn 55% doanh thu của công ty, với công nghệ của họ được sử dụng trong hoạt động hàng ngày tại năm trong số 10 công ty công nghệ lớn nhất, năm trong số 10 công ty bảo hiểm lớn nhất và bốn trong số 10 công ty viễn thông lớn nhất. Tại Hội nghị thượng đỉnh ở NYC, các khách hàng gồm Ramp, Customers Bank, Banco Inter, Clover Health và FOX Sports đã mô tả việc sử dụng ElevenAgents và ElevenCreative cho các tác nhân hỗ trợ, quy trình tiếp nhận, dịch vụ đa ngôn ngữ và một nhân vật AI của bình luận viên Colin Cowherd trong Ứng dụng FOX Sports.

  9. NVIDIA Blog22

    AI giúp các nhà tái chế biến rác hỗn hợp thành vật liệu tái sử dụng như thế nào

    NVIDIA giới thiệu bốn startup thuộc Inception đang sử dụng AI và robot để phân loại rác hỗn hợp tại các nhà máy tái chế. Dây chuyền thí điểm Jetson Orin NX của AIRECO đạt độ chính xác nhận diện trên 95% và hướng tới nâng công suất hàng năm từ 18.000 lên 48.000 tấn đồng thời cắt giảm 85% chi phí vận hành, còn EverestLabs đã triển khai khoảng 150 robot dẫn hướng bằng thị giác trên khắp Bắc Mỹ và Australia.

  10. Vapi Blog58

    Vapi ra mắt Agent Loop trong chế độ truy cập sớm, một harness tự cải thiện cho các voice agent

    Vapi đã ra mắt Agent Loop trong chế độ truy cập sớm, dự kiến GA vào đầu năm sau, như một harness tự cải thiện giúp xây dựng một voice agent từ một prompt đơn giản, chấm điểm mọi cuộc gọi theo mục tiêu kinh doanh, soạn thảo bản sửa cho các trường hợp chưa đạt, kiểm thử chúng trong mô phỏng và đưa vào một phần lưu lượng trực tiếp trước khi triển khai toàn bộ. Vòng lặp này chạy trên các primitive của Vapi bao gồm Simulations và Traffic Splitting, hiện có trong dashboard, cùng với Goals, Call Health và Experiments, sắp ra mắt. Mỗi agent của Agent Loop là một trợ lý Vapi thực sự, nên các kỹ sư vẫn giữ toàn quyền truy cập dashboard và API, và cần có sự phê duyệt của con người trước khi bất kỳ thay đổi nào được triển khai.

  11. vLLM Blog58

    vLLM bổ sung phân tách encoder cho phục vụ đa phương thức với EPD

    vLLM đã mở rộng phân tách Encoder/Prefill/Decode (EPD) cho phục vụ đa phương thức, bổ sung yêu cầu chỉ chứa metadata, một đường thực thi encoder riêng, truyền embedding từ xa qua NIXL và Mooncake, tái sử dụng đầu ra cross-encoder, và điều phối thông qua vLLM Router, SMG và llm-d. Các năng lực cốt lõi bao gồm hỗ trợ MiMo và XPU có trong vLLM v0.32.0, trong khi hỗ trợ chỉ metadata cho DeepSeek V4.1 Flash có sẵn trên main qua #62802. Trong một thử nghiệm DeepSeek V4.1 Flash trên GB200, EPD đạt thông lượng trên mỗi GPU cao hơn 6,6–9,5% và P90 TTFT thấp hơn 44–47% so với baseline PD tám GPU ở mức đồng thời 64–128, nhưng có thông lượng trên mỗi GPU thấp hơn ở mức đồng thời 16.

  12. OpenRouter Announcements65

    OpenRouter đo chi phí ngữ cảnh của MCP, CLI và skills trên cùng một tác vụ GitHub

    OpenRouter đã đo cùng một tác vụ GitHub trên GitHub MCP server, gh CLI và một gh skill trên Claude Sonnet 5.5, GPT-6 Luna và Gemini 3.8 Flash. Trên Sonnet 5.5, cả ba đều trả lời đúng, nhưng CLI dùng 1.421 token đầu vào, skill dùng 3.315 và MCP server dùng 59.417 với 46 công cụ mặc định, riêng phần định nghĩa của chúng đã thêm 19.436 token mỗi yêu cầu. Giới hạn server xuống hai công cụ giảm tác vụ còn 23.228 token, giới hạn kết quả ở 4.000 ký tự đưa xuống 5.357, và Tool Search giảm chi phí ban đầu của 46 công cụ xuống dưới 600 token, dù nó giảm một nửa chi phí toàn tác vụ trên Sonnet 5.5 trong khi lại tăng trên Claude Haiku 5.5.

    Vì sao đáng chú ý: So sánh đo lường của OpenRouter cho thấy mỗi MCP server, CLI và skill tiêu thụ bao nhiêu ngữ cảnh trên cùng một tác vụ GitHub, và việc cắt bớt kết quả công cụ hoặc trì hoãn định nghĩa thay đổi hóa đơn ở đâu.

  13. OpenRouter Announcements58

    Hướng dẫn OpenRouter: khắc phục lỗi giới hạn tần suất 429 của OpenAI và Claude

    OpenRouter đã công bố hướng dẫn xử lý lỗi 429 Too Many Requests từ OpenAI, Anthropic và API của chính họ, thử nghiệm ba cách khắc phục trên một lô 60 prompt. Cơ chế thử lại mặc định của OpenAI Python SDK khiến 23 trong 60 yêu cầu thất bại trong 12 giây, trong khi cách thử lại chờ Retry-After hoặc X-RateLimit-Reset hoàn thành cả 60 yêu cầu trong 89 đến 92 giây với Python và 106 đến 218 giây với TypeScript. Cơ chế dự phòng theo mô hình hoàn thành cả 60 yêu cầu trong 13 giây với chi phí $0.000066, và khi bật chuyển đổi dự phòng nhà cung cấp, cả 150 yêu cầu ghim nhà cung cấp đều thành công, trong khi có tới 32 yêu cầu thất bại khi tắt dự phòng.

  14. OpenRouter Announcements60

    OpenRouter kiểm tra tác động của lượng tử hóa fp8 và fp4 đến chất lượng và giá của LLM

    OpenRouter đã chạy 280 tác vụ có đáp án chính xác trên sáu endpoint của Qwen3.8 27B vào ngày 20 tháng 10 năm 2026 và không phát hiện sự khác biệt về độ chính xác giữa fp16, fp8 và fp4, với cả sáu endpoint đạt điểm từ 98,3% đến 99,2%. Trên 1.455 endpoint, 59,5% không báo cáo độ chính xác nào và fp8 là định dạng được gắn nhãn phổ biến nhất với 23,6%. Độ chính xác thấp hơn có giá rẻ hơn đối với hầu hết các mô hình nhưng không phải tất cả, và việc lựa chọn nhà cung cấp ảnh hưởng đến giá nhiều hơn so với độ chính xác, với endpoint cùng độ chính xác đắt nhất có giá trung vị gấp 1,72 lần so với rẻ nhất.

    Vì sao đáng chú ý: OpenRouter đã đo các endpoint fp8, fp4 và fp16 của một mô hình trên 240 tác vụ có đáp án chính xác và không tìm thấy khoảng cách độ chính xác có thể phát hiện được, trong khi chênh lệch giá phụ thuộc vào nhà cung cấp nhiều hơn là độ chính xác.

  15. OpenAI News28

    Kiến trúc sư trưởng JioStar Vijay Seshadri bàn về khám phá bằng AI ở quy mô 500 triệu người dùng

    Kiến trúc sư trưởng JioStar Vijay Seshadri chia sẻ bài học về vận hành khám phá bằng AI ở quy mô 500 triệu người dùng, bao gồm đánh giá, rào chắn bảo vệ và đưa AI vào sản xuất. Bài viết do OpenAI công bố tập trung vào các thực tiễn vận hành đằng sau triển khai AI quy mô lớn.

  16. LangChain Blog58

    LangChain giải thích các kỹ thuật truy xuất cho kỹ thuật ngữ cảnh của AI agent

    LangChain đã xuất bản một bài blog về cách thiết kế truy xuất định hình kỹ thuật ngữ cảnh cho AI agent, sử dụng một agent phân tích cạnh tranh được xây dựng trên Deep Agents harness của mình làm ví dụ. Bài viết đề cập đến ba kiểu thất bại: tìm kiếm không hiệu quả, tải quá nhiều ngữ cảnh cùng lúc, và kết quả không liên quan hoặc lỗi thời, đồng thời ghép mỗi kiểu với các kỹ thuật như công cụ hệ thống tệp glob và grep, phân trang qua các tệp lớn bằng offset read_file, chuyển kết quả công cụ quá lớn sang tệp, và giao việc đọc cho subagent theo mô hình truy xuất, chuyển giao, ủy thác. Bài viết cũng cảnh báo rằng văn bản được truy xuất là dữ liệu chứ không phải hướng dẫn và có thể mang theo prompt injection, vì vậy đầu ra nên được kiểm tra dựa trên các nguồn được trích dẫn.

  17. LangChain Blog60

    LangChain giải thích cách Deep Agents quản lý ngữ cảnh mà không cần giữ mọi thứ trong cửa sổ ngữ cảnh

    LangChain trình bày chi tiết cách bộ khung Deep Agents mã nguồn mở của họ sử dụng middleware để chống lại hiện tượng suy giảm ngữ cảnh trong các phiên chạy agent dài. Kết quả công cụ vượt khoảng 20.000 token và tin nhắn người dùng vượt 50.000 token được chuyển sang tệp với chỉ một bản xem trước được hiển thị, trong khi tính năng tóm tắt cô đọng các tin nhắn cũ hơn khi mức sử dụng đạt 85% cửa sổ ngữ cảnh. Skills, subagents và một tệp bộ nhớ dài hạn dạng markdown giữ cửa sổ của agent chính ở mức nhỏ và cho phép bộ nhớ được duy trì qua các mô hình và nhà cung cấp.

    Vì sao đáng chú ý: LangChain giải thích cách bộ khung Deep Agents mã nguồn mở của họ sử dụng middleware để chuyển tải, tóm tắt và cô lập ngữ cảnh, mang đến một mẫu tái sử dụng được cho các agent trong các tác vụ dài.

  18. Latent Space55

    Thiết kế cho Agent: CEO Resend Zeno Rocha về cách Agent chọn API email

    Đồng sáng lập kiêm CEO Resend Zeno Rocha đã tham gia podcast Latent Space để giải thích cách API email được thiết kế để các coding agent lựa chọn, dẫn một nghiên cứu AEO trong đó Claude Code chọn Resend đầu tiên trong 64/102 lần gợi ý email. Bước đột phá trước đó của Resend là React Email, một công cụ template mà nhà phát triển có thể dùng với bất kỳ nhà cung cấp nào, nên một số mã Resend đã có sẵn trong repo trước khi họ chuyển đổi.

  19. LangChain Blog36

    Workday đã xây dựng nền tảng AI agent quy mô doanh nghiệp như thế nào với LangGraph và LangSmith

    Workday đã xây dựng một nền tảng dành cho nhà phát triển nội bộ để đưa AI agent vào môi trường production, dùng LangGraph để điều phối và LangSmith để tracing, observability và evals, với một nhóm bốn người. Thời gian tạo prototype giảm từ 4–5 tháng xuống dưới một ngày, và nhóm đã phát triển lên khoảng 30 thành viên.

  20. Meta Engineering Blog58

    Meta chi tiết cách Your Algorithm biến sở thích ngôn ngữ tự nhiên thành gợi ý trên Facebook Feed và Reels

    Meta đã công bố tổng quan kỹ thuật về Your algorithm, bộ công cụ AI cho phép người dùng Facebook nêu bằng ngôn ngữ tự nhiên những gì họ muốn thấy trong Feed và Reels, với một trang duy nhất có thể chỉnh sửa liệt kê các chủ đề Interested In và Not Interested In. Mỗi thay đổi được một LLM nhỏ hơn xác thực, được làm giàu bằng embedding và từ khóa tìm kiếm, rồi lưu vào một kho dùng chung mà cả Feed và Reels đều đọc, trong khi một LLM reranker đã được tinh chỉnh loại bỏ nội dung khớp với các chủ đề Not Interested In mới được thêm. Meta cho biết một tail load bổ sung và việc vô hiệu hóa bộ nhớ đệm phía client giúp thay đổi có hiệu lực nhanh hơn, và một LLM judge riêng chấm điểm các đầu ra như Lately Summary trước khi ra mắt.

  21. Meta Engineering Blog58

    Meta giải thích TLX, một tiện ích mở rộng trình biên dịch GPU gốc phần cứng cho Triton phục vụ ML trong sản xuất

    Meta đã trình bày chi tiết về TLX (Triton Low-Level Extensions), một tiện ích mở rộng cho Triton bổ sung điều phối cấp nhóm warp và cụm một cách tường minh trong khi vẫn giữ mô hình lập trình tensor của Triton. TLX đã được vận hành trong môi trường sản xuất trên toàn Meta, với 20-25% MFU end-to-end trên hàng nghìn GPU NVIDIA Blackwell cho huấn luyện GEM, giảm tới hai phần ba độ trễ mạng tính toán chuyên sâu cho suy luận RecSys, và một kernel GEMM nhóm phân tán được triển khai trong tiền huấn luyện LLM quy mô lớn. Meta cho biết TLX nhắm đến NVIDIA Hopper và Blackwell cùng AMD Mi300 và Mi350x, và đang phát triển thêm nhiều kiến trúc hơn, suy luận nhóm warp tự động và một backend torch.compile.

  22. NVIDIA Blog60

    NVIDIA đóng góp OpenShell Agent Runtime cho CNCF và bổ sung công cụ DSX Kubernetes

    NVIDIA đang đóng góp OpenShell, runtime mã nguồn mở của mình để bảo mật và quản trị các tác nhân tự trị, cho Cloud Native Computing Foundation với tư cách là dự án Sandbox, đồng thời cũng đóng góp cho Agent Substrate do Google dẫn đầu. NVIDIA đã công bố ba thành phần mới của DSX AI Factory Platform: NVIDIA Kubernetes Engine và NVIDIA Kubernetes Recipes, hiện đang ở giai đoạn xem trước công khai, và NVIDIA Snapshot, có thể khôi phục các bản sao đã lưu checkpoint trong vài giây mà không cần tải lại mô hình hoặc khởi động làm nóng. Crusoe đã thử nghiệm GLM-5.3 trên Crusoe Cloud và giảm thời gian sẵn sàng của khối lượng công việc từ khoảng tám phút xuống còn 31 giây, trong khi Saturn Cloud giảm thời gian khởi động vLLM từ khoảng 2 đến 8,5 phút xuống còn 6 phút 34 giây.

    Vì sao đáng chú ý: NVIDIA đóng góp runtime bảo mật tác nhân OpenShell của mình cho CNCF và bổ sung bộ công cụ Kubernetes cho các nhà máy AI GPU, với kết quả Snapshot ban đầu giúp giảm thời gian khởi động suy luận từ vài phút xuống còn vài giây.

  23. Mastra Blog38

    Mastra Forward: Mastra ra mắt dịch vụ kỹ thuật AI với các kỹ sư triển khai tại chỗ và nhà máy agent

    Mastra ra mắt Mastra Forward, một dịch vụ kỹ thuật AI kết hợp một kỹ sư triển khai tại chỗ được chỉ định với Mastra Factory, một bầy agent được cài đặt trong repo của khách hàng. Hợp đồng hàng năm có chi phí thấp hơn một nhân sự AI cấp cao và bao gồm giấy phép Enterprise với triển khai hosted, self-hosted hoặc BYOC cùng một pool Trace Intelligence. Mastra cho biết nhà máy của họ tạo ra hơn 750 PR mỗi tuần.

  24. Mastra Blog58

    Mastra bổ sung MCP Tasks cho các lệnh gọi công cụ chạy nền kéo dài

    Mastra hiện đã hỗ trợ tasks trong MCPServer và MCPClient, cho phép các lệnh gọi công cụ chạy lâu được thực thi ở chế độ nền trong khi agent vẫn tiếp tục phản hồi người dùng. Máy chủ trả về ngay một task ID, và máy khách thăm dò các giá trị trạng thái working, input_required, completed, failed hoặc cancelled, đồng thời gửi thông báo đến agent khi task hoàn tất. Công cụ có thể được đặt thành always, auto (sau syncWindowMs mặc định 2 giây) hoặc off, và tasks vẫn có thể gọi suspend() để chờ đầu vào từ con người; tính năng này yêu cầu @mastra/mcp@2.7.0 và @mastra/core@1.81.0 trở lên và vẫn đang ở giai đoạn thử nghiệm.

10 tháng 11Thứ Ba
  1. Google AI · DEV58

    Google giải thích cách họ đưa Agent Skills ra như sản phẩm với các cổng CI và một tác nhân đánh giá AI

    Google Agent Skills hiện lưu trữ hơn 170 kỹ năng từ các nhóm trên khắp Google và đã vượt 21.000 sao GitHub, tăng từ 15.000, và những người duy trì nó mô tả quy trình mà mọi thay đổi đều phải vượt qua. Mỗi pull request phải qua sáu cổng tự động, bao gồm kiểm tra tuân thủ cấu trúc, linters, đánh dấu phiên bản ngữ nghĩa, xác thực bộ đánh giá, kiểm tra liên kết và một tác nhân đánh giá AI, trước khi một chuyên gia lĩnh vực con người phê duyệt. Bài viết cũng chia sẻ các bài học như kỳ vọng đánh giá nguyên tử, tạo tệp chỉ mục và chạy các kiểm tra tất định rẻ tiền trước các kiểm tra LLM đắt tiền.

  2. The Pragmatic Engineer22

    Tính đúng đắn của phần mềm & Bảo mật chuỗi cung ứng: Trò chuyện với Sean Allen

    The Pragmatic Engineer phỏng vấn Sean Allen, một kỹ sư xuất sắc tại Antithesis và là người đóng góp cốt lõi cho ngôn ngữ Pony, về tính đúng đắn của phần mềm và bảo mật chuỗi cung ứng. Allen lập luận rằng các hệ thống kiểu mạnh trong họ ngôn ngữ ML phát hiện nhiều lỗi hơn ở thời điểm biên dịch so với các ngôn ngữ thuộc họ ALGOL, và rằng kiểm thử thủ công là cách tồi tệ nhất để đảm bảo tính đúng đắn. Ông cũng nói rằng các cuộc tấn công chuỗi cung ứng không có một giải pháp đơn giản duy nhất, vì những ngôn ngữ được phòng thủ vững chắc như 'E' lại không phổ biến trong khi các ngôn ngữ phổ biến lại giả định một hệ sinh thái đáng tin cậy.

  3. LiveKit Blog40

    LiveKit Portal cho ROS 2 đã ra mắt: kết nối đồ thị ROS qua WebRTC

    LiveKit đã phát hành LiveKit Portal cho ROS 2, một nút ROS 2 độc lập kết nối đồ thị ROS với một phòng LiveKit để các thành viên ROS và không phải ROS có thể trao đổi topic, gọi dịch vụ và video qua WebRTC mà không cần mở DDS ra mạng ngoài. Nó hỗ trợ bốn đường dữ liệu—topic qua DataTracks, dịch vụ qua RPC, hình ảnh dưới dạng VideoTracks và nguồn video trực tiếp—với các quy tắc YAML cho hướng, giới hạn tốc độ và mã hóa lược đồ. Một bản demo chuyển tải SLAM lập thể và tái tạo cảnh từ một rover Jetson Orin Nano sang một máy tính để bàn RTX 5090.