Tới nội dung
#Triển khai / kỹ thuật
27 tháng 10Thứ Ba
  1. Preferred Networks News60

    PFN phát hành PLaMo 3.1 Prime với tìm kiếm Web và Deep Research

    Preferred Networks bắt đầu cung cấp PLaMo 3.1 Prime vào ngày 27 tháng 10 năm 2026, bổ sung tính năng tìm kiếm Web và Deep Research tự động lập kế hoạch, thu thập, phân tích và viết báo cáo có trích dẫn nguồn trong vài phút đến vài chục phút. Deep Research cũng chạy được tại chỗ (on-premises) và có thể kết nối với các hệ thống tìm kiếm tài liệu nội bộ, trong khi công ty báo cáo mức cải thiện điểm trung bình khoảng 15% trên tám benchmark liên quan đến ảo giác (hallucination), bao gồm AA Omniscience, so với PLaMo 3.0 Prime. PFN cũng cho biết tốc độ xử lý nhanh hơn 1,7 lần nhờ giải mã suy đoán (speculative decoding) và giảm 90% token đầu ra ở chế độ không suy luận, đồng thời ra mắt gói PLaMo API miễn phí cùng chiến dịch PLaMo Chat cung cấp Deep Research hai lần mỗi ngày cho đến ngày 30 tháng 11 năm 2026.

    Vì sao đáng chú ý: PLaMo 3.1 Prime của PFN bổ sung Deep Research tự động chạy tại chỗ, mang đến cho doanh nghiệp Nhật Bản một lựa chọn triển khai cục bộ cho công việc điều tra có trích dẫn nguồn.

  2. Apple Newsroom58

    Apple Creator Studio bổ sung trợ lý AI, hỗ trợ MCP và MotionVFX trong Final Cut Pro

    Apple đã giới thiệu các bản cập nhật cho Apple Creator Studio, mang đến một trợ lý thông minh được xây dựng trên các mô hình của Apple và bên thứ ba cho Keynote, Pages và Numbers, cùng với hỗ trợ Model Context Protocol để các tác nhân AI bên ngoài có thể đọc nội dung và thực hiện chỉnh sửa trong các ứng dụng đó. Final Cut Pro cho Mac hiện bao gồm MotionVFX tích hợp sẵn và video kho Content Hub, Logic Pro có thêm trợ lý bản beta và Stem Splitter tách trống, và Pixelmator Pro bổ sung Generate Fill cho chỉnh sửa hình ảnh bằng ngôn ngữ tự nhiên. Các bản cập nhật sẽ có mặt trên App Store vào tháng 11 này, miễn phí cho người đăng ký hiện tại, với đăng ký mới ở mức 12,99 đô la Mỹ mỗi tháng hoặc 129 đô la Mỹ mỗi năm.

26 tháng 10Thứ Hai
  1. Replit Blog38

    Replit: Mọi công ty trong Fortune 500 sẽ trở thành công ty tự vận hành vào năm 2030

    Replit dự đoán mọi công ty trong Fortune 500 sẽ trở thành "Công ty Tự vận hành" vào cuối năm 2030, với các tác nhân AI thực thi và phối hợp công việc trong khi con người đặt mục tiêu và chịu trách nhiệm. Replit cho biết các kỹ sư của họ gần như tăng gấp ba sản lượng mã trong nửa đầu năm 2026 trong khi thời gian đánh giá, số lần hoàn nguyên và sự cố sản phẩm vẫn không đổi. Replit for Business đang được xây dựng làm nền tảng, và tại SMFL, một quy trình phát triển trước đây cần sáu người trong sáu tháng đã được một người hoàn thành trong một tuần.

  2. Vapi Blog38

    Vapi ra mắt tính năng chia tách lưu lượng cho việc triển khai voice agent

    Vapi đã ra mắt tính năng chia tách lưu lượng, cho phép các nhóm định tuyến 0,1%, 1% hoặc 5% cuộc gọi đến và đi tới một phiên bản agent mới trước khi cam kết. Trước đây, việc xuất bản một phiên bản assistant mới sẽ gửi 100% lưu lượng tới đó ngay lập tức. Tính năng này bao gồm "stickiness" để giữ những người gọi lại ở cùng một phiên bản, và Vapi khuyến nghị bắt đầu với chia tách hai chiều.

  3. Mastra Blog40

    Mastra mở Knowledge, bộ não công ty tự lưu trữ cho AI agent, cho thêm tám đối tác thiết kế

    Mastra đang mở dịch vụ Knowledge của mình, một lớp ngữ cảnh toàn công ty tự lưu trữ dành cho AI agent, cho thêm tám đối tác thiết kế theo nguyên tắc ai đến trước được phục vụ trước. Knowledge kết nối các hệ thống như Slack và Monday, tự cập nhật và hỗ trợ các cơ sở tri thức riêng biệt theo từng chức năng với quyền ở cấp cá nhân, nhóm và tổ chức. Mastra cho biết việc nối một đồ thị tri thức toàn công ty vào các coding agent của mình đã tạo ra cải thiện rõ rệt về chất lượng mã được giao.

24 tháng 10Thứ Bảy
  1. SemiAnalysis60

    SemiAnalysis thử nghiệm bộ công cụ huấn luyện PyTorch gốc và trình phân tích Neuron Explorer của Amazon Trainium3

    Nhóm kỹ thuật của SemiAnalysis đã thử nghiệm các rack Trainium3 trên bộ công cụ TorchTitan và TorchNeuron và nhận thấy trải nghiệm PyTorch gốc là một cải tiến lớn so với cách tiếp cận PyTorch/XLA cũ, mặc dù vẫn còn lỗi và thời gian biên dịch kéo dài. Huấn luyện Qwen3-32B trên 16 chip Trainium2 đạt 14.156 token mỗi giây với MFU 30,47% ở chế độ biên dịch, tăng 1,28 lần so với chế độ eager, trong khi công thức gpt-oss 20B mất 27 phút 17 giây để biên dịch. Nhóm cũng đánh giá Neuron Explorer là trình phân tích hàng đầu trong ngành, vượt trước các công cụ của Nvidia và AMD, và báo cáo rằng Trainium3 đã vượt qua 89 trong số 96 trường hợp kiểm thử FlexAttention.

  2. Google Research58

    Google Research phác thảo cách AI sàng lọc bệnh lao của mình chuyển từ đánh giá chuẩn mực sang triển khai lâm sàng được chứng nhận

    Google Research đã trình bày tại IDWeek 2026 về cách các mô hình sàng lọc bệnh lao qua X-quang ngực của mình tiến triển từ một đánh giá chuẩn mực trên Radiology năm 2019 thành một công cụ được chứng nhận CE MDR Class IIb, được đối tác Nexus AI triển khai tại khoảng 40 cơ sở y tế trên sáu quốc gia. Hơn 90 bác sĩ lâm sàng đã đánh giá hơn 25.000 phim X-quang ngực, rút ngắn thời gian xử lý từ vài tuần xuống dưới 45 giây, và công cụ này cũng đã được triển khai ngoại tuyến ở độ sâu bốn kilômét dưới lòng đất tại Mỏ vàng Mponeng của Nam Phi. Google đã mã nguồn mở các embedding X-quang ngực và MedSigLIP thông qua HAI-DEF và phát hành MedGemma, mà họ cho biết đã vượt 10 triệu lượt tải xuống, trong khi Bộ Y tế Indonesia đang tinh chỉnh cả hai mô hình trên phim X-quang trong nước cho một chương trình sàng lọc quốc gia.

23 tháng 10Thứ Sáu
  1. Google AI · DEV25

    Hai cách để xây dựng với các mô hình Claude trên Google Cloud

    Google Cloud hiện cung cấp hai cách để xây dựng với các mô hình Claude: một tùy chọn do Google quản lý cho bảo mật trong ranh giới, lưu trú dữ liệu theo khu vực và tích hợp đám mây gốc, và một tùy chọn do Anthropic quản lý cung cấp toàn bộ Claude Platform với Google Cloud IAM và thanh toán. Cả hai tùy chọn đều có sẵn để dùng thử ngay hôm nay.

  2. Amazon Science38

    Khoa học đằng sau TorchNeuron, backend PyTorch mới của Amazon cho chip AWS Trainium

    Amazon đã phát hành TorchNeuron, một backend PyTorch mã nguồn mở chuyển đổi mã PyTorch thành các phép toán có thể thực thi trên hệ thống AWS Trainium với ít hoặc không cần thay đổi mã. Nó bổ sung chế độ eager thích ứng tùy chọn giúp nhóm và biên dịch các phép toán để đạt hiệu năng gần như biên dịch, cùng với bộ nhớ đệm NEFF đa cấp; một dịch vụ biên dịch dùng chung đã giảm thời gian đến bước huấn luyện đầu tiên khoảng một phần ba trong một thử nghiệm LLM 64 tiến trình. Nhóm Annapurna đã tinh chỉnh và đánh giá hiệu năng nó bằng 841 mô hình đại diện được chắt lọc từ hàng trăm nghìn mô hình mã nguồn mở.

  3. Modal Blog58

    Modal và Sakana AI đã phục vụ một mô hình MoE ~1T tham số cho API Sakana Namazu như thế nào

    Nhóm kỹ sư triển khai tại chỗ của Modal đã làm việc với Sakana AI để chạy Sakana Namazu, một mô hình MoE ~1T tham số được tinh chỉnh cho bối cảnh kinh doanh Nhật Bản, trên Modal cho lần ra mắt API công khai của mô hình này. Nhóm đã áp dụng lượng tử hóa NVFP4 chọn lọc chỉ cho các routed expert, giữ attention, router và shared expert ở BF16, đồng thời hiệu chỉnh trên các cuộc hội thoại chủ yếu bằng tiếng Nhật để cả 23.040 expert đều thấy lưu lượng đại diện. Một mô hình draft DFlash tùy chỉnh được huấn luyện trên hơn 30 tỷ raw token ID đã tăng tỷ lệ chấp nhận token suy đoán thêm 25% và giảm độ trễ giải mã mỗi token khoảng 35%, trong khi một drafter thứ hai được huấn luyện trên khoảng 1 triệu yêu cầu thực tế đã nâng độ dài chấp nhận trung bình từ 3,51 lên 5,01 và giảm độ trễ p99 từ 68s xuống 52s.

  4. Figma Blog40

    Cách đưa Hệ thống thiết kế của bạn vào hoạt động với Figma Agent

    Figma agent hiện đã được phát hành rộng rãi, và Figma giải thích cách cung cấp hệ thống thiết kế của bạn cho nó để đầu ra khớp với sản phẩm của bạn. Việc kết nối một thư viện đã xuất bản cho phép agent sử dụng các thành phần và token đã được phê duyệt, trong khi các tệp hướng dẫn mã hóa quy tắc của nhóm và các trang Examples hoặc cách đặt tên _example cung cấp các mẫu có thể tái sử dụng.

22 tháng 10Thứ Năm
  1. Sakana AI Blog58

    Sakana AI ra mắt Sakana Aquarium, nền tảng AI agent dựa trên ontology cho quyết định doanh nghiệp

    Sakana AI công bố Sakana Aquarium, một nền tảng để xây dựng, vận hành và quản lý các AI agent hỗ trợ ra quyết định và thực thi trong tổ chức dựa trên một ontology. Nền tảng kết hợp ba phần: Ontology tổ chức tri thức, quy tắc và dữ liệu cùng ý nghĩa và mối quan hệ của chúng, đồng thời kết nối các nguồn hiện có mà không cần di chuyển dữ liệu; Governance thiết lập quyền truy cập và phê duyệt trước khi thực thi, đồng thời ghi log mọi thứ từ lý do quyết định đến kết quả thực thi; và Managed Agents triển khai các quy trình bao gồm tra cứu thông tin, đánh giá bằng AI, thực thi chức năng và phê duyệt của con người. Sakana AI cho biết các kết nối dữ liệu và ontology có thể được tái sử dụng giữa các agent, và nền tảng này xuất phát từ công việc do FDE dẫn dắt với các tổ chức tài chính như MUFG, SMBC Group và Daiwa Securities Group.

  2. Modal Blog71

    Modal phát hành Spindle, một máy chủ huấn luyện mã nguồn mở tương thích với Tinker

    Modal đã phát hành Spindle, một máy chủ huấn luyện mã nguồn mở tương thích với Tinker, chạy trong workspace Modal của khách hàng, cho phép các nhóm tùy chỉnh stack và trả tiền cho thời gian GPU thay vì token. Spindle hỗ trợ huấn luyện toàn bộ tham số và multi-LoRA trên các mô hình mở, và Modal báo cáo rằng việc chia sẻ một trainer cho 8 khách hàng đã cắt giảm chi phí trên mỗi 1M token đầu ra tới 80% so với Tinker trên một job GRPO DAPO-math. Modal cho biết Spindle vẫn đang trong giai đoạn beta và định vị nó giữa thư viện huấn luyện Dojo và các primitive cụm thô của mình.

    Vì sao đáng chú ý: Máy chủ Spindle mã nguồn mở của Modal mang đến cho các nhóm một lựa chọn thay thế tương thích với Tinker, đánh đổi giá theo token lấy thời gian GPU, với việc chia sẻ multi-LoRA được báo cáo giúp cắt giảm chi phí tới 80%.

  3. SemiAnalysis75

    Cộng sinh Huawei-DeepSeek: Điểm chuẩn Ascend 950PR và hỗ trợ Ascend Kernel của DeepSeek

    SemiAnalysis xem xét quan hệ đối tác Huawei-DeepSeek, đánh giá điểm chuẩn Ascend 950PR (28 lõi cube, 128 GiB HBM) và xem xét bản phát hành ngày 30 tháng 9 của DeepSeek về hỗ trợ Ascend cho TileLang, DeepGEMM, DeepEP, TileKernels, FlashMLA và DeepSelect. 950PR đạt băng thông HBM đỉnh 1,6384 TB/s và vượt hiệu suất sử dụng băng thông của H100 ở kích thước tin nhắn nhỏ, trong khi tỷ lệ phần tính toán đạt được/khả thi trung vị của nó là 41,5% so với 46,8% của H100; chỉ TileLang là khả dụng cho đến nay vì CANN 9.2.0 cần thiết chưa được phát hành tại thời điểm viết. Các tác giả lập luận rằng ngăn xếp phần mềm gần mức tiên tiến ngay cả khi phần cứng Huawei còn kém hơn, và lưu ý rằng hầu hết các tối ưu hóa nhắm vào supernode, với vLLM-Ascend vẫn thất bại ngay khi chạy trên máy chủ x86.

  4. Google Developers Blog38

    Project Chrysalis của Google Cloud: Kiến trúc AI Agent tự tiến hóa có quản trị trên Gemini và ADK

    Các nhà nghiên cứu Google Cloud đã công bố Project Chrysalis, một kiến trúc tham chiếu cho các AI agent tự tiến hóa có quản trị, được xây dựng trên nền tảng Gemini và Agent Development Kit (ADK). Trong các mô phỏng sự cố ngừng dịch vụ do cache-stampede vào Black Friday, kiến trúc này đã rút ngắn thời gian từ lúc bắt đầu đến biện pháp giảm thiểu đầu tiên từ 15–45 phút xuống còn 1,8 giây, giảm lỗi HTTP 5xx từ 72,7%–80,0% xuống 0,0%, và giảm độ trễ P99 từ 519,8 ms xuống 18,2 ms. Mọi hành động tự động đều bị giới hạn bởi Model Armor, Cloud KMS, Binary Authorization, OPA Policy Controller và quy trình phê duyệt có con người trong vòng lặp với dual-custody.

  5. Google Developers Blog58

    Google Cloud API Gateway bổ sung hỗ trợ streaming trong Public Preview

    Google Cloud API Gateway hiện đã hỗ trợ streaming trong Public Preview, cho phép các endpoint streaming SSE, HTTP chunked, WebSocket và gRPC streaming nằm sau cùng một gateway và các chính sách như các API hiện có. Streaming được bật bằng một cờ --enable-streaming duy nhất khi tạo gateway, không yêu cầu thay đổi đặc tả API, và vẫn duy trì việc thực thi API key, xác thực JWT, xác thực service account cũng như Cloud Logging và Monitoring hoạt động như trước. Các gateway cũng có hostname mặc định xác định là GATEWAY_ID-PROJECT_NUMBER.REGION.gateway.dev, và các luồng stream có thể mở trong tối đa một giờ.

21 tháng 10Thứ Tư
  1. Recode China AI72

    Dự thảo kiểm soát xuất khẩu AI của Trung Quốc nhắm vào các mô hình lớn và tác nhân AI nhưng miễn trừ các bản phát hành trọng số mở

    Bộ Thương mại và Bộ Khoa học và Công nghệ Trung Quốc ngày 16 tháng 10 đã công bố dự thảo bổ sung vào danh mục kiểm soát xuất khẩu, lần đầu tiên bao gồm các mô hình AI lớn tiên tiến, tác nhân AI và cụm máy tính lớn, với 14 công nghệ bị cấm và 26 công nghệ bị hạn chế.

  2. Modal Blog58

    Modal ra mắt Dojo, thư viện cho huấn luyện LLM cấp production

    Modal đã phát hành Modal Dojo, một thư viện huấn luyện cung cấp các building block, công thức mặc định đã tinh chỉnh và bảng điều khiển observability cho hậu huấn luyện LLM cấp production. Nó được xây dựng trên các framework mã nguồn mở Miles và Slime, hỗ trợ các mô hình từ nửa tỷ đến hàng nghìn tỷ tham số, và cung cấp API cùng CLI mà các agent có thể điều khiển để khởi chạy và gỡ lỗi các lượt chạy. Modal cho biết Axiom Bio đã dùng nó để mở rộng lên các lượt chạy DeepSeek V4.1 Flash với ngữ cảnh 64k trên 64 B300, và Afterquery huấn luyện Kimi và DeepSeek ở độ dài ngữ cảnh 256k.

  3. LiveKit Blog25

    Acuity Health sử dụng LiveKit Voice Agents để tự động hóa việc tiếp nhận bệnh nhân như thế nào

    Acuity Health đã xây dựng lại các voice agent tiếp nhận bệnh nhân trên LiveKit sau khi một nền tảng low-code tỏ ra quá cứng nhắc và thiếu minh bạch, và hiện nay 80% cuộc gọi được AI agent xử lý trọn vẹn. Các agent chạy trên LiveKit Inference với mô hình Gemma 4 31B, phần lớn lượt đặt lịch hoàn tất trong dưới một phút, và 81% cuộc gọi đặt lịch kết thúc bằng một lời "cảm ơn." LiveKit Simulations kiểm thử từng thay đổi với các hồ sơ bệnh nhân trước khi phát hành, và một lần rà soát prompt đã cắt khoảng 24% số từ mà vẫn vượt qua các kịch bản tương tự.

  4. Google AI · DEV58

    Google Antigravity bổ sung Claude Opus 5.5 và Sonnet 5.5 với tính năng chuyển đổi mô hình giữa phiên

    Claude Opus 5.5 và Claude Sonnet 5.5 của Anthropic hiện đã chính thức có mặt trong Google Antigravity trên Antigravity 2.0 Desktop, CLI và các tiện ích mở rộng IDE cho VS Code, JetBrains và Visual Studio. Opus 5.5 hướng đến suy luận chuyên sâu và tái cấu trúc kiến trúc đa tệp, trong khi Sonnet 5.5 là lựa chọn nhanh hơn, chi phí thấp hơn cho việc lập trình hàng ngày. Các nhà phát triển có thể chuyển đổi mô hình giữa phiên thông qua menu thả xuống hoặc /model claude-opus-5-5 trong CLI mà không mất ngữ cảnh, trạng thái terminal hay các tạo tác trong workspace, và quản trị viên bật các mô hình và đặt giới hạn chi tiêu trong Google Cloud Console thuộc Gemini Enterprise.

  5. Google Developers Blog58

    Google Agents CLI 1.8.0 phát hành Extension System và tiện ích mở rộng LangChain chính thức

    Google Agents CLI hiện đã bao gồm Extension System, được giới thiệu từ v1.5.0, cho phép nhà phát triển ghi đè hoặc thêm lệnh mà không cần fork công cụ, và v1.8.0 phát hành tiện ích mở rộng LangChain chính thức. Mẫu LangChain tạo khung dự án không có phụ thuộc google-adk, triển khai lên Cloud Run qua cùng đường dẫn mã như dự án ADK, trong khi sáu lệnh gắn với ADK như playground, run và eval generate bị thay thế hoặc từ chối một cách rõ ràng. Tiện ích mở rộng được phân phối dưới dạng thư mục trong kho Git với lockfile ghim chính xác commit SHA, và hệ thống được đánh dấu là thử nghiệm trong v1.8.0.

20 tháng 10Thứ Ba
  1. Sakana AI Blog15

    Sakana AI Engineer Open House 2026: Công ty trình bày chiến lược chủ quyền AI và năm vị trí kỹ thuật

    Sakana AI đã tổ chức Engineer Open House lần thứ hai vào ngày 5 tháng 10 năm 2026, giới thiệu năm vị trí kỹ thuật gồm Applied Research Engineer, Forward Deployed Engineer, Software Engineer, Solution Engineer và Cybersecurity Engineer. CEO David Ha đã trình bày chiến lược "chủ quyền AI" được xây dựng trên pre-training, post-training với Namazu và điều phối với Fugu, sau khi mở rộng danh mục sản phẩm sang Sakana Chat, Marlin, Fugu và Translate trong sáu tháng qua. Sự kiện cũng trình bày chi tiết về công việc với các tổ chức tài chính Nhật Bản và các dự án quốc phòng, bao gồm nghiên cứu với Cục Thông tin của Bộ Quốc phòng và Viện Khoa học và Công nghệ Đổi mới Quốc phòng.

  2. Mistral AI82

    Mistral ra mắt mô hình giọng nói Voxtral 3 và SDK tác nhân giọng nói

    Mistral đã phát hành Voxtral 3, một họ mô hình chuyển giọng nói thành văn bản và văn bản thành giọng nói cùng một SDK tác nhân giọng nói được xây dựng trên LiveKit, cho phép truyền phát nghe, suy luận, gọi công cụ và nói trong một quy trình duy nhất. Voxtral Small Transcribe 3 hỗ trợ hơn 50 ngôn ngữ với tính năng phân tách người nói và điều chỉnh theo ngữ cảnh, Voxtral Mini TTS 3 hỗ trợ hơn 35 ngôn ngữ và hơn 50 phương ngữ, và bộ công cụ này có sẵn thông qua API do Mistral lưu trữ tại EU hoặc triển khai tự túc. Giá khởi điểm từ 0,0035 USD/phút cho phiên âm hàng loạt và 13 USD cho mỗi 1 triệu ký tự cho TTS.

    Vì sao đáng chú ý: Voxtral 3 của Mistral kết hợp các mô hình giọng nói đa ngôn ngữ với SDK tác nhân giọng nói dựa trên LiveKit, mang đến cho các đội ngũ một lựa chọn có thể triển khai có chủ quyền cho các tác nhân giọng nói thời gian thực.

  3. Zyphra Research58

    Zyphra Inference Wave 2 mang kernel HIP MoE tùy chỉnh và kernel sparse-attention đến phục vụ trên MI355X

    Zyphra phát hành làn sóng thứ hai của Zyphra Optimization Engine (ZOE) cho GPU AMD Instinct MI355X, bổ sung bốn kernel HIP tùy chỉnh cho MoE và sparse attention vào các bản fork sản xuất của vLLM và SGLang. 40x). 3 checkpoint vẫn nằm trong phạm vi 3 điểm so với FP8 trên bốn benchmark suy luận nhưng chỉ giải mã nhanh hơn ở mức đồng thời cao.

  4. Waymo Blog58

    Waymo sẽ khởi động các bước chuẩn bị cho dịch vụ gọi xe tự hành tại vùng Madrid, dự kiến đón hành khách đầu tiên vào năm 2027

    Waymo thông báo đang đặt nền móng cho dịch vụ gọi xe hoàn toàn tự hành tại Tây Ban Nha, bắt đầu từ Vùng Madrid, với mục tiêu đón những hành khách đầu tiên vào năm 2027. Xe điện Jaguar I-PACE sẽ xuất hiện trên các tuyến phố trong khu vực trong những ngày tới, bắt đầu bằng chế độ lái thủ công trước khi được các chuyên gia tự hành được đào tạo tại địa phương kiểm định kỹ thuật. Waymo dẫn số liệu hơn 20 triệu chuyến đi đã hoàn thành và dữ liệu từ hơn 400 triệu km tự hành hoàn toàn cho thấy số vụ va chạm gây thương tích nghiêm trọng hoặc nặng hơn ít hơn 95% so với người lái trong các thành phố nơi công ty vận hành.

  5. Google Developers Blog60

    Google tích hợp TorchTitan vào TorchTPU và phát hành sổ tay tối ưu hóa mô hình TPU

    Google đã phát hành bản fork TPU của TorchTitan do Meta phát triển, cho phép huấn luyện PyTorch trên Cloud TPU thông qua backend torch.device("tpu") gốc của TorchTPU, với các kernel gốc TPU và một playbook tối ưu hóa từng bước. Trên TPU v7x (Ironwood), Llama 3 405B duy trì khoảng 57% MFU từ 128 đến 1.024 chip, Qwen3 235B đạt 32,42% MFU trên một slice 1.024 chip, và FLUX.1 đạt 19,4% MFU trên 1.024 chip với hiệu suất weak-scaling 93%. Bản fork có tại https://github.com/google-pytorch/torchtitan/, và một backend mô hình hóa Transformers cùng một kỹ năng onboarding agent mở rộng cùng trainer này cho các checkpoint khác.

    Vì sao đáng chú ý: Google hợp tác với Meta để chuyển TorchTitan sang TPU, đồng thời đưa ra lộ trình tinh chỉnh từng bước từ FLUX.1 đến Qwen3 235B cùng các con số MFU, có thể dùng làm tài liệu tham khảo cho các nhóm PyTorch đánh giá tính khả thi của huấn luyện trên TPU.

  6. Modal Blog40

    Modal ra mắt Sticky Sessions cho định tuyến serverless nhận biết phiên

    Modal ra mắt Sticky Sessions, tính năng ghim mọi yêu cầu trong một phiên vào cùng một container trên nền Modal Servers độ trễ thấp. Nhà phát triển tạo Server có phiên bằng decorator @modal.sessioned() và khởi tạo phiên qua SDK hoặc HTTP API, với tự động mở rộng dựa trên số phiên đang hoạt động thay vì lưu lượng yêu cầu.

19 tháng 10Thứ Hai
  1. Modal Blog58

    Modal đánh giá CPU NVIDIA Vera: thông lượng sandbox tăng tối đa 2 lần dưới tải

    Modal đã đánh giá máy chủ CPU Vera tương thích Arm mới của NVIDIA và đo được thông lượng tác vụ tăng tối đa gấp đôi so với một máy GNR x86 tương đương, với độ trễ mỗi tác vụ bằng hoặc đôi khi thấp hơn. Kết quả đến từ Agentless Agent Bench, 50 giải pháp oracle Terminal-Bench và các trình xác minh đã được loại bỏ các lệnh gọi mạng và chạy trong các container Docker đồng thời. Modal cho rằng mức tăng này là nhờ Vera giữ được nhịp độ khi các container đồng thời tích tụ, điều mà họ liên hệ với băng thông bộ nhớ cao, và nói rằng việc hỗ trợ Arm sẽ đòi hỏi thay đổi trên toàn bộ hạ tầng và hệ thống build image của họ.

  2. Modal Blog38

    Legora chạy 2.000 đánh giá agent song song trên Modal Sandboxes như thế nào

    Legora hiện chạy từng đánh giá agent pháp lý của mình trong một Modal Sandbox riêng, khởi động toàn bộ ứng dụng được ghim vào một commit cụ thể để mỗi lần chạy phản ánh đúng phiên bản sản phẩm. Một thử nghiệm điển hình gồm 100 ca, 4 biến thể harness và 5 lần thử mỗi ca — 2.000 lần chạy song song — với Modal Volumes chụp nhanh trạng thái tài liệu, cơ sở dữ liệu và quyền. Legora cũng chuyển từ gVisor sang Modal VM Sandboxes, loại bỏ các giải pháp vòng cho mạng Docker và FUSE, đồng thời giảm 30% chi phí agent nhờ nén thông minh hơn và tìm kiếm công cụ tùy chỉnh.

16 tháng 10Thứ Sáu
  1. Modal Blog36

    Modal giải thích cách họ xây dựng một ngăn xếp hệ thống tệp nhanh cho VM Sandboxes

    Modal đã trình bày chi tiết cách họ phát triển ngăn xếp hệ thống tệp của mình để hỗ trợ VM Sandboxes, định tuyến các yêu cầu từ khách thông qua virtio-fs và virtiofsd vào hệ thống tệp tải lười ImageFS của họ. Phiên bản đầu tiên khởi động nhanh nhưng chạy chậm: lệnh chown đệ quy tăng từ bốn giây lên hơn một phút, và cài đặt pnpm và bun chậm khoảng ba lần. Các vi mô phép đo cho thấy chown mất 9,87 giây qua virtio-fs so với 2,31 giây trên gVisor và 1,58 giây trên ImageFS.

  2. Replit Blog40

    Replit mang Bring Your Own Cloud (BYOC) đến nền tảng của mình

    Replit đang giới thiệu các tùy chọn Bring Your Own Cloud (BYOC) cho phép doanh nghiệp chạy nền tảng Replit và các ứng dụng đã xuất bản bên trong tenant Microsoft Azure, Google Cloud hoặc Amazon Web Services của chính họ. BYOC đầy đủ, ở chế độ private preview, triển khai các cell và agent harness của Replit trong cloud của khách hàng, trong khi BYOC cho Published Apps, ở chế độ early access, lưu trữ các dự án đã xuất bản tại đó với Replit quản lý nền tảng. Image Exports thay vào đó cung cấp cho các nhóm một Docker image, tệp Terraform và SBOM để tự lưu trữ các ứng dụng do Replit xây dựng.

  3. OpenClaw Blog22

    PJ giúp các doanh nghiệp nhỏ tiếp nhận và sở hữu OpenClaw như thế nào

    PJ, một kỹ sư chuyển sang làm chủ dịch vụ diệt côn trùng tại Ocala, Florida, hiện tư vấn cho các doanh nghiệp nhỏ—trong đó có nhà thầu lợp mái, hồ bơi và ô tô—thiết lập OpenClaw và hướng dẫn họ tự vận hành. Khách hàng của anh muốn một công cụ họ sở hữu hoàn toàn thay vì đưa dữ liệu công ty vào phần mềm thuê, và một khách hàng, Donna, 66 tuổi, quản trị viên, sử dụng OpenClaw của mình hàng ngày.

  4. LiveKit Blog38

    Cách xây dựng một AI Voice Agent sẵn sàng cho môi trường production

    Hướng dẫn của LiveKit đúc kết kinh nghiệm từ các kiến trúc sư giải pháp và kỹ sư triển khai tại chỗ về việc đưa AI voice agent từ bản demo đến môi trường production, được tổ chức xoay quanh ba câu hỏi: liệu agent có đủ thông minh và tự nhiên hay không, hiệu năng của nó có thể quan sát được hay không, và liệu nó có mở rộng một cách đáng tin cậy và tiết kiệm chi phí hay không. Hướng dẫn khuyến nghị đo riêng lượt hội thoại đầu tiên, vì một công ty phát hiện khoảng 3 trong 4 cuộc gọi kết thúc ngay ở bước chào hỏi, và ghi nhận việc khách hàng chuyển từ GPT-4.1 sang Gemma 4 31B trên LiveKit Inference tiết kiệm được 300–500ms ở p50.

15 tháng 10Thứ Năm
  1. Anthropic · Claude.dev62

    Nhóm Claude Code thực hiện đánh giá mã như thế nào

    Nhóm Claude Code mô tả quy trình đánh giá mã theo nhiều lớp của mình, trong đó phần lớn việc đọc được thực hiện bởi máy móc và sự chú ý của con người được dành cho việc phê duyệt dựa trên rủi ro. Từ tháng 6 đến tháng 9, số pull request đã hợp nhất vào cơ sở mã Claude Code tăng hơn gấp đôi trong khi tỷ lệ phải hoàn nguyên giảm hơn 40 phần trăm. Quy trình xếp chồng các bước xác minh trước PR, CI bắt buộc, đánh giá của Claude, đánh giá bảo mật, phê duyệt của con người theo cấp rủi ro và hàng đợi hợp nhất với cờ và hoàn nguyên nhanh, và nhóm đã biến các sự cố trong quá khứ thành một bộ đánh giá hàng ngày cho người đánh giá.

    Vì sao đáng chú ý: Nhóm Claude Code của Anthropic trình bày chi tiết cách họ chuyển phần lớn việc đọc mã sang các lớp tự động trong khi PR đã hợp nhất tăng gấp đôi và số lần hoàn nguyên giảm hơn 40 phần trăm, mang lại một mô hình đánh giá có thể chuyển giao cho các nhóm sử dụng nhiều tác nhân.

  2. Modal Blog34

    Tăng cường LiveKit Agent của bạn với Modal GPUs

    Modal giải thích cách chạy LiveKit Agents với các mô hình open-weights hoặc tùy chỉnh trên GPU serverless của mình, sử dụng Expression Video Avatar open-weights của BitHuman với giọng đọc từ Qwen3-TTS để nhân bản Charles Frye. Thiết lập này mở endpoint /launch của container avatar thông qua một Modal Server và dùng Sticky Sessions để giữ các client WebSocket trên cùng một container, với GPU snapshots che giấu cold start.

  3. Modal Blog78

    Meta phát hành trọng số mở Muse Spark Open và có sẵn trên Modal Auto Endpoints

    Meta đã phát hành trọng số cho Muse Spark Open, và Modal hiện cung cấp mô hình này thông qua Auto Endpoints với tính phí theo token. Mô hình hướng đến lập trình tác tử và các tác vụ dài hạn, với khả năng hiểu đa phương thức gốc, cửa sổ ngữ cảnh 1M token, lập kế hoạch nhiều bước, sử dụng công cụ tuần tự và phục hồi sau lỗi. Meta báo cáo 76,4 trên Terminal-Bench 2.1 với tác tử Terminus 2 và 60 trên DeepSWE 1.1 khi dùng harness ưa thích của mình ở mức nỗ lực suy luận xhigh.

    Vì sao đáng chú ý: Muse Spark Open trọng số mở của Meta hiện được cung cấp trên Modal, mang đến cho các đội nhóm một cách tính phí theo token để thử một mô hình lập trình tác tử với cửa sổ ngữ cảnh 1M token.

14 tháng 10Thứ Tư
  1. GitHub Blog · AI & ML38

    Mô hình phát hiện bí mật của GitHub: tìm được nhiều bí mật hơn với ít nhiễu hơn

    GitHub đã huấn luyện một bộ phân loại ModernBERT được tinh chỉnh để thay thế pipeline dựa trên LLM trước đó cho việc phát hiện bí mật chung, cải thiện độ chính xác cảnh báo có trọng số theo chủ sở hữu thêm 11,5% và giảm thời gian thực thi quét trung vị sau khi push xuống 86%. Pipeline hai giai đoạn sử dụng tạo ứng viên bằng regex theo sau là phân loại nhận biết ngữ cảnh, điều này cũng giảm chi phí phục vụ hơn 98% so với gọi LLM từ xa. Lợi ích về hiệu quả đã khiến việc mở rộng phát hiện bí mật chung sang bảo vệ khi push trở nên khả thi, trả kết quả trước khi thay đổi được push.

  2. Modal Blog71

    Modal đạt tốc độ doanh thu thường niên 1 tỷ USD và gọi được 750 triệu USD vòng Series D với định giá 15,75 tỷ USD

    Modal đã vượt 1 tỷ USD tốc độ doanh thu thường niên và gọi được 750 triệu USD vòng Series D do Accel dẫn dắt với định giá hậu tiền tệ 15,75 tỷ USD, có sự tham gia của tất cả nhà đầu tư hiện hữu. Công ty cho biết mức sử dụng đã tăng gấp ba kể từ vòng Series C cách đây năm tháng và tăng hơn 15 lần so với cùng kỳ năm ngoái, và riêng sản phẩm Sandboxes đã đạt tốc độ doanh thu 300 triệu USD với gần 3 tỷ sandbox được khởi tạo. Modal cũng mô tả việc tự xây dựng lại hệ thống tệp, runtime container, bộ lập lịch và mạng của riêng mình trên một bể năng lực trải khắp hơn 20 đám mây, và chỉ ra các ra mắt gần đây trong huấn luyện đa nút, Modal servers và VM dùng chung cho Sandboxes.

    Vì sao đáng chú ý: Bài đăng của Modal giải thích lý do các khối lượng công việc AI thúc đẩy họ xây dựng lại hệ thống tệp, runtime container và bộ lập lịch của riêng mình trên hơn 20 đám mây, một góc nhìn cụ thể về cách ngăn xếp hạ tầng AI đang tách khỏi ngăn xếp đám mây.

13 tháng 10Thứ Ba
  1. LiveKit Blog18

    Khắc phục sự cố LiveKit Egress: Các lỗi thường gặp và cách sửa

    LiveKit đã xuất bản hướng dẫn khắc phục sự cố cho Egress, bao gồm các lỗi thường gặp như lỗi 412 "không nhận được tín hiệu khởi động" từ các template không bao giờ gọi START_RECORDING, lỗi 404 không tìm thấy participant hoặc track trong vòng 30 giây, và lỗi 400 tải lên thất bại do thông tin xác thực S3/GCP/Azure không hợp lệ. Hướng dẫn cũng đề cập đến các vấn đề về layout, webhook và Egress tự lưu trữ, đồng thời lưu ý rằng hướng dẫn này áp dụng cho cả API StartEgress hiện tại và các API riêng theo nguồn đã bị ngừng hỗ trợ.

  2. Modal Blog58

    Modal thử nghiệm bộ lấy mẫu RL hỗn hợp độ chính xác và hỗn hợp tăng tốc trên Qwen3.6-35B-A3B

    Modal đã huấn luyện Qwen3.6-35B-A3B trên tác vụ lập trình dạng agent với các bộ lấy mẫu trải rộng trên sáu loại tăng tốc (B200, B300, H100, H200, A100, RTX PRO 6000) ở độ chính xác NVFP4, FP8 và BF16, cấp dữ liệu cho một bộ huấn luyện BF16 trên B200. GRPO thuần đã sụp đổ trên cả bộ lấy mẫu hỗn hợp lẫn đồng nhất, nhưng khi thêm lấy mẫu quan trọng có mặt nạ cùng căn giữa điểm số, dù có hay không có phát lại mặt nạ top-p, quá trình huấn luyện vẫn ổn định đến cuối và đạt pass@4 trên SWE-bench Pro V2 ngang với bộ lấy mẫu đồng nhất, với chi phí bộ lấy mẫu mỗi lần cập nhật thấp hơn khoảng 15%. Các bộ lấy mẫu hỗn hợp chạy với KL trung bình giữa bộ lấy mẫu và bộ huấn luyện gấp 4,7 lần so với thiết lập đồng nhất, và các tác giả lập luận rằng tính ổn định phụ thuộc vào việc giữ độ lệch ở mức có giới hạn chứ không phải ở mức thấp.