Tới nội dung
#Dữ liệu / huấn luyện
3 tháng 11Thứ Ba
  1. Apple Machine Learning Research32

    Attention to Mamba: Công thức cho chưng cất liên kiến trúc

    Các nhà nghiên cứu của Apple đề xuất một công thức hai giai đoạn để chưng cất một Transformer thành kiến trúc Mamba thuần không có bất kỳ khối Attention nào. Phương pháp này trước tiên chưng cất một Transformer đã được huấn luyện trước thành một mô hình Attention tuyến tính hóa thông qua một kỹ thuật kernel được điều chỉnh, sau đó chưng cất mô hình đó thành một mô hình Mamba được điều chỉnh. Mamba được chưng cất thu được giữ lại phần lớn hiệu năng của Pythia-1B, đạt perplexity 14,01 so với 13,86 của mô hình giáo viên, với một số khoảng cách trên các tác vụ dựa vào khả năng nhớ trong ngữ cảnh.

2 tháng 11Thứ Hai
  1. SemiAnalysis58

    SemiAnalysis ra mắt bộ đánh giá GDPx cho năng lực tác nhân tiên tiến trên các lĩnh vực giá trị cao

    SemiAnalysis đã phát hành GDPx, một bộ đánh giá bao gồm thiết kế chip, an ninh mạng, sinh học, tài chính, pháp lý, giao dịch định lượng, RSI, thiết kế phần cứng, khoa học vật liệu, căn chỉnh và kỹ thuật phần mềm, được xây dựng với 14 đối tác môi trường RL chuyên biệt. Ngay cả mô hình tốt nhất cũng chỉ đạt 12%, với Opus 5.5 giành chiến thắng ở giao dịch định lượng, phần cứng và thiết kế chip, Gemini 4 Carbon dẫn đầu về sinh học và kỹ thuật phần mềm, và GPT-6 Astra đứng đầu về RSI và khoa học vật liệu. Mỗi nhiệm vụ đều chạy trong một môi trường mô phỏng thực tế, chẳng hạn như một phòng giao dịch cổ phần tư nhân với ~4.000 tệp hoặc các dải an ninh mạng đa dịch vụ trực tiếp, khác với GDPval của OpenAI, mà SemiAnalysis lập luận rằng cung cấp ngữ cảnh sẵn và thiếu môi trường.

1 tháng 11Chủ Nhật
  1. Sakana AI Blog40

    Hội thảo Sakana AI: Jürgen Schmidhuber về quá khứ và tương lai của AI, Nhật Bản thúc đẩy mô hình ngôn ngữ, mô hình thế giới và AI vật lý

    Sakana AI đã tổ chức hội thảo "Từ Mô hình Thế giới đến AI Thực tế" tại Tokyo vào ngày 26 tháng 10 năm 2026, nơi Cố vấn Khoa học Chính Jürgen Schmidhuber có bài phát biểu chính và Sakana AI công bố sẽ phát triển dòng mô hình ngôn ngữ tiền huấn luyện của riêng mình, Sakana Sawara (tên tạm thời). Mô hình nhỏ đầu tiên, Sawara Small (tên tạm thời), dự kiến ra mắt vào mùa xuân năm 2027 nếu quá trình phát triển diễn ra suôn sẻ. Hơn 400 người tham dự đã tham gia sự kiện, cũng bao gồm cuộc trò chuyện giữa Schmidhuber và CEO David Ha.

  2. Recode China AI22

    CXMT tiến vào HBM3E, doanh thu quý 3 của Unitree tăng 70%, và đà giảm của chứng khoán Trung Quốc

    CXMT báo cáo lợi nhuận ròng quý 3 đạt 54,4 tỷ nhân dân tệ và doanh thu 118,71 tỷ nhân dân tệ, tăng 613,2% so với cùng kỳ năm ngoái, trong khi Reuters cho biết hãng đã gửi mẫu HBM3E cho các nhà thiết kế chip trong nước với kế hoạch sản xuất hạn chế trong vòng hai tháng bất chấp tỷ lệ đạt chỉ 20–30%. Kết quả đầu tiên sau niêm yết của Unitree cho thấy doanh thu quý 3 tăng 69,9% lên 665 triệu nhân dân tệ trong khi chi phí nghiên cứu tăng khoảng 250%. Moonshot ra mắt Kimi K3.1 Pro với cửa sổ ngữ cảnh một triệu token, sau đó xin lỗi vì giới hạn tốc độ và khôi phục một phần tư hạn mức hàng tháng của người đăng ký.

30 tháng 10Thứ Sáu
  1. Microsoft Research40

    Microsoft xây dựng nền tảng dữ liệu doanh nghiệp tổng hợp để đánh giá Copilot

    Nền tảng Tạo Dữ liệu Đánh giá Ngành của Microsoft tạo ra các môi trường doanh nghiệp tổng hợp quy mô đầy đủ để đánh giá Microsoft Copilot mà không sử dụng dữ liệu khách hàng. Dựa trên các nguồn công khai như dữ liệu nghề nghiệp O*NET, tin tuyển dụng và hồ sơ nộp lên SEC, nền tảng này tạo ra các tenant thực tế với người dùng, cuộc họp, email và tài liệu, cùng với các pipeline truy vấn tự động và các khung chất lượng. Microsoft cho biết điều này thiết lập đường cơ sở đánh giá chuẩn hóa đầu tiên cho Copilot.

  2. ChinaTalk38

    Có phải một nửa năng lực tính toán AI của Trung Quốc thực sự đang bị đổ vào nội dung rác?

    Một tuyên bố lan truyền mạnh cho rằng 55% token AI của Trung Quốc được dùng cho phim ngắn và tạo video — bắt nguồn từ một cuộc gọi nhà đầu tư vào tháng 6 của COL Group — đã vấp phải phản bác từ ByteDance, công ty nói rằng tạo video chỉ chiếm khoảng 10% năng lực tính toán của chính họ, và từ Nhân Dân Nhật Báo. Hơn 90% trong khoảng 430.000 phim vi mô phát hành trong tám tháng đầu năm 2026 là sản phẩm do AI tạo ra, và một clip 720p dài năm giây trên Seedance của ByteDance tốn khoảng 100.000 token.

  3. Microsoft Research22

    Microsoft Research Focus Edition #97: ForkPilot, CABRA, TeleTune và việc sử dụng AI tại nơi làm việc

    Microsoft Research Focus Edition #97 nêu bật ForkPilot, một khung tác tử tự cải thiện đạt được kết quả ngang với các phương pháp tốt nhất hiện có trong khi cắt giảm nhu cầu xử lý AI tới 59% trên sáu bài đánh giá chuẩn. Ấn phẩm cũng đề cập CABRA, một khung cho thấy các tác tử lập trình vẫn còn gặp khó khăn trong việc hiểu các cơ sở mã không quen thuộc, và TeleTune, công cụ học các kỹ năng tái sử dụng từ nhật ký hoạt động của người dùng. Ấn phẩm cũng xem xét hoạt động của Copilot Chat, trong đó chỉnh sửa tài liệu chiếm hơn 20% các hoạt động đã được phân loại.

  4. Amazon Science38

    Tăng tốc LLM cho các ứng dụng du lịch: Medusa kết hợp chưng cất tri thức

    Kết hợp chưng cất tri thức với khung Medusa giúp một học trò TinyLlama 1,1 tỷ tham số đạt chất lượng tương đương giáo viên Llama-3.1 70 tỷ tham số trong khi chạy nhanh gấp 10 đến 20 lần với chi phí dưới một phần ba. Khi làm việc với Booking.com trên AI Trip Planner, Smart Filters và tạo mô tả chỗ ở, pipeline đã thu hẹp hơn 90% khoảng cách chất lượng và tăng thêm tốc độ gấp 2 đến 3,6 lần nhờ các đầu Medusa.

29 tháng 10Thứ Năm
  1. Meta Engineering Blog40

    Meta Andromeda: Công cụ truy xuất quảng cáo thế hệ mới của Meta đạt 1 tỷ quảng cáo mỗi giây

    Meta đã trình bày chi tiết về thế hệ tiếp theo của Andromeda, công cụ truy xuất quảng cáo được cá nhân hóa của họ, công cụ này chấm điểm hơn một tỷ quảng cáo mỗi giây trong môi trường production — tăng 100 lần thông lượng so với hệ thống năm 2024. Kiến trúc mới mang mixture-of-experts lấy cảm hứng từ LLM vào truy xuất, đạt hiệu năng mô hình gần mức xếp hạng với số FLOPs lúc suy luận ít hơn khoảng 300 lần, với hơn 10 tỷ quảng cáo mỗi giây trên một GPU NVIDIA GH200 duy nhất. Kể từ năm 2025, Andromeda đã mang lại mức tăng 2,4% về chuyển đổi trên Facebook.

  2. Preferred Networks News40

    Tập đoàn Zenrin và Preferred Networks hợp tác kinh doanh và liên minh vốn để kết hợp dữ liệu không gian địa lý với AI

    Zenrin, Zenrin DataCom và Preferred Networks đã ký kết liên minh kinh doanh và vốn, trong đó các công ty Zenrin đăng ký phân bổ bên thứ ba của PFN. Các đối tác sẽ kết hợp dữ liệu không gian địa lý được cập nhật liên tục, bao gồm hồ sơ thay đổi lịch sử, với AI tạo sinh, AI vật lý và công nghệ nhận dạng không gian 3D của PFN để xây dựng các mô hình AI hiểu và dự đoán sự thay đổi trong thế giới thực. Các lĩnh vực trọng tâm ban đầu bao gồm khu vực công, bất động sản, bán lẻ và phân phối, nhắm đến dự báo nhu cầu, lựa chọn địa điểm cửa hàng và quy hoạch đô thị, phòng chống thiên tai và mô phỏng hậu cần.

  3. Figma Blog58

    Figma đã huấn luyện một mô hình chỉnh sửa thiết kế thành thạo Figma như thế nào

    Figma đã trình bày chi tiết cách họ huấn luyện một mô hình chỉnh sửa thiết kế do chính họ phát triển cho Figma agent của mình, bắt đầu bằng việc tinh chỉnh có giám sát trên các yêu cầu chỉnh sửa tổng hợp được biểu diễn dưới định dạng tệp gốc của Figma và được xác thực bằng các kiểm tra tất định cùng các mô hình đánh giá trực quan.

28 tháng 10Thứ Tư
  1. Ai2 · Allen Institute for AI40

    Các nhà nghiên cứu đang điều chỉnh olmOCR 2 cho các kho lưu trữ lịch sử và khảo cổ như thế nào

    Các nhà nghiên cứu đang điều chỉnh mô hình olmOCR 2 mã nguồn mở của Ai2 để phiên âm các kho lưu trữ lịch sử và khảo cổ. Nhà sử học Maurice Casey đã xây dựng ArtificeOCR, chạy olmOCR 2 cục bộ cùng với Tropy để giúp thư viện ảnh lưu trữ của ông có thể tìm kiếm bằng từ khóa, trong khi dự án CENTURIA của TU Wien đã tinh chỉnh olmOCR 2 bằng LoRA trên 57 bản ghi được chú thích, giảm lỗi phiên âm trên 450 bản ghi kiểm thử từ 15,58% xuống 1,11%.

  2. Google Research58

    Khung "giấc ngủ" của Google Research giúp LLM củng cố kiến thức mới mà không bị quên thảm khốc

    Google Research đã giới thiệu một khung "giấc ngủ" cho học liên tục, xen kẽ tương tác chủ động với củng cố bộ nhớ ngoại tuyến, cho phép LLM tiếp thu các sự kiện mới vào tham số Mixture-of-Experts mở rộng thay vì mất kiến thức trước đó. Cách tiếp cận kết hợp mở rộng tham số, chưng cất on-policy với mô phỏng dựa trên học tăng cường, và một giai đoạn mơ tạo và lọc các mẫu huấn luyện tổng hợp. Các tác giả báo cáo mức giảm hiệu suất gần bằng không trong dịch liên tục cho các ngôn ngữ chưa thấy như Manchu và Kalamang, khả năng mở rộng gần hoàn hảo lên 10M token trên BABILong, kết quả 48,9% đơn nhiệm vụ và 46,2% CPT trên việc tích hợp sự kiện dựa trên SQuAD, và 79,2%, 69,0% và 46,1% trên AIME 24/25 và HMMT 25.

  3. Meta AI Research Blog30

    Meta hỗ trợ nghiên cứu AI tại năm trường đại học Hoa Kỳ để thúc đẩy các đột phá y học và khoa học

    Meta đang hỗ trợ nghiên cứu tại năm trường đại học Hoa Kỳ — Caltech, Ohio State University College of Medicine, Louisiana State University, Indiana University và UTHealth Houston — thông qua việc cấp quyền truy cập các mô hình Muse mới nhất, hợp tác với nhà nghiên cứu và tài trợ. Các nhà nghiên cứu sẽ sử dụng Muse Spark Open, Muse Wonder, Muse Spark, Muse Glimmer 30B trọng số mở, cùng với SAM, V-JEPA, DINO, UMA và SeamlessM4T. Các dự án trải rộng trên y học, vật lý, hóa học, sinh học, khoa học máy tính và toán học, với việc các trường đại học giữ quyền kiểm soát toàn bộ dữ liệu bệnh nhân và lâm sàng.

27 tháng 10Thứ Ba
  1. Ai2 · Allen Institute for AI58

    Nghiên cứu của Ai2 kiểm tra liệu LLM có thể đánh giá đáng tin cậy tính mới của ý tưởng nghiên cứu hay không

    Ai2 đã công bố Old Ideas, Novel Problems, một nghiên cứu và bộ đánh giá kiểm tra mức độ đáng tin cậy của LLM khi đánh giá tính mới của các ý tưởng nghiên cứu, cùng với dữ liệu, mã nguồn và một pipeline để xây dựng các bộ đánh giá mới. Qua sáu giám khảo gồm GPT-5.1, GPT-5.2, GPT-5.4, Claude Sonnet 4.5, Claude Opus 4.5 và Claude Opus 4.6, những thay đổi nhỏ trong prompt đã làm độ chính xác dịch chuyển hơn 50 điểm phần trăm trên các ý tưởng do AI tạo ra, và một baseline Claude Opus 4.6 đơn giản với prompt đạt macro-F1 0,854 với chi phí 2,59 USD, so với 0,642 với chi phí 30,66 USD của Idea Novelty Checker và 0,772 với chi phí 82,05 USD của AI Scientist do Sakana AI phát triển.

  2. Redwood Research22

    Redwood Research lập luận ủng hộ việc tăng tốc năng lực lý luận khái niệm của AI

    Redwood Research lập luận rằng năng lực lý luận khái niệm của AI—những nhiệm vụ như triết học vốn thiếu chân lý nền tảng có thể kiểm chứng—nên được tăng tốc một cách khác biệt, vì hoạt động R&D và tiếp quản của AI phụ thuộc ít hơn nhiều vào kiểu lý luận này. Nhóm cho biết các kỹ thuật khơi gợi cơ bản và huấn luyện quy mô nhỏ có thể giúp các mô hình tốt hơn từ ba đến mười hai tháng trên benchmark lý luận khái niệm chính của họ, và rằng lĩnh vực này hiện đang bị cộng đồng an toàn AI bỏ ngỏ và đầu tư chưa tương xứng.

  3. Epoch AI · Gradient Updates58

    Epoch AI thử nghiệm AI trên chính các nhiệm vụ nghiên cứu của mình, các mô hình hàng đầu đạt 65% và trượt tất cả

    Epoch AI đã mở rộng nỗ lực trước đó nhằm tự động hóa công việc của một nhà nghiên cứu cấp cao thành Epoch Automation Reports, đánh giá AI trên các nhiệm vụ thực tế của Epoch như thiết kế đồ họa và lập kế hoạch nghiên cứu theo cùng tiêu chuẩn áp dụng cho nhân viên con người. 1 và GPT-6 Astra đạt trung bình 65% theo rubric, nhưng điểm 65% vẫn bị tính là nhiệm vụ thất bại, vì mọi bài nộp sẽ bị từ chối hoặc yêu cầu sửa lại nếu do con người thực hiện.

  4. Anthropic Research65

    Anthropic báo cáo tiến triển ban đầu về việc sử dụng Claude để tăng tốc phát triển thuốc

    Nhóm khoa học đời sống của Anthropic đã dành vài tháng làm việc với sáu nhà phát triển thuốc, bao gồm Bristol Myers Squibb, Generate Biomedicines và Divergence Labs, cùng với việc điều hành các chương trình khám phá của riêng mình, để thử nghiệm nơi Claude có thể tăng tốc phát triển thuốc. Kết quả ban đầu được báo cáo bao gồm một thiết kế của Generate ngắn hơn khoảng 70% so với phiên bản tiêu chuẩn, cho phép tế bào miễn dịch tạo ra số lượng thụ thể nhiều gấp khoảng 10 lần, và khoảng 35.000 thiết kế kháng thể được tạo ra phần lớn một cách tự động cho Divergence trong khoảng một tháng. Anthropic cho biết công việc vẫn chủ yếu ở giai đoạn tiền lâm sàng và có kế hoạch mở rộng Claude sang các thử nghiệm lâm sàng khi các chương trình tiến triển.

    Vì sao đáng chú ý: Báo cáo chi tiết đầu tiên của Anthropic về việc đưa Claude vào các chương trình thuốc thực tế cho thấy mô hình giúp ích ở đâu và còn thiếu sót ở đâu trên sáu đối tác.

24 tháng 10Thứ Bảy
  1. SemiAnalysis60

    SemiAnalysis thử nghiệm bộ công cụ huấn luyện PyTorch gốc và trình phân tích Neuron Explorer của Amazon Trainium3

    Nhóm kỹ thuật của SemiAnalysis đã thử nghiệm các rack Trainium3 trên bộ công cụ TorchTitan và TorchNeuron và nhận thấy trải nghiệm PyTorch gốc là một cải tiến lớn so với cách tiếp cận PyTorch/XLA cũ, mặc dù vẫn còn lỗi và thời gian biên dịch kéo dài. Huấn luyện Qwen3-32B trên 16 chip Trainium2 đạt 14.156 token mỗi giây với MFU 30,47% ở chế độ biên dịch, tăng 1,28 lần so với chế độ eager, trong khi công thức gpt-oss 20B mất 27 phút 17 giây để biên dịch. Nhóm cũng đánh giá Neuron Explorer là trình phân tích hàng đầu trong ngành, vượt trước các công cụ của Nvidia và AMD, và báo cáo rằng Trainium3 đã vượt qua 89 trong số 96 trường hợp kiểm thử FlexAttention.

23 tháng 10Thứ Sáu
  1. Ai2 · Allen Institute for AI31

    LitPivot: Hệ thống của Ai2 giúp các nhà nghiên cứu chuyển hướng ý tưởng nghiên cứu thông qua tài liệu

    Các nhà nghiên cứu của Ai2 và Đại học Pennsylvania đã xây dựng LitPivot, một hệ thống tổ chức các bài báo được truy xuất theo khía cạnh của một đề xuất nghiên cứu đang được chỉnh sửa và gợi ý các chỉnh sửa dựa trên tài liệu. Trong một nghiên cứu với 17 nhà nghiên cứu, các chuyên gia trong lĩnh vực đánh giá những ý tưởng được phát triển với LitPivot có nền tảng tài liệu vững chắc hơn so với những ý tưởng được xây dựng bằng trình soạn thảo văn bản và một công cụ trò chuyện AI. Những người tham gia cũng cho biết các ý tưởng đã chỉnh sửa của họ mới lạ và hữu ích hơn, và LitPivot sẽ được trình bày tại UIST 2026.

  2. Amazon Science38

    Khoa học đằng sau TorchNeuron, backend PyTorch mới của Amazon cho chip AWS Trainium

    Amazon đã phát hành TorchNeuron, một backend PyTorch mã nguồn mở chuyển đổi mã PyTorch thành các phép toán có thể thực thi trên hệ thống AWS Trainium với ít hoặc không cần thay đổi mã. Nó bổ sung chế độ eager thích ứng tùy chọn giúp nhóm và biên dịch các phép toán để đạt hiệu năng gần như biên dịch, cùng với bộ nhớ đệm NEFF đa cấp; một dịch vụ biên dịch dùng chung đã giảm thời gian đến bước huấn luyện đầu tiên khoảng một phần ba trong một thử nghiệm LLM 64 tiến trình. Nhóm Annapurna đã tinh chỉnh và đánh giá hiệu năng nó bằng 841 mô hình đại diện được chắt lọc từ hàng trăm nghìn mô hình mã nguồn mở.

22 tháng 10Thứ Năm
  1. Modal Blog71

    Modal phát hành Spindle, một máy chủ huấn luyện mã nguồn mở tương thích với Tinker

    Modal đã phát hành Spindle, một máy chủ huấn luyện mã nguồn mở tương thích với Tinker, chạy trong workspace Modal của khách hàng, cho phép các nhóm tùy chỉnh stack và trả tiền cho thời gian GPU thay vì token. Spindle hỗ trợ huấn luyện toàn bộ tham số và multi-LoRA trên các mô hình mở, và Modal báo cáo rằng việc chia sẻ một trainer cho 8 khách hàng đã cắt giảm chi phí trên mỗi 1M token đầu ra tới 80% so với Tinker trên một job GRPO DAPO-math. Modal cho biết Spindle vẫn đang trong giai đoạn beta và định vị nó giữa thư viện huấn luyện Dojo và các primitive cụm thô của mình.

    Vì sao đáng chú ý: Máy chủ Spindle mã nguồn mở của Modal mang đến cho các nhóm một lựa chọn thay thế tương thích với Tinker, đánh đổi giá theo token lấy thời gian GPU, với việc chia sẻ multi-LoRA được báo cáo giúp cắt giảm chi phí tới 80%.

  2. Ai2 · Allen Institute for AI58

    Ai2 phát hành mô hình embedding vệ tinh OlmoEarth v1.3 với embedding toàn cầu tính sẵn và công cụ khám phá trên trình duyệt

    Ai2 đã phát hành OlmoEarth v1.3, một mô hình embedding vệ tinh chuyển chuỗi thời gian một năm của Sentinel-1, Sentinel-2 và Landsat thành một vector 128 chiều cho mỗi pixel 10 mét, với 64 chiều đầu tiên có thể dùng như một embedding nhỏ hơn. Ai2 đã tính sẵn embedding hằng năm cho toàn bộ hành tinh và công bố trên Source Cooperative, và embedding 128 chiều của mô hình đạt điểm cao nhất trong 20 trên 27 đánh giá so với AlphaEarth Foundations và Tessera v2, bao gồm một benchmark cây trồng nhiệt đới mới có tên PLANTEUR. Bản phát hành cũng bao gồm OlmoEarth Embeddings Explorer, một công cụ trình duyệt không cần đăng nhập để so sánh các năm, tìm những nơi tương tự và huấn luyện các bộ phân loại nhỏ ngay tại chỗ, với dữ liệu toàn cầu năm 2025, 2024 và 2023 và giai đoạn 2017 đến 2022 bao phủ một số quốc gia được chọn; trọng số, dữ liệu tiền huấn luyện và mã nguồn đều mở.

  3. inclusionAI Models58

    inclusionAI phát hành Ling-3.0-flash-Sante, mô hình MoE chuyên ngành y tế 124B

    inclusionAI đã phát hành Ling-3.0-flash-Sante, một mô hình chuyên ngành y tế được xây dựng trên Ling-3.0-flash với tổng cộng 124B tham số và 5,1B tham số hoạt động mỗi token, với trọng số trên Hugging Face và ModelScope. Mô hình sử dụng kiến trúc MoE tuyến tính lai kết hợp Kimi Delta Attention, gated MLA và các lớp MoE thưa, huấn luyện đến 256K token, và bật chế độ suy nghĩ theo mặc định với khả năng gọi công cụ thông qua các framework phục vụ tương thích. Công ty gắn nhãn đây là mô hình nghiên cứu, không phải thiết bị y tế, và cho biết đầu ra không được thay thế lời khuyên, chẩn đoán hoặc điều trị y tế chuyên nghiệp.

  4. Microsoft Research64

    Microsoft Research và đồng tác giả chứng minh giả thuyết KLS 31 năm tuổi

    Nhà nghiên cứu Microsoft Xinzhi Zhang và một đồng tác giả đã chứng minh giả thuyết Kannan-Lovász-Simonovits (KLS), một bài toán mở 31 năm tuổi trong hình học chiều cao, cho thấy cận đúng với một hằng số phổ quát độc lập với số chiều. Chứng minh này nảy sinh từ một quá trình tác tử do con người dẫn dắt, trong đó các tác tử AI đã khám phá hơn 100 hướng tiếp cận ứng viên trong khi các nhà nghiên cứu cắt tỉa và điều hướng tìm kiếm, và một nỗ lực không được dẫn dắt riêng rẽ với các mô hình hàng đầu trên ngân sách token tương đương đã không đạt được kết quả. Hai chứng minh khác xuất hiện cùng ngày, và một bản hình thức hóa bằng Lean 4 sau đó đã được công bố.

    Vì sao đáng chú ý: Một bài toán mở 31 năm tuổi trong hình học chiều cao được giải quyết thông qua tìm kiếm tác tử do con người dẫn dắt trên khoảng 100 hướng tiếp cận ứng viên, với các chứng minh độc lập và hình thức hóa bằng Lean như sự xác nhận.

  5. Anthropic Newsroom28

    Anthropic mở đơn đăng ký cho các nhà nghiên cứu khách mời trong lĩnh vực khoa học sự sống

    Anthropic đang mời các nhà nghiên cứu chính và nhóm nghiên cứu của họ tại các tổ chức học thuật, tổ chức phi lợi nhuận và phòng thí nghiệm chính phủ đăng ký các dự án nhà nghiên cứu khách mời kéo dài 8–12 tuần sử dụng Claude trong các lĩnh vực như sinh học con người nhân quả, sinh học phân tử cấu trúc và tính toán, hóa học dược phẩm, khám phá thuốc và khoa học lâm sàng. Anthropic sẽ vận hành các mô hình và bộ công cụ của mình miễn phí, và các kết quả đầu ra sẽ được công bố cùng dữ liệu và mã nguồn mở trong khi các nhà nghiên cứu giữ quyền đối với dữ liệu của họ. Đơn đăng ký mở trong khoảng 14 ngày, với những người được chọn sẽ được thông báo qua email khoảng 14 ngày sau khi hết hạn.

21 tháng 10Thứ Tư
  1. Modal Blog58

    Modal ra mắt Dojo, thư viện cho huấn luyện LLM cấp production

    Modal đã phát hành Modal Dojo, một thư viện huấn luyện cung cấp các building block, công thức mặc định đã tinh chỉnh và bảng điều khiển observability cho hậu huấn luyện LLM cấp production. Nó được xây dựng trên các framework mã nguồn mở Miles và Slime, hỗ trợ các mô hình từ nửa tỷ đến hàng nghìn tỷ tham số, và cung cấp API cùng CLI mà các agent có thể điều khiển để khởi chạy và gỡ lỗi các lượt chạy. Modal cho biết Axiom Bio đã dùng nó để mở rộng lên các lượt chạy DeepSeek V4.1 Flash với ngữ cảnh 64k trên 64 B300, và Afterquery huấn luyện Kimi và DeepSeek ở độ dài ngữ cảnh 256k.

  2. Apple Machine Learning Research26

    TEAL: Học chủ động hiệu quả trong không gian token cho phân đoạn ngữ nghĩa ngân sách thấp

    Các nhà nghiên cứu Apple (cùng Đại học Waterloo) giới thiệu TEAL, khung học chủ động cấp điểm ảnh đầu tiên được xây dựng trên biểu diễn ViT đóng băng, chọn trực tiếp các ứng viên đa dạng trên lưới token gốc thông qua chiến lược MaxHerding hai cấp cùng tinh chỉnh độ bất định dựa trên margin. Với một điểm ảnh được gán nhãn mỗi ảnh, TEAL vượt baseline mạnh nhất tới +24,36 mIoU trên CamVid, Cityscapes, ADE20K và Pascal Context, đạt tới 97% hiệu năng học có giám sát đầy đủ chỉ với 10 px.

20 tháng 10Thứ Ba
  1. Google Developers Blog60

    Google tích hợp TorchTitan vào TorchTPU và phát hành sổ tay tối ưu hóa mô hình TPU

    Google đã phát hành bản fork TPU của TorchTitan do Meta phát triển, cho phép huấn luyện PyTorch trên Cloud TPU thông qua backend torch.device("tpu") gốc của TorchTPU, với các kernel gốc TPU và một playbook tối ưu hóa từng bước. Trên TPU v7x (Ironwood), Llama 3 405B duy trì khoảng 57% MFU từ 128 đến 1.024 chip, Qwen3 235B đạt 32,42% MFU trên một slice 1.024 chip, và FLUX.1 đạt 19,4% MFU trên 1.024 chip với hiệu suất weak-scaling 93%. Bản fork có tại https://github.com/google-pytorch/torchtitan/, và một backend mô hình hóa Transformers cùng một kỹ năng onboarding agent mở rộng cùng trainer này cho các checkpoint khác.

    Vì sao đáng chú ý: Google hợp tác với Meta để chuyển TorchTitan sang TPU, đồng thời đưa ra lộ trình tinh chỉnh từng bước từ FLUX.1 đến Qwen3 235B cùng các con số MFU, có thể dùng làm tài liệu tham khảo cho các nhóm PyTorch đánh giá tính khả thi của huấn luyện trên TPU.

17 tháng 10Thứ Bảy
  1. Google Research71

    Google Research phác thảo VERID và quy trình tác nhân vòng kín cho phòng thí nghiệm ướt tự động

    Google Research mô tả ba dự án nhằm đưa các tác nhân AI gắn với thực nghiệm phòng thí nghiệm ướt thực tế, bao gồm khuôn khổ VERID, một bản sao số ngữ nghĩa của một workcell phòng thí nghiệm được xây dựng trên khuôn khổ PyLabRobot mã nguồn mở, theo dõi bố cục deck, thể tích giếng và tồn kho đầu tip, đồng thời chạy thử khô các giao thức trước khi thực thi.

    Vì sao đáng chú ý: Google Research phác thảo ba dự án kết nối các tác nhân AI với phần cứng phòng thí nghiệm ướt thực tế, cho thấy cách chạy thử khô mô phỏng và thí nghiệm vòng kín cho phép tác nhân tự sửa các quy tắc thiết kế của mình.

  2. Big Technology42

    CEO Rivian RJ Scaringe: Robot đang tiến bộ nhanh hơn nhiều so với bạn nghĩ

    CEO Rivian RJ Scaringe nói rằng tiến bộ của robot sẽ "nhanh, nhanh, nhanh, nhanh hơn nhiều" so với kỳ vọng của thế giới, dẫn chứng bằng những robot hiện học được các kỹ năng rộng và có thể khái quát hóa thông qua các mô hình dựa trên transformer. Startup Mind Robotics do ông thành lập năm 2025 đã huy động được 1 tỷ USD để chế tạo robot công nghiệp hai tay bán cho các nhà sản xuất, và công ty huấn luyện công nghệ này bên trong các nhà máy của Rivian.

15 tháng 10Thứ Năm
  1. Mistral AI71

    Mistral ra mắt mô hình nền tảng chuỗi thời gian Timestral, đứng đầu GIFT-Eval, TIME và fev-bench

    Mistral đã ra mắt Timestral, họ mô hình nền tảng chuỗi thời gian đầu tiên của mình, với bốn kích thước từ 5M đến 209M tham số. Mô hình lớn nhất xếp hạng nhất trên cả ba bộ đánh giá công khai chính là GIFT-Eval, TIME và fev-bench, trong số các mô hình zero-shot đã được huấn luyện trước từ một checkpoint duy nhất mà không cần ensemble, chỉ sử dụng hai phần ba số tham số so với mô hình tốt nhất trước đó. Timestral tạo ra dự báo đa biến theo xác suất với 21 phân vị, hỗ trợ các biến đồng biến chỉ trong quá khứ và biến đồng biến đã biết trong tương lai, chạy trên CPU mà không cần GPU, và có sẵn thông qua Mistral Forge để tinh chỉnh, cùng với kho lưu trữ GitHub và báo cáo kỹ thuật được công bố theo giấy phép MIT đã sửa đổi.

    Vì sao đáng chú ý: Họ mô hình nền tảng chuỗi thời gian đầu tiên của Mistral tuyên bố đứng đầu xếp hạng zero-shot trên GIFT-Eval, TIME và fev-bench với checkpoint 209M tham số, cung cấp tài liệu tham khảo về đánh đổi kích thước-độ chính xác cho công việc dự báo.

  2. Goodfire Research62

    Bài luận nghiên cứu của Goodfire lập luận rằng mạng nơ-ron vốn đã trong sáng và superposition đã bị hiểu sai

    Một nhà nghiên cứu của Goodfire lập luận rằng bằng chứng kinh điển về tính đa nghĩa và superposition trong mạng nơ-ron đã bị hiểu sai, và thứ trông như sự đóng gói tùy tiện thực chất phần lớn là một mô-típ mà ông gọi là tổng quát hóa đệ quy. Huấn luyện lại InceptionV1 với các cải tiến kiến trúc thông thường và không thay đổi kích thước mô hình hay dữ liệu huấn luyện đã khiến 99-100% nơ-ron ở lớp cuối của nó trở nên dễ diễn giải, và các đợt kiểm toán sơ bộ Qwen3-32B ước tính khoảng 90% các cực nơ-ron có một nhiệm vụ chính. Bài luận kết luận mạng nơ-ron sử dụng một nguyên lý học thay vì hai, nên khả năng diễn giải có thể tiến hành bằng cách nghiên cứu trực tiếp nơ-ron và mạch thay vì trước tiên huấn luyện các mô hình phân rã như sparse autoencoder.

    Vì sao đáng chú ý: Một cách diễn giải lại trực tiếp bằng chứng kinh điển về tính đa nghĩa của lĩnh vực, lập luận rằng mạng nơ-ron tổng quát hóa một cách đệ quy thay vì đóng gói các khái niệm không liên quan, điều này sẽ khiến việc nghiên cứu cơ chế trực tiếp trở nên khả thi.

13 tháng 10Thứ Ba
  1. Modal Blog58

    Modal thử nghiệm bộ lấy mẫu RL hỗn hợp độ chính xác và hỗn hợp tăng tốc trên Qwen3.6-35B-A3B

    Modal đã huấn luyện Qwen3.6-35B-A3B trên tác vụ lập trình dạng agent với các bộ lấy mẫu trải rộng trên sáu loại tăng tốc (B200, B300, H100, H200, A100, RTX PRO 6000) ở độ chính xác NVFP4, FP8 và BF16, cấp dữ liệu cho một bộ huấn luyện BF16 trên B200. GRPO thuần đã sụp đổ trên cả bộ lấy mẫu hỗn hợp lẫn đồng nhất, nhưng khi thêm lấy mẫu quan trọng có mặt nạ cùng căn giữa điểm số, dù có hay không có phát lại mặt nạ top-p, quá trình huấn luyện vẫn ổn định đến cuối và đạt pass@4 trên SWE-bench Pro V2 ngang với bộ lấy mẫu đồng nhất, với chi phí bộ lấy mẫu mỗi lần cập nhật thấp hơn khoảng 15%. Các bộ lấy mẫu hỗn hợp chạy với KL trung bình giữa bộ lấy mẫu và bộ huấn luyện gấp 4,7 lần so với thiết lập đồng nhất, và các tác giả lập luận rằng tính ổn định phụ thuộc vào việc giữ độ lệch ở mức có giới hạn chứ không phải ở mức thấp.

  2. Amazon Science75

    Các nhà nghiên cứu của Amazon Web Services đề xuất phương pháp priming để chuyển đổi Transformer đã huấn luyện trước thành mô hình không gian trạng thái lai mà không cần huấn luyện lại toàn bộ

    Các nhà nghiên cứu của Amazon Web Services giới thiệu priming, một phương pháp tái sử dụng trọng số Transformer đã huấn luyện trước để cắt giảm chi phí huấn luyện trước của kiến trúc không gian trạng thái lai xuống hơn 99%, chỉ sử dụng dưới 0,5% ngân sách token huấn luyện trước của mô hình nguồn. Trong các so sánh có kiểm soát, Gated KalmaNet vượt trội hơn Gated DeltaNet và Mamba-2, và một mô hình lai dựa trên GKA 32B đạt kết quả tương đương Transformer nguồn trên các bài đánh giá suy luận trong khi giải mã nhanh gấp đôi ở ngữ cảnh 128.000 token. Nhóm đã phát hành các mô hình lai đã priming 8B và 32B, mã huấn luyện, Triton kernel và plugin phục vụ vLLM theo Giấy phép Apache 2.0.

    Vì sao đáng chú ý: Các nhà nghiên cứu của Amazon Web Services cho thấy việc tái sử dụng trọng số Transformer đã huấn luyện trước có thể cắt giảm chi phí huấn luyện trước kiến trúc lai xuống hơn 99%, giúp việc so sánh có kiểm soát các lớp không gian trạng thái trở nên khả thi.

10 tháng 10Thứ Bảy
  1. Epoch AI · Gradient Updates65

    InnovationEval của Epoch AI phát hiện các agent tiên phong chỉ đạt 15% mức cải thiện của SDPO trong R&D AI tự động

    6 Sol và Fable 5 với việc độc lập tái phát hiện một kỹ thuật hậu huấn luyện mới lạ tương đương với Self-Distillation Policy Optimization (SDPO), cấp cho mỗi bên 3.000 GPU-giờ trong một sandbox không có truy cập internet. Phương pháp của 6 Sol, phần lớn sao chép từ công trình trước đó, đạt 15% mức cải thiện của SDPO sau khi điều chỉnh cho việc huấn luyện chậm hơn, trong khi kỹ thuật của Fable 5 không cải thiện được hiệu suất.

9 tháng 10Thứ Sáu
  1. Epoch AI · Gradient Updates22

    Bản tin Epoch, ngày 8 tháng 10 năm 2026: Ước tính số lượng AI Agent, chi phí AI giảm, và mức độ phơi nhiễm chip của Trung Quốc

    Epoch AI ước tính rằng chip AI xuất xưởng đến năm 2027 có thể hỗ trợ khoảng 30 đến 170 triệu agent mô hình tiên tiến chạy đồng thời, hoặc gần 2 tỷ nếu chạy trên các mô hình rẻ hơn. Nghiên cứu của họ cũng phát hiện chi phí cho một mức hiệu suất AI cố định đã giảm khoảng 47% mỗi quý trong ba năm, tức khoảng 13 lần mỗi năm. Riêng Epoch ước tính mức độ phơi nhiễm của Trung Quốc trước các cú sốc nguồn cung chất bán dẫn cao gấp 2,7 lần so với Mỹ.

8 tháng 10Thứ Năm
  1. Zyphra Research36

    Zyphra Research: Ghép nối chuyên gia cắt giảm thông tin liên lạc khi tiền huấn luyện MoE

    Zyphra Research chỉ ra rằng định tuyến MoE có cấu trúc cao, với các chuyên gia được chọn cùng nhau có tương quan trong một lớp và lựa chọn chuyên gia của một token dự đoán định tuyến lớp sau. Khai thác điều này thông qua bố trí chuyên gia tương quan và xáo trộn token giúp cắt giảm thời gian liên lạc all-to-all lên đến 2,63× và cải thiện thời gian bước huấn luyện end-to-end lên đến 1,41× trong các thí nghiệm Megatron-LM trên GPU MI300X, mà không thay đổi kiến trúc hay quyết định định tuyến.

  2. Waymo Blog30

    Nghiên cứu của Waymo: Người lái xe tỉnh táo vẫn đối mặt nguy cơ tai nạn chết người vào ban đêm cao gần gấp 4 lần

    Nghiên cứu đã qua bình duyệt của Waymo phát hiện rằng ngay cả những người lái xe hoàn toàn tỉnh táo cũng đối mặt nguy cơ tai nạn chết người vào ban đêm cao gấp 3,1 đến 3,9 lần so với ban ngày, và việc loại bỏ những người lái xe bị suy giảm do rượu giúp giảm 23% tỷ lệ dính vào tai nạn chết người trung bình ở đô thị, từ 1,42 xuống 1,10 trên 100 triệu dặm. Một nghiên cứu thứ hai trên 37.654 trường hợp tử vong trong cơ sở dữ liệu FARS 2023 cho thấy chỉ 8,2% chỉ liên quan đến các yếu tố hành vi thuần túy của con người. Waymo trình bày các phát hiện này như là sự ủng hộ cho Phương pháp Tiếp cận Hệ thống An toàn và cho việc đánh giá chuẩn lái xe tự động dựa trên đường cơ sở con người có nồng độ cồn bằng không.

3 tháng 10Thứ Bảy
  1. Epoch AI · Gradient Updates58

    Epoch AI: Năng lực tính toán được xây dựng trong hai năm tới có thể vận hành hàng trăm triệu AI agent

    Epoch AI ước tính rằng năng lực tính toán AI được tạo ra trong hai năm tới có thể hỗ trợ hàng chục đến hàng trăm triệu agent đồng thời chạy các mô hình mạnh nhất hiện nay, hoặc hàng tỷ agent chạy các mô hình rẻ hơn. Sử dụng dự báo lượng xuất hàng HBM từ năm 2025 đến năm 2027, phân tích đếm số GPU tương đương GB300 và phát hiện rằng các agent hàng đầu chạy không ngừng nghỉ có thể cung cấp số giờ hàng tuần của khoảng 140 triệu đến 700 triệu nhân viên toàn thời gian, trong khi các chỉ số đánh giá do DeepSeek V4 Pro phục vụ ngụ ý khoảng 1,9 tỷ agent đồng thời. Báo cáo lưu ý rằng yếu tố bất định chính là liệu nhu cầu có tăng đủ nhanh để biện minh cho việc xây dựng hay để lại tình trạng dư thừa agent.