Tới nội dung
#Dữ liệu / huấn luyện
11 tháng 11Thứ Tư
  1. Latent Space62

    Mercor huy động 750 triệu USD vòng Series D với định giá 20 tỷ USD nhờ doanh thu thường niên 3 tỷ USD

    Mercor đã huy động 750 triệu USD trong vòng Series D với định giá 20 tỷ USD sau khi đạt doanh thu thường niên 3 tỷ USD, tăng từ 1 tỷ USD vào tháng 2 và 2 tỷ USD vào tháng 6. Công ty báo cáo có 5 triệu chuyên gia và xác định thị trường của mình là hơn 800 nghề nghiệp tại Mỹ mà các mô hình chưa được đánh giá dựa trên quy trình làm việc của họ. Mercor cũng cho biết họ đã chi cho inference gấp 3 lần so với lương nhân viên, và lập luận rằng nếu tỷ lệ này giữ nguyên trên toàn nền kinh tế thì nó chỉ ra mức tăng trưởng GDP hai chữ số trong năm năm tới.

  2. Hugging Face Blog41

    Huấn luyện nhận biết pooling cho mô hình embedding đa vector với Sentence Transformers

    Hugging Face trình bày cách huấn luyện nhận biết pooling nâng cao chất lượng truy xuất cho các mô hình embedding đa vector với ngân sách lưu trữ cố định. Với pool_factor=4, một mô hình được huấn luyện thông thường giữ được 94,6% nDCG@10 trên NanoBEIR khi chưa pooling, trong khi giảm số vector tài liệu xuống 4 lần, và huấn luyện nhận biết pooling nâng tỷ lệ giữ lại đó lên 97,8%. Bài viết đi qua HierarchicalTokenPooling, hiệu chỉnh ngân sách và một ví dụ Sentence Transformers có thể tái lập.

  3. inclusionAI Models40

    inclusionAI phát hành mô hình ZoomGain-9B và ZoomGain-4B cùng ZoomGainBench và dữ liệu huấn luyện RL

    inclusionAI đã phát hành các checkpoint mô hình thị giác-ngôn ngữ ZoomGain-9B và ZoomGain-4B, cùng với bộ đánh giá ZoomGainBench và dữ liệu huấn luyện RL ZoomGain. ZoomGain khai thác khoảng cách nhận thức từ toàn cục đến thu phóng để xây dựng giám sát thị giác chi tiết, và ZoomGain-9B đạt hiệu suất vượt trội trên nhiều bộ đánh giá nhận thức chi tiết và tổng quát. ZoomGainBench chứa 1.000 câu hỏi trên 941 hình ảnh, trong khi bộ dữ liệu RL có 9.000 bản ghi huấn luyện và 7.713 hình ảnh nguồn.

  4. inclusionAI Models38

    inclusionAI phát hành ZoomGain-4B và ZoomGain-9B cùng ZoomGainBench và dữ liệu huấn luyện RL

    inclusionAI đã phát hành bài báo arXiv, bộ đánh giá ZoomGainBench, tập dữ liệu huấn luyện RL và các checkpoint mô hình ZoomGain-4B/ZoomGain-9B. Mô hình tốt nhất trong 28 mô hình đạt 61,08 trên ZoomGainBench, trong khi ZoomGain-9B đạt hiệu suất vượt trội trên nhiều benchmark nhận thức tổng quát và chi tiết. ZoomGain khai thác khoảng cách nhận thức từ toàn cục đến thu phóng để xây dựng giám sát thị giác chi tiết cho các mô hình ngôn ngữ-thị giác.

  5. Microsoft Research75

    Các nhà nghiên cứu Microsoft mô tả Lazarus, một backdoor lập trình lại các neuron không hoạt động trong các tác nhân AI

    Các nhà nghiên cứu Microsoft đã mô tả Lazarus, một kỹ thuật backdoor lập trình lại ít hơn 10 neuron không hoạt động trong một LLM để một tác nhân xây dựng trên đó phát ra lệnh của kẻ tấn công khi một kích hoạt ẩn xuất hiện, mà không cần huấn luyện lại. Mô hình đã sửa đổi vẫn vượt qua các đánh giá tiêu chuẩn và hoạt động bình thường cho đến khi kích hoạt, có thể đơn giản như một thay đổi ngày tháng, và sau đó tác nhân chạy mã đã tải xuống với bất kỳ quyền truy cập nào được cấp. Các tác giả cho biết việc phát hiện đòi hỏi phải so sánh với trọng số gốc, và Microsoft Foundry đã liên kết các mô hình trọng số mở với nhà phát hành của chúng và quét các container của chúng, trong khi các bộ công cụ red-teaming, quét trọng số dựa trên tác nhân và các mô hình có chữ ký với nguồn gốc chống giả mạo đang được phát triển.

    Vì sao đáng chú ý: Các nhà nghiên cứu Microsoft cho thấy rằng việc lập trình lại ít hơn 10 neuron không hoạt động có thể tạo backdoor cho một tác nhân LLM mà không cần huấn luyện lại, điều này khiến nguồn gốc và tính toàn vẹn của trọng số trở thành một yêu cầu bảo mật thực tế.

  6. Claude YouTube72

    Anthropic ra mắt Claude Whiteboards, Sheets và Data cho cộng tác nhóm

    Anthropic giới thiệu Claude Whiteboards và Claude Sheets dưới dạng bản beta, đồng thời đưa Claude Dashboards ra mắt chính thức với tên Claude Data. Whiteboards biến một kế hoạch nói thành bảng với dòng thời gian, người phụ trách và ngày tháng mà các nhóm có thể chỉnh sửa theo thời gian thực, trong khi Sheets xây dựng bảng tính với các tab, công thức, định dạng và menu thả xuống và phác thảo từng chỉnh sửa. Claude Data cho phép các nhóm dữ liệu chứng nhận truy vấn và tạo câu chuyện dữ liệu hoặc video thuyết minh từ các chỉ số, với chia sẻ trực tiếp hiển thị số liệu cập nhật.

    Vì sao đáng chú ý: Claude bổ sung bảng trắng cộng tác, bảng tính và bảng điều khiển dữ liệu chia sẻ, mở rộng không gian làm việc từ trò chuyện sang tài liệu nhóm.

10 tháng 11Thứ Ba
  1. Amazon Science62

    Amazon phát hành mô hình nền tảng dạng bảng Mitra-v2 với tiền huấn luyện tổng hợp mở rộng

    Amazon giới thiệu Mitra-v2, mô hình nền tảng dạng bảng thế hệ thứ hai cho phân loại và hồi quy, được phát hành kèm các mô hình đã tinh chỉnh cùng mã suy luận và tinh chỉnh theo giấy phép Apache-2.0 trên Hugging Face. Mô hình được tiền huấn luyện trên các bảng tổng hợp có số hàng gấp 10 lần và số cột gấp khoảng ba lần so với Mitra-v1, sử dụng prior SCM lai mới và bộ tối ưu lai trong khi giữ nguyên kiến trúc Transformer. Trên TabArena, một benchmark công khai gồm 51 bộ dữ liệu thực tế, Mitra-v2 dẫn đầu nhóm mô hình đơn, vượt Mitra-v1 trên 32 trong số 33 bộ dữ liệu mà cả hai chạy gốc, và hoàn thành cả 51 bộ trong giới hạn một giờ; Mitra-v2 đã tinh chỉnh cũng đứng đầu trên ScoringBench.

    Vì sao đáng chú ý: Mitra-v2 cho thấy việc mở rộng dữ liệu tiền huấn luyện tổng hợp, thay vì làm sâu mạng, đưa một mô hình nền tảng dạng bảng lên đỉnh nhóm mô hình đơn của TabArena.

  2. Recode China AI38

    Ulanqab, một thành phố xa xôi của Trung Quốc, trở thành thị trấn bùng nổ AI và nam châm thu hút lao động trẻ

    Ulanqab, từng là một thành phố ít được biết đến ở Nội Mông, đã trở thành một trung tâm điện toán AI mới nổi khi các trung tâm dữ liệu lan rộng khắp vùng đồng cỏ, thu hút lao động trẻ từ khắp Trung Quốc. Kuaishou bắt đầu vận hành trung tâm dữ liệu tự xây đầu tiên tại đây vào năm 2023, và DeepSeek đã quảng cáo các vị trí vận hành và bảo trì cấp cao với mức lương lên tới 30.000 nhân dân tệ (4.200 USD) một tháng vào tháng 4 năm nay. Thị trường lao động hiện đang bão hòa, với các nhà tuyển dụng nâng cao tiêu chuẩn tuyển dụng và một số chỉ xem xét ứng viên có bằng cử nhân.

  3. Ars Technica · AI38

    Máy bay không người lái cáp quang của Ukraine bị ép bởi nhu cầu trung tâm dữ liệu AI

    Máy bay không người lái cáp quang của Ukraine, vốn miễn nhiễm với nhiễu chiến trường, nay đối mặt với chi phí cao hơn khi việc nhập khẩu vật liệu cáp quang từ Trung Quốc cạnh tranh với nhu cầu toàn cầu từ các trung tâm dữ liệu AI đối với cùng nguồn cung hạn chế. Các nhà sản xuất máy bay không người lái Ukraine đang thích ứng, với các cuộn thành phẩm chứa đủ cáp để máy bay không người lái thường xuyên hoạt động ở tầm hàng chục dặm, và lên tới 62 dặm trong những trường hợp cực đoan.

  4. Apple Machine Learning Research34

    Weighted State Souping cho Truy xuất Ngữ cảnh Dài Hiệu quả

    Các nhà nghiên cứu Apple và cộng tác viên Harvard đề xuất weighted state souping, một phương pháp học trọng số phụ thuộc truy vấn để tái tổ hợp các mã hóa trạng thái SSM đã lưu trong bộ nhớ đệm, cải thiện hiệu suất ngữ cảnh dài trên QA tài liệu đơn bước và đa bước, truy xuất needle-in-a-haystack, theo dõi biến và sử dụng công cụ. Một biến thể thưa đạt chi phí mã hóa gần như không đổi theo độ dài ngữ cảnh trong khi vẫn giữ nguyên hoặc đôi khi cải thiện hiệu suất. Bài báo đã được chấp nhận tại hội thảo PALM tại NeurIPS 2026.

  5. Apple Machine Learning Research38

    Nghiên cứu của Apple: Cơ chế gating giải thích tại sao SSM ghi nhớ thay vì học trong ngữ cảnh

    Một nghiên cứu của Apple và Harvard chỉ ra rằng cơ chế gating trong Mô hình Không gian Trạng thái (SSM) khiến chúng trước tiên học một giải pháp "ghi nhớ" trong trọng số, làm chậm trễ hoặc thậm chí ngăn cản việc hội tụ đến học trong ngữ cảnh đúng đắn. Điều này xảy ra ngay cả khi kiến trúc và dung lượng bộ nhớ không đặt ra giới hạn cơ bản nào. Tuy nhiên, gating thường cải thiện khả năng tổng quát hóa cho độ dài chuỗi dài.

  6. Apple Machine Learning Research31

    Nghiên cứu của Apple đánh giá các giám khảo LLM cho việc đánh giá phong cách viết cá nhân hóa

    Các nhà nghiên cứu của Apple đã kiểm tra mức độ mà các giám khảo LLM đánh giá xem văn bản được tạo có phù hợp với phong cách viết ưa thích của người dùng hay không, bằng cách tạo văn bản với bốn LLM trên ba tác vụ viết dài và so sánh chú thích của giám khảo với nhãn so sánh cặp của con người. Chất lượng giám khảo chỉ tương quan yếu với năng lực LLM tổng quát trên MMLU (Pearson's ρ ≤ 0.2) và thay đổi theo tác vụ viết và tiêu chí đánh giá, và so sánh cặp tỏ ra nhất quán hơn so với chấm điểm độc lập. Các LLM mạnh nhất không phải là những mô hình tái tạo đánh giá của con người một cách đáng tin cậy nhất, có thể do độ nhạy cảm quá mức với các chi tiết tinh tế.

  7. Google Research25

    Language Explorer của Google trực quan hóa sự đa dạng ngôn ngữ trên thế giới

    Google đã ra mắt Language Explorer, một nền tảng web tương tác cho phép các nhà nghiên cứu, nhà giáo dục và những người đam mê ngôn ngữ khám phá và trực quan hóa sự đa dạng ngôn ngữ trên hàng nghìn ngôn ngữ. Được xây dựng như một phần của Sáng kiến 1.000 Ngôn ngữ của Google và dựa trên bộ dữ liệu mã nguồn mở LinguaMeta, nó được giới thiệu trong một triển lãm mới tại Bảo tàng Truyền thông Berlin khai mạc tuần này. Google Dịch hiện hỗ trợ gần 250 ngôn ngữ, trong khi Gboard bao phủ hơn 900 biến thể ngôn ngữ.

  8. Latent Space58

    Các phòng thí nghiệm tiên phong mua gì: Phân tích dữ liệu chuyên sâu cùng Garrett Lord và đội ngũ Handshake AI

    Mảng kinh doanh huấn luyện AI của Handshake đã đi từ lúc ra mắt đến 1 tỷ USD doanh thu gộp hằng năm ước tính chỉ trong khoảng một năm, và bài phân tích chuyên sâu này của Latent Space cùng Garrett Lord và đội ngũ của ông đi qua các môi trường học tăng cường mà các phòng thí nghiệm tiên phong mua. Trong một bản demo tài chính, một agent xử lý email và hồ sơ giao dịch của một ngân hàng mô phỏng mang một con số lợi thế thương mại vào Python và trừ nó đi, một sai lầm cho thấy chỗ mà phán đoán của chuyên gia vẫn vượt trội hơn mô hình. Đội ngũ cũng trình bày VIALS, bộ đánh giá của họ để diễn giải hình ảnh khoa học, và lần theo các lệnh gọi công cụ của một agent qua các mô phỏng an toàn bao gồm CAREBench.

  9. Goodfire Research62

    Goodfire nghiên cứu các neuron của Qwen3.6-35B-A3B như một nền tảng có thể diễn giải

    Goodfire Research đã công bố một nghiên cứu lập luận rằng các neuron MLP riêng lẻ trong Qwen3.6-35B-A3B có thể diễn giải được hơn so với giả định, dựa trên các công cụ thưa hóa, quy gán và các tác nhân nghiên cứu. Việc loại bỏ 92,2% kích hoạt neuron MoE yếu nhất mỗi lượt truyền xuôi chỉ làm tăng mất mát của mô hình ngôn ngữ thêm 2,9%, và 69% các cực neuron có một chế độ duy nhất chịu trách nhiệm cho ít nhất 90% hiệu ứng nhân quả của chúng. Các mô tả neuron bằng ngôn ngữ tự nhiên cho phép một mô hình giám khảo dự đoán việc kích hoạt với độ chính xác 95% so với văn bản ngẫu nhiên và phục hồi 73% thiệt hại do loại bỏ thông qua mô phỏng.

    Vì sao đáng chú ý: Nghiên cứu của Goodfire về các neuron của Qwen3.6-35B-A3B lập luận rằng chỉ riêng các kích hoạt mạnh đã mang phần lớn tính toán của mô hình, đưa ra một giải pháp thay thế cụ thể cho cách diễn giải bằng từ điển đặc trưng.

9 tháng 11Thứ Hai
  1. Hugging Face Blog38

    NVIDIA và Elith phát hành bộ dữ liệu tổng hợp Nemotron-Personas-Finance-Japan

    Elith và NVIDIA đã phát hành Nemotron-Personas-Finance-Japan, một bộ dữ liệu persona tổng hợp mở cho lĩnh vực tài chính Nhật Bản được xây dựng trên số liệu thống kê chính thức của chính phủ. Bộ dữ liệu chứa 9M persona (1M bản ghi × 9 persona) trên 50 lĩnh vực và ~1,5B token, được tạo bằng NeMo SDG-PGMs và NeMo Data Designer, và có sẵn theo giấy phép CC BY 4.0 cho mục đích thương mại.

  2. Exponential View22

    Lao động bị ảnh hưởng bởi AI mất thêm một tháng để tìm việc mới trong năm 2025

    Theo tổng hợp dữ liệu của Exponential View, những lao động mất việc trong các vai trò chịu ảnh hưởng của AI trong năm 2025 mất khoảng một tháng lâu hơn so với đồng nghiệp ở các vai trò khác để tìm được việc làm mới. Anthropic đã trả 3,4 tỷ USD để tiếp nhận đơn hàng hai năm tuổi của một nhà cung cấp cho 1,7GW máy phát điện chạy khí, thương vụ mua thiết bị điện lớn nhất được biết đến của một phòng thí nghiệm AI. Lượng tồn kho bộ nhớ của Apple tăng 2,5 lần so với cùng kỳ năm ngoái, giúp hãng này tránh được mức tăng chi phí bộ nhớ.

  3. MIT Technology Review · AI12

    Chiến lược R&D do AI dẫn dắt của Lubrizol trong hóa chất chuyên dụng

    Lubrizol đang xây dựng nền tảng số kết nối quy trình kinh doanh, nền tảng dữ liệu hiện đại và hạ tầng đám mây để tăng tốc R&D cho hóa chất chuyên dụng. Phó chủ tịch IT Girish Rao cho biết mục tiêu là cung cấp cho các nhà khoa học công cụ tốt hơn, không thay thế phán đoán khoa học, với các "đội ngũ hợp nhất" gồm nhà khoa học, nhà khoa học dữ liệu và nhân viên IT bắt đầu từ các thử nghiệm nhỏ để xây dựng niềm tin. Truy cập đám mây cũng hỗ trợ công việc bền vững như mô hình hóa các vật liệu thay thế từ tinh bột và ngô.

  4. inclusionAI Repositories38

    ZoomGain: Khai thác khoảng cách nhận thức từ toàn cục đến thu phóng cho giám sát thị giác tinh vi

    ZoomGain xây dựng các câu hỏi về một hình ảnh đầy đủ từ những chi tiết thị giác chỉ trở nên rõ ràng khi thu phóng, sử dụng khoảng cách nhận thức từ toàn cục đến thu phóng này làm giám sát cho các mô hình ngôn ngữ-thị giác. Bản phát hành bao gồm bài báo arXiv, bộ đánh giá ZoomGainBench (1.000 câu hỏi trên 941 hình ảnh bao gồm nhận dạng thuộc tính, đếm và OCR), 9.000 bản ghi huấn luyện RL trên 7.713 hình ảnh nguồn, và các checkpoint ZoomGain-4B và ZoomGain-9B. Mô hình tốt nhất trong số 28 mô hình đạt 61,08 trên ZoomGainBench, trong khi ZoomGain-9B đạt hiệu suất vượt trội trên nhiều bộ đánh giá nhận thức tinh vi và tổng quát.

  5. Preferred Networks News26

    Hệ thống hướng dẫn viết AI Ronjiro của PFN giành Giải thưởng Đặc biệt AI (Hỗ trợ Học tập) tại Giải thưởng Lớn e-Learning Nhật Bản lần thứ 23

    Hệ thống hướng dẫn viết AI Ronjiro của Preferred Networks đã giành Giải thưởng Đặc biệt AI (Hỗ trợ Học tập) tại Giải thưởng Lớn e-Learning Nhật Bản lần thứ 23. Ronjiro sử dụng AI tạo sinh bao gồm mô hình nền tảng PLaMo do PFN phát triển trong nước để hỗ trợ học sinh trung học học viết luận và bài văn, cung cấp phản hồi về cấu trúc logic và các điểm cần cải thiện chỉ trong vòng một phút. Hệ thống đã được cung cấp từ tháng 3 năm 2026 thông qua YP Switch, một liên doanh với Tập đoàn Yarakis Switch, và hiện đang được giới thiệu tại một số lớp học School IE trên toàn quốc.

8 tháng 11Chủ Nhật
  1. SemiAnalysis60

    SemiAnalysis tham quan khu datacenter Galaxy 800MW của Envision tại Nội Mông

    SemiAnalysis đã tham quan khu Galaxy của Envision tại Ulanqab, Nội Mông, dự kiến đạt công suất IT lên tới 800MW, với giai đoạn đầu 120MW được bàn giao trong vòng một năm với chi phí khoảng một phần năm so với Mỹ. Khu này đang vận hành thử nghiệm thực tế một pilot DC 800V công suất 5MW sử dụng máy biến áp thể rắn chuyển trực tiếp AC 10kV sang DC 800V cho các rack, và loại bỏ chiller trung tâm bằng cách dùng chung một vòng nước giữa các server làm mát bằng chất lỏng và bằng không khí. Envision cung cấp hơn 60% điện năng cho hai giai đoạn đầu từ các trang trại gió 420MW của chính mình cùng hệ thống lưu trữ pin 4 giờ, và toàn bộ khu dự kiến hoàn thành vào cuối năm 2027.

  2. Artificial Analysis Articles38

    Artificial Analysis Decision Index v2 ra mắt với Decision Score mới và các bài kiểm tra riêng tư

    Artificial Analysis đã phát hành Decision Index v2, với 45% của Index hiện được xây dựng trên các bộ dữ liệu riêng tư, tăng từ 25% ở v1. Drex Max v1.1 của Nace AI dẫn đầu sát sao các mô hình ra quyết định với 73 điểm, trong khoảng 1 điểm so với GLiDE v1.2 và Mammoth 27B. Decision Score mới thưởng cho cả tính chính xác và độ tin cậy được hiệu chỉnh, trong khi AA-Paperclip và AA-Symmetry bổ sung các bài kiểm tra tài liệu riêng tư và tính nhất quán.

6 tháng 11Thứ Sáu
  1. a16z News22

    Apple đứng ngoài cuộc đua chi tiêu vốn AI trong khi các hyperscaler chi nhiều gấp 6-9 lần

    Apple đã trở thành công ty Mag7 duy nhất vượt một chỉ số chính từ đầu năm đến nay, khi chi tiêu vốn của hãng vẫn ở dưới mức trước làn sóng AI trong khi bốn hyperscaler chính tăng chi tiêu khoảng 6-9 lần kể từ năm 2023. Roblox cho biết hơn 80% trong top 100 game có mức tương tác cao nhất của họ đã sử dụng công cụ AI trong tháng qua, với số lượt tải tài nguyên hằng ngày tăng gấp ba lần so với tháng trước.

  2. Hugging Face Blog58

    Ai2 phát hành ToyBlocks, một thế giới mô phỏng mở về thao tác khối cho robot học

    Ai2 đã phát hành ToyBlocks, một khung mô phỏng mở được xây dựng xoay quanh một cánh tay robot và các khối trên mặt bàn, là sản phẩm đầu tiên trong FoundationWorlds của họ dành cho việc học và đánh giá robot có kiểm soát. Khung này tự động tạo kỹ năng và bản trình diễn thông qua RL và lập kế hoạch chuyển động trong Isaac Lab, đạt tốc độ lên tới 24 lần thời gian thực trên một GPU, và đi kèm 85.336 bản trình diễn tầm xa bao phủ gần 1.600 giờ và 144 triệu khung hình. Trong các thí nghiệm của mình, tỷ lệ thành công của kỹ năng nguyên tử ManiFlow là 80,0% trong mô phỏng và 81,1% trên Franka FR3 thực tế, trong khi hệ thống Molmo 2 kết hợp ManiFlow thành công trong 55,5% tập mô phỏng và 50,0% tập thực tế.

  3. MIT Technology Review · AI38

    Tôi đã xem robot hình người của Tau Robotics dọn dẹp căn hộ của mình

    MIT Technology Review đã thử nghiệm dịch vụ dọn dẹp bằng robot hình người của Tau Robotics tại San Francisco, nơi robot được con người điều khiển từ xa thay vì hoàn toàn tự động. Các robot thu thập dữ liệu huấn luyện cho các mô hình tự động trong tương lai, với giá 60 đô la cho mỗi lần dọn dẹp hàng tuần với hai robot hoặc 100 đô la cho một lần đến. Robot đã dọn dẹp nhà bếp và nhà vệ sinh nhưng gặp khó khăn với cầu thang và liên tục bị kẹt trong lần đến đầu tiên.

  4. vLLM Blog77

    REINFORCE Zero: Căn chỉnh kernel cho phép Async RL ổn định ở Policy Lag 64, mở rộng sang DeepSeek-V4.1 và Kimi K3.1

    Bài báo REINFORCE Zero của NVIDIA Research và Inferact cho thấy việc căn chỉnh kernel của rollout và trainer cho phép lấy mẫu quan trọng ở mức token không cắt (unclipped token-level importance sampling) hiệu chỉnh độ trễ trọng số còn lại, huấn luyện ổn định qua 20.000 lần cập nhật ở policy lag 64 và đạt thông lượng bước huấn luyện gấp 2,40 lần so với huấn luyện đồng bộ với kernel đã căn chỉnh. Với kernel tiêu chuẩn, KL trung vị từ rollout đến learner tăng 83,33 lần trong suốt quá trình chạy và pass@1 trực tuyến trên AIME24 giảm từ 34,27% xuống 13,96%, trong khi một sequence gate giúp ổn định huấn luyện nhưng loại bỏ 24,48% chuỗi tính đến 1.000 lần cập nhật cuối. Thiết lập zero-mismatch hiện bao phủ DeepSeek-V4.1-Flash, Kimi K3.1 vào ngày phát hành, cùng DeepSeek-V4-Flash và Kimi K3.1 trên AMD MI355X, với mã nguồn tại Inferact/zero-mismatch-rl và NVIDIA-NeMo/labs-molt.

    Vì sao đáng chú ý: NVIDIA Research và Inferact tách khoảng cách giữa rollout và learner trong async RL thành độ trễ trọng số và sự không khớp kernel, cho thấy việc căn chỉnh kernel cho phép lấy mẫu quan trọng không cắt duy trì huấn luyện ổn định ở policy lag 64.

  5. vLLM Blog55

    VeRL-Omni v0.3.0 ra mắt với huấn luyện bất đồng bộ và hậu huấn luyện đa phương thức mở rộng

    VeRL-Omni v0.3.0 đã được phát hành với các luồng thực thi RL bất đồng bộ và tách rời, V1 trainer là mặc định, và mở rộng phạm vi hậu huấn luyện trên hiểu biết hình ảnh, video, âm thanh và đa phương thức. Bản phát hành bổ sung huấn luyện văn bản và âm thanh Qwen3-Omni hoàn toàn bất đồng bộ, huấn luyện Omni và diffusion bất đồng bộ tách rời với bộ đệm phát lại, và các công thức mới bao gồm MiniMax H3 với DiffusionNFT và MiniCPM-o 4.5 GSPO. Trong một thí nghiệm MiniCPM-o 4.5 AVQA trên 4×H800 80 GB, separate-async 3+1 chậm hơn khoảng 9% mỗi prompt so với colocated 4+0 ở độ dài phản hồi tự nhiên, gần như ngang bằng ở 512 token, và nhanh hơn khoảng 6.7% ở 1024 token.

  6. Anthropic Research60

    Anthropic giải thích các thành phần bộ nhớ của tác nhân Claude

    Anthropic đã phác thảo cách họ thiết kế bộ nhớ cho các tác nhân Claude, định nghĩa bộ nhớ tác nhân là kiến thức được lưu giữ qua các phiên và tách biệt nó khỏi thay đổi trọng số, học trong ngữ cảnh và nén. 5 đã khớp nó với bộ nhớ. 7 đã ghi 413 tệp trên 225 thư mục và giành được một huy hiệu.

    Vì sao đáng chú ý: Anthropic trình bày chi tiết cách bộ nhớ tác nhân của Claude hoạt động, so sánh việc ghi chú của các mô hình trên CL-Bench và Pokémon Red và cho thấy cách mơ ngoại tuyến sửa chữa và sắp xếp các ghi chú đã lưu.

5 tháng 11Thứ Năm
  1. The Pragmatic Engineer22

    Mở rộng quy mô Slack và GitHub: Maude Lemaire về hiệu năng backend và phân mảnh cơ sở dữ liệu

    Maude Lemaire, kỹ sư chính và là tác giả của "Refactoring at Scale", chia sẻ góc nhìn nội bộ về việc mở rộng quy mô Slack và GitHub trên podcast The Pragmatic Engineer. Cô đã dành gần tám năm dẫn dắt nhóm hạ tầng hiệu năng backend của Slack, sau đó gia nhập GitHub vào năm 2024 để giải quyết bài toán mở rộng cơ sở dữ liệu, và gần đây nhất làm việc về hiệu năng tại Cursor, bao gồm thời gian đến token đầu tiên. Cô giải thích giới hạn 23 emoji tùy chỉnh của Slack nhằm tránh hiệu ứng thundering herd, việc kiểm thử tải 500.000 kết nối WebSocket theo cách ngây thơ sẽ tốn 150.000 đô la mỗi lần chạy, và lý do lớp trừu tượng Active Record cùng các truy vấn scatter của GitHub giới hạn nó ở 16 phân mảnh cơ sở dữ liệu.

  2. Amazon Science18

    Nhà khoa học Amazon Hamed Karimi giành Giải thưởng Test-of-Time ECML PKDD 2026

    Nhà khoa học ứng dụng cấp cao của Amazon Hamed Karimi cùng các đồng tác giả Julie Nutini và Mark Schmidt đã nhận Giải thưởng Test-of-Time ECML PKDD 2026 cho bài báo năm 2016 của họ về hội tụ tuyến tính của các phương pháp gradient và proximal-gradient dưới điều kiện Polyak–Łojasiewicz. Bài báo đã chỉ ra rằng bất đẳng thức năm 1963 này đảm bảo hội tụ tuyến tính ngay cả khi mô hình không có một nghiệm tối ưu duy nhất, thống nhất các kết quả tối ưu hóa rời rạc và mở rộng chúng sang các bề mặt không trơn và các thuật toán như gradient descent theo tọa độ, theo dấu và ngẫu nhiên. Bài báo đã được trích dẫn hơn 2.000 lần và xuất hiện trong các giáo trình sau đại học.

  3. inclusionAI Repositories38

    ASpec: Khung huấn luyện thông lượng cao cho các mô hình nháp giải mã suy đoán

    ASpec là một khung huấn luyện thông lượng cao cho các mô hình nháp giải mã suy đoán, được xây dựng từ cơ sở mã TorchSpec với cơ chế attention tối ưu, các kernel hợp nhất và tính toán head/loss chọn lọc. Trên một lần chạy Qwen3-8B 4K, huấn luyện chỉ Draft đạt 15.256,44 token đầu vào/giây trên một GPU, gấp 1,96× TorchSpec, trong khi cửa sổ ổn định trực tuyến 8 GPU đạt 77.721,37 token/giây, gấp 2,28× TorchSpec. Nó hỗ trợ DSpark, DFlash, EAGLE3/4 và các draft MTP gốc, với quickstart Qwen3-8B và Ling tiny.

  4. Apple Machine Learning Research38

    Hàm hỗ trợ học được của Apple tăng tốc truy xuất RAG

    Các nhà nghiên cứu của Apple đã trình bày "Amortizing Maximum Inner Product Search with Learned Support Functions" tại ICML 2026, huấn luyện các mạng nơ-ron nhỏ ngoại tuyến để định tuyến truy vấn tới các khóa khớp nhất một cách nhanh hơn. SupportNet học hàm hỗ trợ thông qua mạng nơ-ron lồi đầu vào (ICNN) để cải thiện định tuyến cụm, trong khi KeyNet trực tiếp xuất ra vectơ khóa khớp nhất, được giữ neo về mặt hình học nhờ hàm mất mát nhất quán từ định lý Euler. Cả hai đều được huấn luyện trên phân phối truy vấn thực tế, đánh đổi chi phí khấu hao ban đầu để lấy truy xuất nhanh hơn, chính xác hơn tại thời điểm suy luận.

  5. Google Research47

    Agile Deliberation của Google Research giúp con người định nghĩa các danh mục AI mang tính chủ quan

    Google Research giới thiệu Agile Deliberation, một framework biến việc tạo bộ phân loại AI mang tính chủ quan thành một cuộc trò chuyện lặp đi lặp lại, trong đó AI giúp người dùng làm sắc nét các định nghĩa của chính họ. Framework chia nhiệm vụ thành phạm vi khái niệm và lặp lại khái niệm, sử dụng các mô hình ngôn ngữ - thị giác để làm nổi bật các hình ảnh ranh giới và đưa phản hồi vào một vòng tối ưu hóa lời nhắc tự động. Trong 18 phiên người dùng trực tiếp kéo dài 1,5 giờ, phương pháp này giảm mệt mỏi và lo lắng cho người dùng, đồng thời tạo ra các mô hình nhất quán hơn, vượt trội so với các baseline tiêu chuẩn; mã nguồn được mở trên GitHub.

  6. Anthropic Research58

    Anthropic nghiên cứu cách các nhà nghiên cứu sử dụng Claude trong các lĩnh vực và tác vụ khoa học

    Anthropic đã phân tích 207.049 phiên nghiên cứu trên Claude và Claude Code từ ngày 2 tháng 8 đến ngày 30 tháng 9 năm 2026, bằng các bộ phân loại bảo vệ quyền riêng tư, và phát hiện các nhà khoa học sử dụng Claude nhiều nhất cho phân tích dữ liệu và viết lách, ít nhất cho thu thập dữ liệu và hình thành ý tưởng. Phân tích dữ liệu chiếm 33,7% số phiên Claude và 48,1% số phiên Claude Code, so với 27,6% thời gian của nhà nghiên cứu, trong khi hình thành ý tưởng chiếm 4,2% và 2,1% số phiên so với 7,1% thời gian của nhà nghiên cứu. Báo cáo ước tính rằng việc áp dụng rộng rãi các năng lực hiện tại có thể gần như nhân đôi sản lượng nghiên cứu ở một số lĩnh vực, và tự động hóa hoàn toàn công việc phi vật lý có thể nâng các lĩnh vực như khoa học máy tính và thống kê lên tới 15 lần.

  7. Goodfire Research58

    Goodfire Research đề xuất định hình cơ chế để điều hướng mô hình thông qua các biểu diễn nội tại

    Goodfire Research đề xuất định hình cơ chế, một khung làm việc thêm các hình phạt lên các hướng khái niệm nội tại của mô hình trong quá trình huấn luyện để nó học cách dựa vào hoặc biểu đạt các khái niệm cụ thể thay vì chỉ tối đa hóa phần thưởng nhiệm vụ. Trong các thí nghiệm X-quang ngực, một tác nhân LLM đã sử dụng các đặc trưng autoencoder thưa để tìm các hướng tắt giống ống, và việc định hình sự phụ thuộc đã vượt qua cả huấn luyện tiêu chuẩn và một đường cơ sở dữ liệu cân bằng.

4 tháng 11Thứ Tư
  1. Ai2 · Allen Institute for AI38

    Ai2 và Google hợp tác phát triển mô hình khí hậu NeuralGCM+

    Ai2 đã khởi động một sáng kiến mô hình hóa khí hậu với nguồn tài trợ ba năm từ Google.org và hỗ trợ kỹ thuật từ Google Research nhằm phát triển NeuralGCM+, một mô hình mã nguồn mở cho các dự báo khí hậu nhanh hơn và đáng tin cậy hơn. Dự án mở rộng NeuralGCM của Google Research, vốn kết hợp các phương trình vật lý cho động lực quy mô lớn với AI cho các quá trình quy mô nhỏ hơn như hình thành mây và lượng mưa, để mô phỏng đồng thời khí quyển và đại dương. Ai2 hướng tới việc giảm sai số nhiệt độ và lượng mưa khu vực trong 50 năm qua và phát hành các mô hình cùng khung làm việc với quy trình được ghi chép cho các nhà nghiên cứu bên ngoài.

  2. SemiAnalysis65

    SemiAnalysis: SpaceX sẽ trở thành đám mây AI lớn nhất thế giới, với mục tiêu ~13GW vào năm 2027

    SemiAnalysis báo cáo rằng SpaceX hiện đang xây dựng 3,6GW công suất trung tâm dữ liệu tại nhiều địa điểm và đã nâng ước tính cho năm 2027 lên khoảng 13GW, tăng so với con số 10GW đưa ra trong cuộc gọi thu nhập đầu tiên. Công ty cho biết đã xác định được hơn 9GW công suất khả thi và lập luận rằng SpaceX có thể là đơn vị xây dựng trung tâm dữ liệu nhanh nhất thế giới, dẫn chứng thời gian xây dựng Colossus 2 là 91 ngày cho 210MW và một địa điểm mới tại Mississippi với mục tiêu khoảng 4 tháng. Báo cáo cũng chỉ ra khả năng có một trung tâm dữ liệu tại địa điểm nhà máy chip TeraFab ở Texas và việc triển khai BESS tại Colossus 2 gần đạt 6GWh.

  3. Meta Engineering Blog34

    Meta F3 Lightning tăng tốc phát hành tính năng ML cho quảng cáo ~3,6 lần

    Meta đã giới thiệu F3 Lightning, một lớp hạ tầng nằm trên Facebook Feature Framework (F3) của họ, giúp tách việc phát hành tính năng khỏi việc thực thi chung, nhờ đó mỗi tính năng trong số hơn 20.000 tính năng xếp hạng quảng cáo được biên dịch, xác thực, triển khai và hoàn tác một cách độc lập. Các tính năng trích xuất tương đương giờ đây đến môi trường production nhanh hơn ~3,6 lần so với F3 trước đây mà không làm tăng chi phí tính toán hạ tầng.

  4. Anthropic Research66

    Phòng thí nghiệm sinh học của Anthropic báo cáo cấu trúc hạt vault prokaryote đầu tiên, được giải bằng Claude

    Phòng nghiên cứu sinh học của Anthropic báo cáo cấu trúc 3D đầu tiên của một hạt vault tìm thấy trong tế bào prokaryote, một protein phage tên L05 được tạo từ 96 bản sao với khối lượng khoảng 9,5 megadalton. Dưới sự chỉ đạo của nhóm, Claude đã tìm kiếm một cơ sở dữ liệu khoảng 15 tỷ protein dự đoán, thiết kế các cấu trúc DNA, tối ưu hóa một phương pháp phân lập sắc ký loại trừ kích thước giúp rút ngắn quá trình tinh chế từ ba ngày xuống còn khoảng 90 phút, và chạy xử lý cryo-EM bằng RELION để tạo ra mô hình đầy đủ đầu tiên trong 34 giờ. Bản preprint đã được gửi lên bioRxiv, và nhóm cho biết chức năng sinh học của các vault vẫn chưa được biết.

    Vì sao đáng chú ý: Phòng thí nghiệm sinh học của Anthropic báo cáo cấu trúc 3D đầu tiên của một hạt vault từ prokaryote, với Claude đảm nhận việc tìm kiếm cơ sở dữ liệu, thiết kế cấu trúc, tinh chế và xử lý cryo-EM.

3 tháng 11Thứ Ba
  1. Ai2 · Allen Institute for AI55

    Ai2 phát hành StateBench để kiểm tra cách các mô hình ngôn ngữ theo dõi thay đổi trạng thái trong tài liệu dài

    Ai2 giới thiệu StateBench, một bộ đánh giá với bốn mức độ khó cho việc theo dõi trạng thái trong ngữ cảnh dài, từ gán bất biến đến cập nhật tự tham chiếu và tham chiếu chéo. Trong các bài kiểm tra, Gemini 3.8 Flash, Claude Opus 5.5, và GPT-6 Sol và Luna xử lý được các mức dễ hơn nhưng giảm xuống còn 13% hoặc thấp hơn trên các bài toán hữu hạn tổng quát dài nhất, trong khi Gated DeltaNet 275M tham số và các mô hình lai được huấn luyện từ đầu tổng quát hóa gần như hoàn hảo ở ba mức đầu tiên và các transformer không bao giờ học được mức khó nhất.