Tới nội dung
Chỉ Nghiên cứu#Mã nguồn mở / repo
  1. vLLM Blog77

    REINFORCE Zero: Căn chỉnh kernel cho phép Async RL ổn định ở Policy Lag 64, mở rộng sang DeepSeek-V4.1 và Kimi K3.1

    Bài báo REINFORCE Zero của NVIDIA Research và Inferact cho thấy việc căn chỉnh kernel của rollout và trainer cho phép lấy mẫu quan trọng ở mức token không cắt (unclipped token-level importance sampling) hiệu chỉnh độ trễ trọng số còn lại, huấn luyện ổn định qua 20.000 lần cập nhật ở policy lag 64 và đạt thông lượng bước huấn luyện gấp 2,40 lần so với huấn luyện đồng bộ với kernel đã căn chỉnh. Với kernel tiêu chuẩn, KL trung vị từ rollout đến learner tăng 83,33 lần trong suốt quá trình chạy và pass@1 trực tuyến trên AIME24 giảm từ 34,27% xuống 13,96%, trong khi một sequence gate giúp ổn định huấn luyện nhưng loại bỏ 24,48% chuỗi tính đến 1.000 lần cập nhật cuối. Thiết lập zero-mismatch hiện bao phủ DeepSeek-V4.1-Flash, Kimi K3.1 vào ngày phát hành, cùng DeepSeek-V4-Flash và Kimi K3.1 trên AMD MI355X, với mã nguồn tại Inferact/zero-mismatch-rl và NVIDIA-NeMo/labs-molt.

    Vì sao đáng chú ý: NVIDIA Research và Inferact tách khoảng cách giữa rollout và learner trong async RL thành độ trễ trọng số và sự không khớp kernel, cho thấy việc căn chỉnh kernel cho phép lấy mẫu quan trọng không cắt duy trì huấn luyện ổn định ở policy lag 64.

  1. Goodfire Research62

    Bài luận nghiên cứu của Goodfire lập luận rằng mạng nơ-ron vốn đã trong sáng và superposition đã bị hiểu sai

    Một nhà nghiên cứu của Goodfire lập luận rằng bằng chứng kinh điển về tính đa nghĩa và superposition trong mạng nơ-ron đã bị hiểu sai, và thứ trông như sự đóng gói tùy tiện thực chất phần lớn là một mô-típ mà ông gọi là tổng quát hóa đệ quy. Huấn luyện lại InceptionV1 với các cải tiến kiến trúc thông thường và không thay đổi kích thước mô hình hay dữ liệu huấn luyện đã khiến 99-100% nơ-ron ở lớp cuối của nó trở nên dễ diễn giải, và các đợt kiểm toán sơ bộ Qwen3-32B ước tính khoảng 90% các cực nơ-ron có một nhiệm vụ chính. Bài luận kết luận mạng nơ-ron sử dụng một nguyên lý học thay vì hai, nên khả năng diễn giải có thể tiến hành bằng cách nghiên cứu trực tiếp nơ-ron và mạch thay vì trước tiên huấn luyện các mô hình phân rã như sparse autoencoder.

    Vì sao đáng chú ý: Một cách diễn giải lại trực tiếp bằng chứng kinh điển về tính đa nghĩa của lĩnh vực, lập luận rằng mạng nơ-ron tổng quát hóa một cách đệ quy thay vì đóng gói các khái niệm không liên quan, điều này sẽ khiến việc nghiên cứu cơ chế trực tiếp trở nên khả thi.

  1. Amazon Science75

    Các nhà nghiên cứu của Amazon Web Services đề xuất phương pháp priming để chuyển đổi Transformer đã huấn luyện trước thành mô hình không gian trạng thái lai mà không cần huấn luyện lại toàn bộ

    Các nhà nghiên cứu của Amazon Web Services giới thiệu priming, một phương pháp tái sử dụng trọng số Transformer đã huấn luyện trước để cắt giảm chi phí huấn luyện trước của kiến trúc không gian trạng thái lai xuống hơn 99%, chỉ sử dụng dưới 0,5% ngân sách token huấn luyện trước của mô hình nguồn. Trong các so sánh có kiểm soát, Gated KalmaNet vượt trội hơn Gated DeltaNet và Mamba-2, và một mô hình lai dựa trên GKA 32B đạt kết quả tương đương Transformer nguồn trên các bài đánh giá suy luận trong khi giải mã nhanh gấp đôi ở ngữ cảnh 128.000 token. Nhóm đã phát hành các mô hình lai đã priming 8B và 32B, mã huấn luyện, Triton kernel và plugin phục vụ vLLM theo Giấy phép Apache 2.0.

    Vì sao đáng chú ý: Các nhà nghiên cứu của Amazon Web Services cho thấy việc tái sử dụng trọng số Transformer đã huấn luyện trước có thể cắt giảm chi phí huấn luyện trước kiến trúc lai xuống hơn 99%, giúp việc so sánh có kiểm soát các lớp không gian trạng thái trở nên khả thi.

Bạn đã xem hết