Tới nội dung
Sự việc nóngĐang diễn ra

Zyphra mở rộng chuyển đổi attention ZHA lên các mô hình nghìn tỷ tham số

1 bài viết1 nguồn đưa tinCập nhật 12 giờ trước

Bắt đầu từ đây

Tóm tắt AI

Zyphra Research báo cáo đã mở rộng phương pháp chuyển đổi Zyphra Hierarchical Attention (ZHA) sang các mô hình trọng số mở quy mô tiên phong, bao gồm Qwen3.8-2.4T-A95B, Nemotron-3.5-Super, GPT-OSS-120B và MiMo-V2.6-Pro. Việc chuyển đổi thay thế bằng attention dưới bậc hai ZHA trong khi giữ nguyên phần xương sống đã huấn luyện trước, và Zyphra cho biết hầu hết các benchmark vẫn gần với baseline dense. Với mô hình lớn nhất, Qwen3.8-2.4T-A95B, Zyphra cho biết về cơ bản đã giữ lại toàn bộ hiệu năng, với RULER giảm dưới hai điểm ngay cả ở ngữ cảnh 1M. Công ty cũng báo cáo rằng các tập attention top-p của mô hình tăng theo quy luật lũy thừa dưới tuyến tính, mà công ty trình bày như bằng chứng cho thấy phương pháp này mở rộng được lên các mô hình nghìn tỷ tham số.

Tạo từ các bài viết · cập nhật 4 giờ trước

Dòng thời gian bài viết

Theo các bài viết để thấy sự việc từ nhiều phía.

17 tháng 11
  1. Zyphra Research
    Zyphra mở rộng quy mô chuyển đổi sang cơ chế chú ý dưới bậc hai ZHA lên các mô hình nghìn tỷ tham số

    6-Pro, sang Zyphra Hierarchical Attention (ZHA) trong khi vẫn giữ nguyên phần xương sống đã huấn luyện trước, và hầu hết các bài đánh giá vẫn giữ mức gần với các đường cơ sở dày đặc. 4T-A95B về cơ bản giữ nguyên toàn bộ hiệu năng, với RULER giảm dưới hai điểm ngay cả ở ngữ cảnh 1M, và các tập chú ý top-p của nó tăng theo quy luật lũy thừa dưới tuyến tính.

Độ nóng của sự việc này

Hiện tại, trong khoảng so sánh được
7
Đỉnh, trong khoảng so sánh được
818 tháng 11 05:00
Thay đổi trong 24 giờ
–

Xu hướng so sánh cùng một nhóm người tham gia trong những giờ được quan sát liên tục, nên khoảng của nó có thể hẹp hơn số độ nóng hiện tại. Rê chuột hoặc chạm vào biểu đồ để xem độ nóng theo giờ; các phím mũi tên di chuyển qua biểu đồ.