Tới nội dung
Zyphra Research·· 12 giờ trướcĐiểm AI58

Zyphra mở rộng quy mô chuyển đổi sang cơ chế chú ý dưới bậc hai ZHA lên các mô hình nghìn tỷ tham số

Scaling Subquadratic Attention to Trillions of Parameters

Tóm tắt bằng AI

6-Pro, sang Zyphra Hierarchical Attention (ZHA) trong khi vẫn giữ nguyên phần xương sống đã huấn luyện trước, và hầu hết các bài đánh giá vẫn giữ mức gần với các đường cơ sở dày đặc. 4T-A95B về cơ bản giữ nguyên toàn bộ hiệu năng, với RULER giảm dưới hai điểm ngay cả ở ngữ cảnh 1M, và các tập chú ý top-p của nó tăng theo quy luật lũy thừa dưới tuyến tính.

Nguồn:Zyphra Research · zyphra.com