Zyphra Research·· 12 giờ trướcĐiểm AI58
Zyphra mở rộng quy mô chuyển đổi sang cơ chế chú ý dưới bậc hai ZHA lên các mô hình nghìn tỷ tham số
Scaling Subquadratic Attention to Trillions of Parameters
Tóm tắt bằng AI
6-Pro, sang Zyphra Hierarchical Attention (ZHA) trong khi vẫn giữ nguyên phần xương sống đã huấn luyện trước, và hầu hết các bài đánh giá vẫn giữ mức gần với các đường cơ sở dày đặc. 4T-A95B về cơ bản giữ nguyên toàn bộ hiệu năng, với RULER giảm dưới hai điểm ngay cả ở ngữ cảnh 1M, và các tập chú ý top-p của nó tăng theo quy luật lũy thừa dưới tuyến tính.
Nguồn:Zyphra Research · zyphra.com