ASpec: Khung huấn luyện thông lượng cao cho các mô hình nháp giải mã suy đoán

ASpec là một khung huấn luyện thông lượng cao cho các mô hình nháp giải mã suy đoán, được xây dựng từ cơ sở mã TorchSpec với cơ chế attention tối ưu, các kernel hợp nhất và tính toán head/loss chọn lọc. Trên một lần chạy Qwen3-8B 4K, huấn luyện chỉ Draft đạt 15.256,44 token đầu vào/giây trên một GPU, gấp 1,96× TorchSpec, trong khi cửa sổ ổn định trực tuyến 8 GPU đạt 77.721,37 token/giây, gấp 2,28× TorchSpec. Nó hỗ trợ DSpark, DFlash, EAGLE3/4 và các draft MTP gốc, với quickstart Qwen3-8B và Ling tiny.