跳至正文
inclusionAI Repositories·· 8 天前AI 評分38

ASpec:用於推測解碼草稿模型的高吞吐量訓練框架

ASpec

AI 導讀

ASpec 是一個用於推測解碼草稿模型的高吞吐量訓練框架,基於 TorchSpec 程式碼庫建構,具備優化注意力、融合核心以及選擇性 head/loss 計算。在 Qwen3-8B 4K 執行中,僅草稿訓練在單一 GPU 上達到 15,256.44 輸入 token/秒,為 TorchSpec 的 1.96 倍,而 8-GPU 線上穩定視窗則達到 77,721.37 token/秒,為 TorchSpec 的 2.28 倍。它支援 DSpark、DFlash、EAGLE3/4 與原生 MTP 草稿,並提供 Qwen3-8B 與 Ling tiny 快速入門。

來源:inclusionAI Repositories · github.com