跳到正文
inclusionAI Repositories·· 8 天前AI 评分38

ASpec:面向投机解码草稿模型的高吞吐量训练框架

ASpec

AI 导读

ASpec 是一个面向投机解码草稿模型的高吞吐量训练框架,基于 TorchSpec 代码库构建,具备优化的注意力机制、融合内核以及选择性 head/loss 计算。在 Qwen3-8B 4K 运行中,仅草稿模型训练在单 GPU 上达到 15,256.44 输入 tokens/s,为 TorchSpec 的 1.96 倍;而 8-GPU 在线稳态窗口达到 77,721.37 tokens/s,为 TorchSpec 的 2.28 倍。它支持 DSpark、DFlash、EAGLE3/4 和原生 MTP 草稿模型,并提供 Qwen3-8B 和 Ling tiny 快速入门。

来源:inclusionAI Repositories · github.com