vLLM 将其 CUDA 构建迁移至 LibTorch Stable ABI

vLLM 已将其 CUDA 构建迁移至 LibTorch Stable ABI，自 v0.33.0 起发布 LibTorch ABI Stable CUDA wheel，因此新的 PyTorch wheel 无需重新构建 vLLM 即可导入。团队将树内源码以及七个依赖 LibTorch 的依赖项（包括 FlashMLA、DeepGEMM 和 FlashAttention-2/3）迁移至稳定 API，并在 CI 中使用 torch-abi-audit 确认不再残留不稳定符号。文章指出了权衡，例如稳定 API 子集有限以及少量主机侧开销，并表示 CPU 和 ROCm 构建是下一步。