vLLM 將其 CUDA 建置遷移至 LibTorch Stable ABI

vLLM 已將其 CUDA 建置遷移至 LibTorch Stable ABI，自 v0.33.0 起發布 LibTorch ABI Stable CUDA wheels，因此新的 PyTorch wheel 無需重新建置 vLLM 即可匯入。團隊將 in-tree 原始碼與七個依賴 LibTorch 的相依套件（包括 FlashMLA、DeepGEMM 與 FlashAttention-2/3）遷移至穩定 API，並在 CI 中使用 torch-abi-audit 確認不再殘留不穩定符號。文章指出取捨，例如穩定 API 子集有限與少量主機端額外開銷，並表示 CPU 與 ROCm 建置將是下一步。