vLLM chuyển bản dựng CUDA của mình sang LibTorch Stable ABI

vLLM đã chuyển bản dựng CUDA của mình sang LibTorch Stable ABI, và kể từ v0.33.0, nó phát hành LibTorch ABI Stable CUDA wheels, nhờ đó có thể import một PyTorch wheel mới mà không cần rebuild vLLM. Nhóm đã chuyển các nguồn trong cây và bảy phụ thuộc phụ thuộc LibTorch, bao gồm FlashMLA, DeepGEMM và FlashAttention-2/3, sang các API ổn định, sử dụng torch-abi-audit trong CI để xác nhận không còn ký hiệu không ổn định nào. Bài viết nêu các đánh đổi như tập con API ổn định bị giới hạn và chi phí nhỏ ở phía host, và cho biết các bản dựng CPU và ROCm sẽ là bước tiếp theo.