vLLM Blog· vLLM Team, Red Hat PyTorch Team, and Meta PyTorch Team·· 8 วันที่แล้วคะแนน AI58
vLLM ย้ายการ build CUDA ไปใช้ LibTorch Stable ABI
Migrating vLLM to the LibTorch Stable ABI
สรุปโดย AI
vLLM ได้ย้ายการ build CUDA ไปใช้ LibTorch Stable ABI และตั้งแต่ v0.33.0 เป็นต้นมาได้เผยแพร่ LibTorch ABI Stable CUDA wheels ทำให้สามารถ import PyTorch wheel ใหม่ได้โดยไม่ต้อง rebuild vLLM ทีมงานได้ย้ายซอร์สในทรีและ dependencies ที่ขึ้นกับ LibTorch เจ็ดตัว ซึ่งรวมถึง FlashMLA, DeepGEMM และ FlashAttention-2/3 ไปยัง stable APIs โดยใช้ torch-abi-audit ใน CI เพื่อยืนยันว่าไม่มี unstable symbols เหลืออยู่ โพสต์ระบุถึงข้อแลกเปลี่ยน เช่น ชุด stable API ที่จำกัดและ overhead ฝั่ง host เล็กน้อย และกล่าวว่าการ build สำหรับ CPU และ ROCm จะเป็นลำดับถัดไป
แหล่งข่าว:vLLM Blog · vllm.ai