vLLM hỗ trợ ngay từ ngày đầu cho Inkling 2 Small của Thinking Machines
Bắt đầu từ đây
vLLM đã bổ sung hỗ trợ suy luận ngay từ ngày đầu cho Inkling 2 Small của Thinking Machines, một mô hình mixture-of-experts đa phương thức văn bản và hình ảnh với tổng 594B tham số và 17B tham số hoạt động, ngữ cảnh lên tới 1M token. vLLM cho biết mô hình có thể được phục vụ trên một node duy nhất. Tích hợp này bổ sung kernel fusion với PDL, sequence parallelism cho prefill mà vLLM cho biết giúp giảm 22% ở TP4 và 26% ở TP8 cho một bước prefill 8K token, cùng một Gluon relative attention decode kernel giúp giảm bước decode batch-1 ở ngữ cảnh 100K từ 15,1 ms xuống 4,8 ms. vLLM báo cáo lên tới 630 TPS/người dùng ở TP4 trên GB200 với độ dài chấp nhận 3,5, và cho biết LoRA cùng học tăng cường qua SkyRL cũng được hỗ trợ.
Tạo từ các bài viết · cập nhật 15 giờ trước
Dòng thời gian bài viết
Theo các bài viết để thấy sự việc từ nhiều phía.
- vLLM BlogTuyển chọnvLLM hỗ trợ day-0 cho Inkling 2 Small của Thinking Machines
vLLM hỗ trợ Inkling 2 Small của Thinking Machines ngay từ ngày đầu tiên, một MoE đa phương thức văn bản và thị giác với tổng 594B và 17B tham số hoạt động, ngữ cảnh lên đến 1M token. Tích hợp này bổ sung kernel fusion với PDL, sequence parallelism cho prefill giúp giảm bước prefill 8K token 22% ở TP4 và 26% ở TP8, cùng kernel decode attention tương đối Gluon giúp giảm bước decode batch-1 ở ngữ cảnh 100K từ 15,1 ms xuống 4,8 ms. vLLM báo cáo lên đến 630 TPS/người dùng ở TP4 trên GB200 với độ dài chấp nhận 3,5, đồng thời hỗ trợ LoRA và RL qua SkyRL.
Độ nóng của sự việc này
Chưa đủ quan sát liên tục để vẽ xu hướng.