Modal 用 Python 字典缓存将 SGLang 多模态推理提升超过 10%

Modal 在多模态工作负载上对 SGLang 的调度器进行了性能分析，并用一个简单的 Python 字典缓存替代了重复的 CUDA IPC 句柄记录工作，在 H100 上运行 Qwen2.5-VL-3B-Instruct 时，吞吐量提升了 16.2%，平均 TTFT 降低了 13.2%，TPOT 降低了 17.2%。该修复已合并到 SGLang v0.5.10 中。