Modal 新增原生動態批次處理，Whisper 吞吐量提升 2.8 倍

Modal 新增原生動態批次處理支援，讓推論函式透過單一 @modal.batched() 裝飾器搭配 max_batch_size 與 wait_ms 參數來分組請求。在 A10G 上執行 OpenAI 的 Whisper large v3 時，max_batch_size 設為 64 將吞吐量從每容器每秒約 1.2 次請求提升至約 3.3 次，並降低推論成本 65%。