Reducto 如何在 Modal 上將企業文件處理的 P90 延遲降低 3 倍

Reducto 將其 30 多個文件處理模型的推論工作負載遷移至 Modal，使 P90 延遲降低 3 倍。GPU 記憶體快照將冷啟動時間減少 83%，從約 70 秒降至約 12 秒，而各客戶專屬的自動擴展資源池則隔離了流量尖峰。在一次負載測試中，Reducto 在不到一小時內將其擷取管線擴展至超過 1,000 個 GPU，以展示每分鐘 10 萬頁的處理能力。