Modal 推出適用於低延遲 HTTP、WebSocket 與 gRPC 流量的無伺服器 Servers

Modal 推出 Servers，這是一組區域化、可自動擴縮的 HTTP 伺服器副本池，用於處理 HTTP、WebSocket 與 gRPC 流量，鎖定對延遲敏感的工作負載，例如互動式代理的 LLM 推論。Modal 表示，他們將控制平面的查詢與排隊移出請求路徑，把 p50 延遲從 39ms 降到 6ms，因此當沒有可用副本時，用戶端會收到 503，必須在應用程式中自行處理負載卸除。路由層執行於 AWS EKS，邊緣採用 Envoy，並由 Modal 自研的 Rust 代理 fprs 負責網域關聯與負載平衡；fprs 建構於 Cloudflare 的 pingora 之上，設定從 Spanner 讀取並快取於記憶體中。