Modal 推出面向低延迟 HTTP、WebSocket 和 gRPC 流量的无服务器 Servers

Modal 推出了 Servers，这是一个区域化的 HTTP 服务器副本自动扩缩容池，面向 HTTP、WebSocket 和 gRPC 流量，针对交互式智能体的 LLM 推理等延迟敏感型工作负载。Modal 表示，通过将控制平面查找和排队移出请求路径，p50 延迟从 39ms 降至 6ms，因此当没有可用副本时客户端会收到 503，必须在应用层处理降载。路由层运行在 AWS EKS 上，边缘使用 Envoy，Modal 自研的 Rust 代理 fprs 基于 Cloudflare 的 pingora 构建，负责域名关联和负载均衡，配置从 Spanner 读取并缓存在内存中。