Modal Blog·· 2025-04-17AI 评分25
Modal 产品更新:100 万输入批处理作业、临时应用和 TensorRT-LLM 示例
Product updates: Running batch jobs with 1M inputs, ephemeral apps, and a new TensorRT-LLM example
AI 导读
Modal 现在允许每个 Function 最多排队 100 万个输入(此前为 2k),并提高了 .spawn() 速率限制,FunctionCall 结果保留 7 天。此次更新还增加了在容器内通过 app.run() 创建临时应用、CLI 和仪表板中应用的 Git 提交信息,以及一个新的 TensorRT-LLM 示例,以低于 400 毫秒的延迟提供 LLM 服务。
来源:Modal Blog · modal.com