跳到正文
Modal Blog·· 26 天前AI 评分38

Legora 如何在 Modal Sandboxes 上并行运行 2,000 个 agent 评估

How Legora runs 2,000 parallel agent evals on Modal Sandboxes

AI 导读

Legora 现在将每一项法律 agent 评估都放在独立的 Modal Sandbox 中运行,启动其完整应用并固定到特定 commit,使每次运行都反映确切的产品版本。一次典型实验包含 100 个用例、4 个 harness 变体、每个 5 次试验——即 2,000 次并行运行——并由 Modal Volumes 对文档、数据库和权限状态进行快照。Legora 还从 gVisor 迁移到 Modal VM Sandboxes,移除了其 Docker 网络和 FUSE 变通方案,并通过更智能的压缩和自定义工具搜索将 agent 成本降低了 30%。

来源:Modal Blog · modal.com