Modal Blog·· 26 天前AI 評分38
Legora 如何在 Modal Sandboxes 上執行 2,000 個平行代理評估
How Legora runs 2,000 parallel agent evals on Modal Sandboxes
AI 導讀
Legora 現在將每一項法律代理評估分別執行於獨立的 Modal Sandbox 中,啟動其完整應用程式並固定於特定 commit,使每次執行都反映確切的產品版本。典型實驗包含 100 個案例、4 種 harness 變體、每種各 5 次試驗——共 2,000 次平行執行——並以 Modal Volumes 快照文件、資料庫與權限狀態。Legora 也從 gVisor 遷移至 Modal VM Sandboxes,移除了其 Docker 網路與 FUSE 的變通方案,並透過更智慧的壓縮與自訂工具搜尋,將代理成本降低 30%。
來源:Modal Blog · modal.com