Modal 重現 Large Language Monkeys：LLaMA 3.1 8B 透過搜尋在 HumanEval 上與 GPT-4o 匹敵

Modal 的 Charles Frye 在新資料集上重現了 Large Language Monkeys 論文的核心主張，顯示重複取樣讓 LLaMA 3.1 8B 在 HumanEval 上從 66.4% pass@1 提升到 90.5% pass@100 與 95.1% pass@1000，對比 GPT-4o 報告的 90.2% pass@1。這些執行使用 Modal 無伺服器 GPU 上的 vLLM，並以 Modal Sandboxes 進行平行測試執行，成本遠低於 50 美元，且在三個數量級上展現平滑、可預測的擴展。