Modal ทำซ้ำ Large Language Monkeys: LLaMA 3.1 8B เทียบเท่า GPT-4o บน HumanEval ด้วยการค้นหา
Charles Frye จาก Modal ได้ทำซ้ำข้ออ้างหลักของบทความ Large Language Monkeys บนชุดข้อมูลใหม่ แสดงให้เห็นว่าการสุ่มตัวอย่างซ้ำช่วยยกระดับ LLaMA 3.1 8B จาก 66.4% pass@1 เป็น 90.5% pass@100 และ 95.1% pass@1000 บน HumanEval เทียบกับ GPT-4o ที่รายงานไว้ 90.2% pass@1 การรันใช้ vLLM บน Modal serverless GPUs และ Modal Sandboxes สำหรับการรันทดสอบแบบขนาน มีค่าใช้จ่ายต่ำกว่า $50 มาก และแสดงการขยายขนาดที่ราบรื่นและคาดเดาได้ในช่วงสามลำดับขนาด
ทำไมเรื่องนี้สำคัญ: การทำซ้ำด้วยตนเองแสดงให้เห็นว่าการสุ่มตัวอย่างซ้ำด้วยโมเดลเปิดขนาดเล็กสามารถเข้าใกล้ GPT-4o บน HumanEval ได้ โดยเสนอสูตรที่ konkret และต้นทุนต่ำในการแลกเปลี่ยนพลังประมวลผลกับความแม่นยำ