Tới nội dung

Lĩnh vực

Suy luận Mới nhất

Dạy mô hình suy nghĩ trước khi trả lời: chain of thought, mô hình suy luận, cùng những đột phá và tranh cãi trong đánh giá toán học, logic.

42 tin chọn25 trong 30 ngày quaĐã thu thập 159

Cập nhật 14 tháng 11 09:04

Suy luận · Tuyển chọn · trang 3

5 tháng 8, 2024Thứ HaiMục 41–42 trong 42
  1. Modal Blog62

    Modal tái lập Large Language Monkeys: LLaMA 3.1 8B sánh ngang GPT-4o trên HumanEval nhờ tìm kiếm

    Charles Frye của Modal đã tái lập tuyên bố cốt lõi của bài báo Large Language Monkeys trên một bộ dữ liệu mới, cho thấy việc lấy mẫu lặp lại nâng LLaMA 3.1 8B từ 66,4% pass@1 lên 90,5% pass@100 và 95,1% pass@1000 trên HumanEval, so với 90,2% pass@1 được báo cáo của GPT-4o. Các lần chạy sử dụng vLLM trên GPU không máy chủ của Modal và Modal Sandboxes để thực thi kiểm thử song song, tốn kém dưới 50 USD, và cho thấy khả năng mở rộng mượt mà, có thể dự đoán được qua ba bậc độ lớn.

    Vì sao đáng chú ý: Một bản tái lập thực hành cho thấy cách lấy mẫu lặp lại với một mô hình mở nhỏ có thể tiến gần GPT-4o trên HumanEval, mang lại một công thức cụ thể, chi phí thấp để đánh đổi tính toán lấy độ chính xác.

21 tháng 7, 2023Thứ Sáu
  1. Cursor Changelog62

    Cursor phân tích chi phí và độ trễ suy luận của Llama-2-70B so với GPT-3.5

    Cursor đã đo suy luận Llama-2-70B trên 2 GPU A100 80 GB và phát hiện nó rẻ hơn GPT-3.5 hơn 3 lần đối với token prompt nhưng đắt hơn nhiều đối với token được sinh ra ở kích thước batch nhỏ. Chi phí xử lý prompt khoảng $0,00042 mỗi 1K token so với $0,0015 của GPT-3.5, trong khi sinh đạt $0,066 mỗi 1K token ở batch size 1 và chỉ tiến gần mức giá GPT-3.5 ở batch lớn, khiến thời gian đến token đầu tiên tăng lên vài giây. Cursor khuyến nghị dùng mô hình mã nguồn mở cho các tác vụ nặng về prompt như phân loại và xếp hạng lại, và dùng API đóng cho các khối lượng công việc nặng về sinh.

    Vì sao đáng chú ý: Dữ liệu chi phí và độ trễ được Cursor đo cho thấy khi nào tự vận hành Llama-2-70B tốt hơn GPT-3.5 và khi nào không, mang lại một khung có thể tái sử dụng cho các quyết định phục vụ mô hình mã nguồn mở.