Tới nội dung

Lĩnh vực

Kỹ thuật triển khai Mới nhất

Chạy mô hình nhanh hơn và rẻ hơn: tăng tốc suy luận, bộ nhớ và chi phí, phục vụ mô hình và lựa chọn hạ tầng.

81 tin chọn51 trong 30 ngày quaĐã thu thập 801

Cập nhật 18 tháng 11 11:07

Kỹ thuật triển khai · Tuyển chọn · trang 5

21 tháng 7, 2023Thứ SáuMục 81–81 trong 81
  1. Cursor Changelog62

    Cursor phân tích chi phí và độ trễ suy luận của Llama-2-70B so với GPT-3.5

    Cursor đã đo suy luận Llama-2-70B trên 2 GPU A100 80 GB và phát hiện nó rẻ hơn GPT-3.5 hơn 3 lần đối với token prompt nhưng đắt hơn nhiều đối với token được sinh ra ở kích thước batch nhỏ. Chi phí xử lý prompt khoảng $0,00042 mỗi 1K token so với $0,0015 của GPT-3.5, trong khi sinh đạt $0,066 mỗi 1K token ở batch size 1 và chỉ tiến gần mức giá GPT-3.5 ở batch lớn, khiến thời gian đến token đầu tiên tăng lên vài giây. Cursor khuyến nghị dùng mô hình mã nguồn mở cho các tác vụ nặng về prompt như phân loại và xếp hạng lại, và dùng API đóng cho các khối lượng công việc nặng về sinh.

    Vì sao đáng chú ý: Dữ liệu chi phí và độ trễ được Cursor đo cho thấy khi nào tự vận hành Llama-2-70B tốt hơn GPT-3.5 và khi nào không, mang lại một khung có thể tái sử dụng cho các quyết định phục vụ mô hình mã nguồn mở.