Tới nội dung
Sự việc nóngĐang theo dõi

Dharma-AI giới thiệu mô hình dự đoán thời lượng công việc tinh chỉnh

1 bài viết1 nguồn đưa tinCập nhật 1 ngày trước

Bắt đầu từ đây

Tóm tắt AI

Dharma-AI đã công bố một bài blog giới thiệu trước về bài báo sắp tới mô tả một mô hình hồi quy CatBoost dự đoán thời gian tinh chỉnh từ đầu đến cuối cho các mô hình ngôn ngữ sinh tạo. Được huấn luyện trên 272 lần chạy tinh chỉnh có giám sát (SFT) trong môi trường sản xuất trên GPU NVIDIA H200 và chỉ sử dụng các đặc trưng cấu hình trước khi điều phối, mô hình báo cáo R² = 0,98 và sai số tuyệt đối trung bình 1,71 giờ, so với R² = 0,31 và 12,41 giờ của ước tính dựa trên FLOP tiêu chuẩn. Các tác giả cho biết mô hình nắm bắt được nhịp độ đánh giá, I/O checkpoint và tải trên mỗi GPU mà phép toán dạng đóng bỏ sót. Kết quả đi kèm những giới hạn được nêu rõ: nghiên cứu chỉ bao gồm SFT, loại trừ RLHF, DPO và RLVR, và mọi lần chạy đều dùng H200, nên các loại GPU khác chưa được kiểm thử. Sai số tăng lên đối với các công việc dài hơn 60 giờ. Bài báo đầy đủ sẽ xuất hiện trên arXiv.

Tạo từ các bài viết · cập nhật 1 ngày trước

Dòng thời gian bài viết

Theo các bài viết để thấy sự việc từ nhiều phía.

19 tháng 11
  1. Hugging Face Blog
    Vì sao công việc fine-tuning của bạn mất nhiều thời gian hơn so với con số FLOPs dự báo

    Một mô hình hồi quy CatBoost được huấn luyện trên 272 lần chạy SFT thực tế trên GPU NVIDIA H200 dự đoán thời gian fine-tuning đầu-cuối với R² = 0.98 và MAE 1.71 h, so với R² = 0.31 và MAE 12.41 h của ước lượng dựa trên FLOPs tiêu chuẩn. Chỉ dùng các đặc trưng cấu hình trước khi điều phối, mô hình nắm bắt được nhịp đánh giá, I/O checkpoint và tải trên mỗi GPU mà các công thức toán học dạng đóng bỏ sót.

Độ nóng của sự việc này

Hiện tại, trong khoảng so sánh được
5
Đỉnh, trong khoảng so sánh được
1019 tháng 11 04:00
Thay đổi trong 24 giờ
–

Xu hướng so sánh cùng một nhóm người tham gia trong những giờ được quan sát liên tục, nên khoảng của nó có thể hẹp hơn số độ nóng hiện tại. Rê chuột hoặc chạm vào biểu đồ để xem độ nóng theo giờ; các phím mũi tên di chuyển qua biểu đồ.