Hugging Face giải thích về mô hình quyết định và sự hỗ trợ của chúng trong Transformers và llama.cpp
Decision Models in Hugging Face
Hugging Face đã công bố một bài giải thích về mô hình quyết định, loại mô hình nhận một trạng thái cùng các câu hỏi có kiểu và trả về xác suất trên các câu trả lời được định nghĩa trước thay vì sinh văn bản. Bài viết trình bày chi tiết các primitive choice, score và noul, công thức độ tin cậy, và sự hỗ trợ mới thông qua DecisionPipeline và AutoModelForDecision của Transformers, một endpoint /v1/systemone dùng chung trong Transformers và llama.cpp, một thẻ Hub để khám phá, và tinh chỉnh với Trainer API. Bài viết lưu ý rằng cùng endpoint đó cũng hoạt động với các LLM tự hồi quy tương thích bằng cách tính điểm logit của câu trả lời trong một lượt lan truyền xuôi theo lô.
Hugging Face giải thích cách các mô hình quyết định biến phân loại thành một giao diện có kiểu, không sinh văn bản và chỉ ra cách phục vụ và tinh chỉnh chúng với Transformers và llama.cpp.
Nguồn:Hugging Face Blog · huggingface.co