Tới nội dung
Chỉ Chính chủ#Hugging Face
  1. Hugging Face Blog69

    IBM phát hành các mô hình xem trước LLMON được xây dựng trên Granite 4.1 3B và 8B

    IBM đã phát hành hai mô hình xem trước thử nghiệm, granite-4.1-3b-LLMON-preview và granite-4.1-8b-LLMON-preview, được phát triển từ các checkpoint cơ sở Granite 4.1 và được huấn luyện để tiếp nhận và tạo ra LLMON, một ngôn ngữ đánh dấu bản địa của LLM đánh dấu chỉ dẫn, dữ liệu và yêu cầu bằng các dấu phân cách token đặc biệt dành riêng. Trên bộ đánh giá OPI, các mô hình tránh được nhiều hơn 47% các cuộc tấn công chèn prompt gián tiếp so với mô hình tiên tiến nhất được thử nghiệm và nhiều hơn 95% so với mô hình mã nguồn mở tốt nhất, đồng thời hoạt động ngang bằng với Granite 4.1 Instruct trên các bộ đánh giá tiêu chuẩn. Bản phát hành bao gồm một bộ công cụ GitHub với các bộ chuyển đổi JSON sang LLMON không mất dữ liệu, và các tác giả lưu ý rằng bản xem trước dành cho mục đích khám phá, không phải để sử dụng trong môi trường sản xuất.

    Vì sao đáng chú ý: IBM đã huấn luyện một mô hình xem trước trên Granite 4.1 có thể đọc và ghi các thẻ LLMON, sử dụng việc tách biệt rõ ràng giữa chỉ dẫn và dữ liệu để giảm tỷ lệ thành công của các cuộc tấn công chèn prompt gián tiếp trên bộ đánh giá OPI xuống gần bằng không trong khi vẫn duy trì các khả năng chung.

  1. Amazon Science62

    Amazon phát hành mô hình nền tảng dạng bảng Mitra-v2 với tiền huấn luyện tổng hợp mở rộng

    Amazon giới thiệu Mitra-v2, mô hình nền tảng dạng bảng thế hệ thứ hai cho phân loại và hồi quy, được phát hành kèm các mô hình đã tinh chỉnh cùng mã suy luận và tinh chỉnh theo giấy phép Apache-2.0 trên Hugging Face. Mô hình được tiền huấn luyện trên các bảng tổng hợp có số hàng gấp 10 lần và số cột gấp khoảng ba lần so với Mitra-v1, sử dụng prior SCM lai mới và bộ tối ưu lai trong khi giữ nguyên kiến trúc Transformer. Trên TabArena, một benchmark công khai gồm 51 bộ dữ liệu thực tế, Mitra-v2 dẫn đầu nhóm mô hình đơn, vượt Mitra-v1 trên 32 trong số 33 bộ dữ liệu mà cả hai chạy gốc, và hoàn thành cả 51 bộ trong giới hạn một giờ; Mitra-v2 đã tinh chỉnh cũng đứng đầu trên ScoringBench.

    Vì sao đáng chú ý: Mitra-v2 cho thấy việc mở rộng dữ liệu tiền huấn luyện tổng hợp, thay vì làm sâu mạng, đưa một mô hình nền tảng dạng bảng lên đỉnh nhóm mô hình đơn của TabArena.

  2. Hugging Face Blog60

    Hugging Face giải thích về mô hình quyết định và sự hỗ trợ của chúng trong Transformers và llama.cpp

    Hugging Face đã công bố một bài giải thích về mô hình quyết định, loại mô hình nhận một trạng thái cùng các câu hỏi có kiểu và trả về xác suất trên các câu trả lời được định nghĩa trước thay vì sinh văn bản. Bài viết trình bày chi tiết các primitive choice, score và noul, công thức độ tin cậy, và sự hỗ trợ mới thông qua DecisionPipeline và AutoModelForDecision của Transformers, một endpoint /v1/systemone dùng chung trong Transformers và llama.cpp, một thẻ Hub để khám phá, và tinh chỉnh với Trainer API. Bài viết lưu ý rằng cùng endpoint đó cũng hoạt động với các LLM tự hồi quy tương thích bằng cách tính điểm logit của câu trả lời trong một lượt lan truyền xuôi theo lô.

    Vì sao đáng chú ý: Hugging Face giải thích cách các mô hình quyết định biến phân loại thành một giao diện có kiểu, không sinh văn bản và chỉ ra cách phục vụ và tinh chỉnh chúng với Transformers và llama.cpp.

Bạn đã xem hết