Tới nội dung
Chỉ Mô hình#Dữ liệu / huấn luyện
  1. Hugging Face Blog69

    IBM phát hành các mô hình xem trước LLMON được xây dựng trên Granite 4.1 3B và 8B

    IBM đã phát hành hai mô hình xem trước thử nghiệm, granite-4.1-3b-LLMON-preview và granite-4.1-8b-LLMON-preview, được phát triển từ các checkpoint cơ sở Granite 4.1 và được huấn luyện để tiếp nhận và tạo ra LLMON, một ngôn ngữ đánh dấu bản địa của LLM đánh dấu chỉ dẫn, dữ liệu và yêu cầu bằng các dấu phân cách token đặc biệt dành riêng. Trên bộ đánh giá OPI, các mô hình tránh được nhiều hơn 47% các cuộc tấn công chèn prompt gián tiếp so với mô hình tiên tiến nhất được thử nghiệm và nhiều hơn 95% so với mô hình mã nguồn mở tốt nhất, đồng thời hoạt động ngang bằng với Granite 4.1 Instruct trên các bộ đánh giá tiêu chuẩn. Bản phát hành bao gồm một bộ công cụ GitHub với các bộ chuyển đổi JSON sang LLMON không mất dữ liệu, và các tác giả lưu ý rằng bản xem trước dành cho mục đích khám phá, không phải để sử dụng trong môi trường sản xuất.

    Vì sao đáng chú ý: IBM đã huấn luyện một mô hình xem trước trên Granite 4.1 có thể đọc và ghi các thẻ LLMON, sử dụng việc tách biệt rõ ràng giữa chỉ dẫn và dữ liệu để giảm tỷ lệ thành công của các cuộc tấn công chèn prompt gián tiếp trên bộ đánh giá OPI xuống gần bằng không trong khi vẫn duy trì các khả năng chung.

  1. Google DeepMind72

    DeepMind phát hành AlphaGenome 2, mô hình DNA dự đoán tác động của biến thể trong từng loại tế bào cụ thể

    Google DeepMind công bố AlphaGenome 2, mô hình chuỗi DNA thế hệ mới dự đoán cách các chuỗi DNA và biến thể của chúng ảnh hưởng đến các loại tế bào người cụ thể. Được huấn luyện trên hơn 107 triệu hồ sơ tế bào riêng lẻ thuộc 68 mô, mô hình có điều kiện này xác định được gần gấp đôi số biến thể làm thay đổi biểu hiện so với mô hình trước đó, và trên bộ dữ liệu tế bào miễn dịch TenK10K, nó thu hồi được 30% biến thể nhân quả so với 16% của AlphaGenome gốc được tinh chỉnh trên dữ liệu đơn bào. Mô hình có sẵn cho nghiên cứu phi thương mại qua AlphaGenome API và ở chế độ xem trước riêng tư cho nghiên cứu thương mại.

    Vì sao đáng chú ý: AlphaGenome 2 chuyển từ giá trị trung bình trên toàn mô sang điều kiện hóa theo từng tế bào, gần như tăng gấp đôi khả năng thu hồi biến thể nhân quả trên dữ liệu tế bào miễn dịch, điều này quan trọng để liên kết tín hiệu GWAS với các loại tế bào cụ thể.

  1. Amazon Science62

    Amazon phát hành mô hình nền tảng dạng bảng Mitra-v2 với tiền huấn luyện tổng hợp mở rộng

    Amazon giới thiệu Mitra-v2, mô hình nền tảng dạng bảng thế hệ thứ hai cho phân loại và hồi quy, được phát hành kèm các mô hình đã tinh chỉnh cùng mã suy luận và tinh chỉnh theo giấy phép Apache-2.0 trên Hugging Face. Mô hình được tiền huấn luyện trên các bảng tổng hợp có số hàng gấp 10 lần và số cột gấp khoảng ba lần so với Mitra-v1, sử dụng prior SCM lai mới và bộ tối ưu lai trong khi giữ nguyên kiến trúc Transformer. Trên TabArena, một benchmark công khai gồm 51 bộ dữ liệu thực tế, Mitra-v2 dẫn đầu nhóm mô hình đơn, vượt Mitra-v1 trên 32 trong số 33 bộ dữ liệu mà cả hai chạy gốc, và hoàn thành cả 51 bộ trong giới hạn một giờ; Mitra-v2 đã tinh chỉnh cũng đứng đầu trên ScoringBench.

    Vì sao đáng chú ý: Mitra-v2 cho thấy việc mở rộng dữ liệu tiền huấn luyện tổng hợp, thay vì làm sâu mạng, đưa một mô hình nền tảng dạng bảng lên đỉnh nhóm mô hình đơn của TabArena.

  1. Mistral AI71

    Mistral ra mắt mô hình nền tảng chuỗi thời gian Timestral, đứng đầu GIFT-Eval, TIME và fev-bench

    Mistral đã ra mắt Timestral, họ mô hình nền tảng chuỗi thời gian đầu tiên của mình, với bốn kích thước từ 5M đến 209M tham số. Mô hình lớn nhất xếp hạng nhất trên cả ba bộ đánh giá công khai chính là GIFT-Eval, TIME và fev-bench, trong số các mô hình zero-shot đã được huấn luyện trước từ một checkpoint duy nhất mà không cần ensemble, chỉ sử dụng hai phần ba số tham số so với mô hình tốt nhất trước đó. Timestral tạo ra dự báo đa biến theo xác suất với 21 phân vị, hỗ trợ các biến đồng biến chỉ trong quá khứ và biến đồng biến đã biết trong tương lai, chạy trên CPU mà không cần GPU, và có sẵn thông qua Mistral Forge để tinh chỉnh, cùng với kho lưu trữ GitHub và báo cáo kỹ thuật được công bố theo giấy phép MIT đã sửa đổi.

    Vì sao đáng chú ý: Họ mô hình nền tảng chuỗi thời gian đầu tiên của Mistral tuyên bố đứng đầu xếp hạng zero-shot trên GIFT-Eval, TIME và fev-bench với checkpoint 209M tham số, cung cấp tài liệu tham khảo về đánh đổi kích thước-độ chính xác cho công việc dự báo.

Bạn đã xem hết