Tới nội dung
#Hugging Face
  1. Hacker News · AI88

    Edge0 mã nguồn mở các mô hình trên thiết bị Edge0-145B và Edge0-120B cùng khung suy luận

    Edge0 đã mã nguồn mở Edge0-145B và Edge0-120B cùng khung suy luận thống nhất và các công cụ triển khai, tuyên bố Edge0-145B là mô hình trên thiết bị 145 tỷ tham số mã nguồn mở đầu tiên. Công ty báo cáo bộ nhớ đỉnh 29GB, prefill 1.100+ token/giây, decode 80+ token/giây và công suất tiêu thụ điển hình khoảng 120W trên một laptop tương thích, với ngữ cảnh 128K–256K. Họ dẫn điểm số nội bộ 64,6 trên DeepSWE 1.1, 86,52 trên Terminal-Bench 2.1, 90,4 trên GPQA-Diamond và 80,6 trên IFBench, và cho biết trọng số có trên Hugging Face với hỗ trợ ngay từ ngày đầu cho macOS, Windows và Linux.

    Vì sao đáng chú ý: Edge0 mã nguồn mở một mô hình trên thiết bị 145B báo cáo bộ nhớ đỉnh 29GB và decode 80+ token/giây, mang lại một dữ liệu cụ thể về mức độ mà suy luận cục bộ có thể mở rộng.

  2. Hugging Face Blog69

    IBM phát hành các mô hình xem trước LLMON được xây dựng trên Granite 4.1 3B và 8B

    IBM đã phát hành hai mô hình xem trước thử nghiệm, granite-4.1-3b-LLMON-preview và granite-4.1-8b-LLMON-preview, được phát triển từ các checkpoint cơ sở Granite 4.1 và được huấn luyện để tiếp nhận và tạo ra LLMON, một ngôn ngữ đánh dấu bản địa của LLM đánh dấu chỉ dẫn, dữ liệu và yêu cầu bằng các dấu phân cách token đặc biệt dành riêng. Trên bộ đánh giá OPI, các mô hình tránh được nhiều hơn 47% các cuộc tấn công chèn prompt gián tiếp so với mô hình tiên tiến nhất được thử nghiệm và nhiều hơn 95% so với mô hình mã nguồn mở tốt nhất, đồng thời hoạt động ngang bằng với Granite 4.1 Instruct trên các bộ đánh giá tiêu chuẩn. Bản phát hành bao gồm một bộ công cụ GitHub với các bộ chuyển đổi JSON sang LLMON không mất dữ liệu, và các tác giả lưu ý rằng bản xem trước dành cho mục đích khám phá, không phải để sử dụng trong môi trường sản xuất.

    Vì sao đáng chú ý: IBM đã huấn luyện một mô hình xem trước trên Granite 4.1 có thể đọc và ghi các thẻ LLMON, sử dụng việc tách biệt rõ ràng giữa chỉ dẫn và dữ liệu để giảm tỷ lệ thành công của các cuộc tấn công chèn prompt gián tiếp trên bộ đánh giá OPI xuống gần bằng không trong khi vẫn duy trì các khả năng chung.

  1. TechCrunch · AI78

    Jensen Huang từ chức CEO Nvidia, dấy lên nghi ngờ về sự ủng hộ mã nguồn mở của Nvidia

    CEO Nvidia Jensen Huang từ chức vào thứ Năm sau khi thừa nhận ngoại tình với một người bị cáo buộc là gián điệp Trung Quốc, khiến việc Nvidia có tiếp tục ủng hộ AI trọng số mở hay không trở nên bỏ ngỏ. Huang đã thúc đẩy dòng mô hình trọng số mở Nemotron, hậu thuẫn các startup như Reflection AI và Thinking Machines Lab, và tổ chức một lá thư ngỏ có chữ ký của 25 công ty kêu gọi Washington không hạn chế quá mức các mô hình mở. Nvidia đã bổ nhiệm CFO Colette Kress làm CEO tạm thời và vẫn chưa hoàn tất thương vụ mua lại Hugging Face trị giá 13 tỷ USD.

    Vì sao đáng chú ý: Việc Huang từ chức khiến hoạt động vận động cho AI trọng số mở mất đi người ủng hộ doanh nghiệp nổi bật nhất, trong khi thương vụ Hugging Face đang chờ xử lý của Nvidia và các động lực kinh doanh của chính công ty cho thấy chiến lược này có thể sẽ tồn tại lâu hơn ông.

Bạn đã xem hết