Tới nội dung
Chỉ Mô hình#Trên thiết bị
  1. Hacker News · AI88

    Edge0 mã nguồn mở các mô hình trên thiết bị Edge0-145B và Edge0-120B cùng khung suy luận

    Edge0 đã mã nguồn mở Edge0-145B và Edge0-120B cùng khung suy luận thống nhất và các công cụ triển khai, tuyên bố Edge0-145B là mô hình trên thiết bị 145 tỷ tham số mã nguồn mở đầu tiên. Công ty báo cáo bộ nhớ đỉnh 29GB, prefill 1.100+ token/giây, decode 80+ token/giây và công suất tiêu thụ điển hình khoảng 120W trên một laptop tương thích, với ngữ cảnh 128K–256K. Họ dẫn điểm số nội bộ 64,6 trên DeepSWE 1.1, 86,52 trên Terminal-Bench 2.1, 90,4 trên GPQA-Diamond và 80,6 trên IFBench, và cho biết trọng số có trên Hugging Face với hỗ trợ ngay từ ngày đầu cho macOS, Windows và Linux.

    Vì sao đáng chú ý: Edge0 mã nguồn mở một mô hình trên thiết bị 145B báo cáo bộ nhớ đỉnh 29GB và decode 80+ token/giây, mang lại một dữ liệu cụ thể về mức độ mà suy luận cục bộ có thể mở rộng.

  1. Zyphra Research78

    Zyphra phát hành ZONOS3-Mini, mô hình TTS nhân bản giọng nói zero-shot theo giấy phép Apache 2.0 chạy trên thiết bị

    Zyphra đã phát hành ZONOS3-Mini, một mô hình chuyển văn bản thành giọng nói MoE thưa với 100M tham số hoạt động và 800M tổng tham số theo giấy phép Apache 2.0, được huấn luyện trên 112 NVIDIA H100 trong 2,5 ngày. Mô hình đạt thời gian đến âm thanh đầu tiên dưới 570 ms trên trình duyệt với Pixel 9 và dưới 150 ms trên M3 MacBook Air, với các runtime cho WebGPU, SGLang, vLLM và GGML. Mô hình bổ sung khả năng kiểm soát danh tính, giọng điệu, chất lượng, tâm trạng và cách thể hiện, bao gồm điều khiển ở cấp độ từ, và Zyphra báo cáo rằng mô hình đứng đầu trong số các mô hình mở trên benchmark ZTTS2-Eval mới của họ.

    Vì sao đáng chú ý: Mô hình TTS MoE nhỏ gọn của Zyphra kết hợp nhân bản giọng nói zero-shot với điều khiển cách thể hiện ở cấp độ từ trong khi chạy thời gian thực trên điện thoại và máy tính xách tay.

  1. Preferred Networks News71

    PFN phát hành PLaMo 3 Translate, LLM dịch thuật trọng số mở cho thiết bị biên

    Preferred Networks đã phát hành PLaMo 3 Translate, một LLM chuyên dịch thuật được sử dụng trong dịch vụ PLaMo Translation của họ, dưới dạng mô hình trọng số mở trên Hugging Face vào ngày 5 tháng 11. 8B, 2B, 8B và 31B) và hỗ trợ 53 ngôn ngữ bao gồm tiếng Nhật và tiếng Anh, chạy trên điện thoại thông minh, máy tính xách tay và máy chủ nội bộ mà không cần kết nối đám mây.

    Vì sao đáng chú ý: PFN phát hành một LLM chuyên dịch thuật với bốn kích cỡ từ 0.8B đến 31B, cho phép các công ty và cá nhân chạy dịch thuật 53 ngôn ngữ trên thiết bị mà không cần truy cập đám mây.

Bạn đã xem hết