Edge0 mã nguồn mở các mô hình trên thiết bị 145B và 120B
Bắt đầu từ đây
Edge0 đã mã nguồn mở các mô hình Edge0-145B và Edge0-120B của mình, cùng với một khung suy luận thống nhất và các công cụ triển khai, và cho biết Edge0-145B là mô hình tham số 145B mã nguồn mở đầu tiên chạy trên thiết bị. Công ty báo cáo rằng trên một máy tính xách tay tương thích, mô hình 145B cần 29GB bộ nhớ đỉnh, prefill ở tốc độ hơn 1.100 token/s, giải mã ở tốc độ hơn 80 token/s và tiêu thụ khoảng 120W, với ngữ cảnh 128K–256K. Edge0 cho biết các năng lực cốt lõi hoạt động ngoại tuyến, không cần tài khoản hay hạn ngạch sử dụng, và hỗ trợ ngay từ ngày đầu cho macOS, Windows và Linux, bao gồm chip Apple M-series và NVIDIA RTX Spark, RTX 4090 và RTX 5090. Edge0 dẫn điểm số nội bộ là 64,6 trên DeepSWE 1.1, 86,52 trên Terminal-Bench 2.1, 90,4 trên GPQA-Diamond và 80,6 trên IFBench, và cho biết trọng số có trên Hugging Face. Công ty cũng cho biết một thiết bị có năng lực tính toán rất thấp hiện không thể chạy mô hình 145B cục bộ.
Tạo từ các bài viết · cập nhật 13 giờ trước
Dòng thời gian bài viết
Theo các bài viết để thấy sự việc từ nhiều phía.
- Hacker News · AITuyển chọnEdge0 mã nguồn mở các mô hình trên thiết bị Edge0-145B và Edge0-120B cùng khung suy luận
Edge0 đã mã nguồn mở Edge0-145B và Edge0-120B cùng khung suy luận thống nhất và các công cụ triển khai, tuyên bố Edge0-145B là mô hình trên thiết bị 145 tỷ tham số mã nguồn mở đầu tiên. Công ty báo cáo bộ nhớ đỉnh 29GB, prefill 1.100+ token/giây, decode 80+ token/giây và công suất tiêu thụ điển hình khoảng 120W trên một laptop tương thích, với ngữ cảnh 128K–256K. Họ dẫn điểm số nội bộ 64,6 trên DeepSWE 1.1, 86,52 trên Terminal-Bench 2.1, 90,4 trên GPQA-Diamond và 80,6 trên IFBench, và cho biết trọng số có trên Hugging Face với hỗ trợ ngay từ ngày đầu cho macOS, Windows và Linux.
Độ nóng của sự việc này
Chưa đủ quan sát liên tục để vẽ xu hướng.