Edge0 mã nguồn mở các mô hình trên thiết bị Edge0-145B và Edge0-120B cùng khung suy luận
Edge0-145B: Frontier AI Capabilities on Your Own Computer
Edge0 đã mã nguồn mở Edge0-145B và Edge0-120B cùng khung suy luận thống nhất và các công cụ triển khai, tuyên bố Edge0-145B là mô hình trên thiết bị 145 tỷ tham số mã nguồn mở đầu tiên. Công ty báo cáo bộ nhớ đỉnh 29GB, prefill 1.100+ token/giây, decode 80+ token/giây và công suất tiêu thụ điển hình khoảng 120W trên một laptop tương thích, với ngữ cảnh 128K–256K. Họ dẫn điểm số nội bộ 64,6 trên DeepSWE 1.1, 86,52 trên Terminal-Bench 2.1, 90,4 trên GPQA-Diamond và 80,6 trên IFBench, và cho biết trọng số có trên Hugging Face với hỗ trợ ngay từ ngày đầu cho macOS, Windows và Linux.
Edge0 mã nguồn mở một mô hình trên thiết bị 145B báo cáo bộ nhớ đỉnh 29GB và decode 80+ token/giây, mang lại một dữ liệu cụ thể về mức độ mà suy luận cục bộ có thể mở rộng.
Nguồn:Hacker News · AI · edge0.ai