跳至正文
Hacker News · AI·· 14 小時前精選AI 評分88

Edge0 開源 Edge0-145B 與 Edge0-120B 端側模型及推理框架

Edge0-145B: Frontier AI Capabilities on Your Own Computer

AI 導讀

Edge0 開源了 Edge0-145B 與 Edge0-120B,以及其統一推理框架與部署工具,並宣稱 Edge0-145B 是首個開源的 145B 參數端側模型。該公司報告在相容筆記型電腦上峰值記憶體 29GB、預填速度 1,100+ tokens/s、解碼速度 80+ tokens/s、典型功耗約 120W,上下文長度 128K–256K。其引用內部評分:DeepSWE 1.1 為 64.6、Terminal-Bench 2.1 為 86.52、GPQA-Diamond 為 90.4、IFBench 為 80.6,並表示權重已發布於 Hugging Face,首日即支援 macOS、Windows 與 Linux。

推薦理由

Edge0 開源了一個 145B 端側模型,報告峰值記憶體 29GB、解碼速度 80+ tokens/s,為本地推理能擴展到何種程度提供了一個具體數據點。

來源:Hacker News · AI · edge0.ai