Edge0 开源 145B 与 120B 端侧模型

Edge0 已开源其 Edge0-145B 和 Edge0-120B 模型，以及统一的推理框架和部署工具，并称 Edge0-145B 是首个可在端侧运行的开源 145B 参数模型。该公司报告称，在兼容的笔记本电脑上，145B 模型需要 29GB 峰值内存，预填充速度超过 1,100 tokens/s，解码速度超过 80 tokens/s，功耗约为 120W，上下文长度为 128K–256K。Edge0 表示核心能力可离线使用，无需账号或使用配额，并且首日支持覆盖 macOS、Windows 和 Linux，包括 Apple M 系列芯片以及 NVIDIA RTX Spark、RTX 4090 和 RTX 5090。 Edge0 引用内部评分：DeepSWE 1.1 上为 64.6，Terminal-Bench 2.1 上为 86.52，GPQA-Diamond 上为 90.4，IFBench 上为 80.6，并表示权重已发布在 Hugging Face 上。该公司还表示，算力极低的设备目前无法在本地运行 145B 模型。

AI 根据报道生成 · 14 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。