跳到正文
  1. Hacker News · AI88

    Edge0 开源端侧模型 Edge0-145B 与 Edge0-120B 及推理框架

    Edge0 开源了 Edge0-145B 和 Edge0-120B,以及其统一推理框架和部署工具,并称 Edge0-145B 是首个开源的 145B 参数端侧模型。该公司报告称,在兼容笔记本上峰值内存为 29GB,预填充速度 1,100+ tokens/s,解码速度 80+ tokens/s,典型功耗约 120W,上下文长度为 128K–256K。它引用的内部得分为:DeepSWE 1.1 上 64.6,Terminal-Bench 2.1 上 86.52,GPQA-Diamond 上 90.4,IFBench 上 80.6,并表示权重已发布在 Hugging Face 上,首日即支持 macOS、Windows 和 Linux。

    推荐理由:Edge0 开源了一款 145B 端侧模型,报告峰值内存 29GB、解码速度 80+ tokens/s,为本地推理能扩展到何种程度提供了一个具体数据点。

  1. Zyphra Research78

    Zyphra 发布 ZONOS3-Mini:一款可在设备端运行的 Apache 2.0 零样本语音克隆 TTS 模型

    Zyphra 发布了 ZONOS3-Mini,这是一款稀疏 MoE 文本转语音模型,激活参数 100M、总参数 800M,采用 Apache 2.0 许可,在 112 块 NVIDIA H100 上训练了 2.5 天。它在 Pixel 9 的浏览器中首音频延迟低于 570 毫秒,在 M3 MacBook Air 上低于 150 毫秒,并提供 WebGPU、SGLang、vLLM 和 GGML 运行时。该模型增加了对身份、口音、质量、情绪和表达方式的控制,包括词级调控,Zyphra 报告称其在其新的 ZTTS2-Eval 基准上在开源模型中排名第一。

    推荐理由:Zyphra 的紧凑型 MoE TTS 模型将零样本语音克隆与词级表达控制相结合,同时能在手机和笔记本电脑上实时运行。

  1. Preferred Networks News71

    PFN发布面向边缘设备的开放权重翻译大模型PLaMo 3 Translate

    Preferred Networks于11月5日在Hugging Face上以开放权重模型形式发布了PLaMo 3 Translate,这是其PLaMo Translation服务中使用的翻译专用大语言模型。该模型提供0.8B、2B、8B和31B四种规模,支持包括日语和英语在内的53种语言,可在智能手机、笔记本电脑和内部服务器上运行,无需连接云端。

    推荐理由:PFN发布了四种规模(从0.8B到31B)的翻译专用大语言模型,使企业和个人无需云端访问即可在设备端运行53种语言的翻译。

已经到底了