跳至正文
  1. Hacker News · AI88

    Edge0 開源 Edge0-145B 與 Edge0-120B 端側模型及推理框架

    Edge0 開源了 Edge0-145B 與 Edge0-120B,以及其統一推理框架與部署工具,並宣稱 Edge0-145B 是首個開源的 145B 參數端側模型。該公司報告在相容筆記型電腦上峰值記憶體 29GB、預填速度 1,100+ tokens/s、解碼速度 80+ tokens/s、典型功耗約 120W,上下文長度 128K–256K。其引用內部評分:DeepSWE 1.1 為 64.6、Terminal-Bench 2.1 為 86.52、GPQA-Diamond 為 90.4、IFBench 為 80.6,並表示權重已發布於 Hugging Face,首日即支援 macOS、Windows 與 Linux。

    推薦理由:Edge0 開源了一個 145B 端側模型,報告峰值記憶體 29GB、解碼速度 80+ tokens/s,為本地推理能擴展到何種程度提供了一個具體數據點。

  1. Zyphra Research78

    Zyphra 發布 ZONOS3-Mini:一款可在裝置端執行的 Apache 2.0 零樣本語音複製 TTS 模型

    Zyphra 發布 ZONOS3-Mini,這是一款稀疏 MoE 文字轉語音模型,具備 1 億活躍參數與 8 億總參數,採用 Apache 2.0 授權,以 112 張 NVIDIA H100 訓練 2.5 天。它在 Pixel 9 的瀏覽器上可達到低於 570 毫秒的首次音訊延遲,在 M3 MacBook Air 上則低於 150 毫秒,並提供 WebGPU、SGLang、vLLM 與 GGML 的執行環境。該模型新增對身分、口音、品質、情緒與表達方式的控制,包括詞級引導,且 Zyphra 表示它在其新的 ZTTS2-Eval 基準測試中於開源模型裡排名第一。

    推薦理由:Zyphra 這款精巧的 MoE TTS 模型將零樣本語音複製與詞級表達控制結合,同時能在手機與筆記型電腦上即時執行。

  1. Preferred Networks News71

    PFN 發布 PLaMo 3 Translate 開源權重翻譯 LLM,鎖定邊緣裝置

    Preferred Networks 於 11 月 5 日在 Hugging Face 上,以開源權重模型形式發布 PLaMo 3 Translate,這是其 PLaMo Translation 服務所採用的翻譯專用 LLM。共有 0.8B、2B、8B 與 31B 四種規模,支援包含日文與英文在內的 53 種語言,可在智慧型手機、筆記型電腦與內部伺服器上執行,無需連線雲端。

    推薦理由:PFN 發布翻譯專用 LLM,提供從 0.8B 到 31B 的四種規模,讓企業與個人能在裝置端執行 53 種語言的翻譯,無需雲端存取。

已經到底了