跳至正文
  1. Hacker News · AI88

    Edge0 開源 Edge0-145B 與 Edge0-120B 端側模型及推理框架

    Edge0 開源了 Edge0-145B 與 Edge0-120B,以及其統一推理框架與部署工具,並宣稱 Edge0-145B 是首個開源的 145B 參數端側模型。該公司報告在相容筆記型電腦上峰值記憶體 29GB、預填速度 1,100+ tokens/s、解碼速度 80+ tokens/s、典型功耗約 120W,上下文長度 128K–256K。其引用內部評分:DeepSWE 1.1 為 64.6、Terminal-Bench 2.1 為 86.52、GPQA-Diamond 為 90.4、IFBench 為 80.6,並表示權重已發布於 Hugging Face,首日即支援 macOS、Windows 與 Linux。

    推薦理由:Edge0 開源了一個 145B 端側模型,報告峰值記憶體 29GB、解碼速度 80+ tokens/s,為本地推理能擴展到何種程度提供了一個具體數據點。

  2. Hugging Face Blog69

    IBM 發布基於 Granite 4.1 3B 與 8B 的 LLMON 預覽模型

    IBM 發布了兩個實驗性預覽模型 granite-4.1-3b-LLMON-preview 與 granite-4.1-8b-LLMON-preview,它們衍生自 Granite 4.1 基礎檢查點,並經過訓練以讀取與生成 LLMON——一種 LLM 原生標記語言,以保留的特殊 token 定界符標示指令、資料與需求。在 OPI 基準上,這些模型比測試中最佳的前沿模型多避開 47% 的間接提示注入攻擊,比最佳的開源模型多避開 95%,同時在標準基準上的表現與 Granite 4.1 Instruct 相當。此次發布包含一個 GitHub 工具包,內含無損的 JSON 轉 LLMON 轉換器,作者指出此預覽版僅供探索,並非用於生產環境。

    推薦理由:IBM 在 Granite 4.1 上訓練出能讀寫 LLMON 標記的預覽模型,透過顯式分離指令與資料,將 OPI 基準上的間接提示注入成功率壓到接近零,同時保持通用能力。

  1. Amazon Science62

    Amazon 發布 Mitra-v2 表格基礎模型,採用規模化合成預訓練

    Amazon 推出 Mitra-v2,這是第二代用於分類與迴歸的表格基礎模型,隨附微調後的模型以及推論與微調程式碼,以 Apache-2.0 授權在 Hugging Face 上發布。它是在合成表格上預訓練的,列數是 Mitra-v1 的 10 倍、欄數約為 3 倍,採用新的混合 SCM 先驗與混合優化器,同時保持 Transformer 架構不變。在涵蓋 51 個真實世界資料集的公開基準 TabArena 上,Mitra-v2 在單一模型領域領先,在兩者皆原生執行的 33 個資料集中有 32 個勝過 Mitra-v1,並在一小時預算內完成全部 51 個資料集;微調後的 Mitra-v2 也在 ScoringBench 上排名第一。

    推薦理由:Mitra-v2 顯示,擴大合成預訓練資料而非加深網路,能將表格基礎模型推上 TabArena 單一模型領域的頂端。

已經到底了