跳至正文
  1. Hacker News · AI88

    Edge0 開源 Edge0-145B 與 Edge0-120B 端側模型及推理框架

    Edge0 開源了 Edge0-145B 與 Edge0-120B,以及其統一推理框架與部署工具,並宣稱 Edge0-145B 是首個開源的 145B 參數端側模型。該公司報告在相容筆記型電腦上峰值記憶體 29GB、預填速度 1,100+ tokens/s、解碼速度 80+ tokens/s、典型功耗約 120W,上下文長度 128K–256K。其引用內部評分:DeepSWE 1.1 為 64.6、Terminal-Bench 2.1 為 86.52、GPQA-Diamond 為 90.4、IFBench 為 80.6,並表示權重已發布於 Hugging Face,首日即支援 macOS、Windows 與 Linux。

    推薦理由:Edge0 開源了一個 145B 端側模型,報告峰值記憶體 29GB、解碼速度 80+ tokens/s,為本地推理能擴展到何種程度提供了一個具體數據點。

  2. Hugging Face Blog69

    IBM 發布基於 Granite 4.1 3B 與 8B 的 LLMON 預覽模型

    IBM 發布了兩個實驗性預覽模型 granite-4.1-3b-LLMON-preview 與 granite-4.1-8b-LLMON-preview,它們衍生自 Granite 4.1 基礎檢查點,並經過訓練以讀取與生成 LLMON——一種 LLM 原生標記語言,以保留的特殊 token 定界符標示指令、資料與需求。在 OPI 基準上,這些模型比測試中最佳的前沿模型多避開 47% 的間接提示注入攻擊,比最佳的開源模型多避開 95%,同時在標準基準上的表現與 Granite 4.1 Instruct 相當。此次發布包含一個 GitHub 工具包,內含無損的 JSON 轉 LLMON 轉換器,作者指出此預覽版僅供探索,並非用於生產環境。

    推薦理由:IBM 在 Granite 4.1 上訓練出能讀寫 LLMON 標記的預覽模型,透過顯式分離指令與資料,將 OPI 基準上的間接提示注入成功率壓到接近零,同時保持通用能力。

  1. TechCrunch · AI78

    黃仁勳辭去Nvidia執行長職務,引發外界對Nvidia開源支援的疑慮

    Nvidia執行長黃仁勳於週四辭職,此前他承認與一名據稱是中國間諜的女子有婚外情,這使得Nvidia是否會繼續支持開放權重AI成為未知數。黃仁勳曾推動Nemotron開放權重模型系列,支持Reflection AI和Thinking Machines Lab等新創公司,並組織了一封由25家公司簽署的公開信,敦促華盛頓不要過度限制開放模型。Nvidia已任命財務長Colette Kress為臨時執行長,且尚未敲定以130億美元收購Hugging Face的交易。

    推薦理由:Huang's resignation leaves open-weight AI advocacy without its most visible corporate backer, while Nvidia's pending Hugging Face deal and its own business incentives suggest the strategy may outlast him.

  1. Amazon Science62

    Amazon 發布 Mitra-v2 表格基礎模型,採用規模化合成預訓練

    Amazon 推出 Mitra-v2,這是第二代用於分類與迴歸的表格基礎模型,隨附微調後的模型以及推論與微調程式碼,以 Apache-2.0 授權在 Hugging Face 上發布。它是在合成表格上預訓練的,列數是 Mitra-v1 的 10 倍、欄數約為 3 倍,採用新的混合 SCM 先驗與混合優化器,同時保持 Transformer 架構不變。在涵蓋 51 個真實世界資料集的公開基準 TabArena 上,Mitra-v2 在單一模型領域領先,在兩者皆原生執行的 33 個資料集中有 32 個勝過 Mitra-v1,並在一小時預算內完成全部 51 個資料集;微調後的 Mitra-v2 也在 ScoringBench 上排名第一。

    推薦理由:Mitra-v2 顯示,擴大合成預訓練資料而非加深網路,能將表格基礎模型推上 TabArena 單一模型領域的頂端。

  2. Hugging Face Blog60

    Hugging Face 解釋決策模型及其在 Transformers 與 llama.cpp 中的支援

    Hugging Face 發布了一篇關於決策模型的說明文章,這類模型接收狀態與具型別的問題,並回傳預定義答案上的機率,而非生成文字。文章詳細介紹了 choice、score 與 noul 原語、信心公式,以及透過 Transformers 的 DecisionPipeline 與 AutoModelForDecision 提供的新支援、Transformers 與 llama.cpp 中共用的 /v1/systemone 端點、用於探索的 Hub 標籤,以及使用 Trainer API 進行微調。文章指出,同一個端點也能透過在批次前向傳遞中對答案 logits 評分,與相容的自迴歸 LLM 搭配運作。

    推薦理由:Hugging Face 解釋了決策模型如何將分類轉變為具型別、非生成式的介面,並展示如何用 Transformers 與 llama.cpp 來服務與微調這些模型。

  1. Modal Blog60

    Thinking Machines 的 Inkling 多模態模型現已在 Modal 上推出

    Thinking Machines 發布了 Inkling,這是一個通用多模態模型,可接收文字、圖像和音訊輸入並輸出文字,而 Modal 從第一天起就以基於 token 的定價,透過受管端點(Managed Endpoint)提供該模型。Inkling 是一個混合專家(MoE)Transformer,總參數 975B,活躍參數 41B,上下文視窗 1M token,原生支援音訊與視覺,每五層滑動視窗注意力層搭配一層完整注意力層。在配備 8 張 B200 的代理式工作負載上,Modal 自訂的 DFlash 推測器在每 GPU 吞吐量 2.5M TPM 時,達到每位使用者每秒 250 個 token,在相同吞吐量下,互動速度比模型內建的推測路徑快 67%。

    推薦理由:Modal 為 Thinking Machines 的 975B 參數 Inkling 提供首日端點,展示了自訂 DFlash 推測器如何將互動速度提升至比模型內建推測路徑快 67%。

已經到底了