跳至正文
今天11月13日星期五2 条
  1. inclusionAI Models38

    SingVL-4B GGUF 發布:基於 Qwen3.5 的 Sing VL S1 4B 多模態決策模型 GGUF 版本

    Sing VL S1 是一個建構於 Qwen3.5 之上的 4B 參數多模態決策模型,現已推出 GGUF 版本,可用於 llama.cpp 的 CPU 推論。它提供 BF16(8.42 GB)、Q8_0(4.48 GB)與 Q4_K_M(2.71 GB)三種解碼器,外加一個共用的 F16 視覺投影器,預設上下文長度為 4096 個 token。GGUF 驗證涵蓋 9 個範例與 11 個問題;GGUF 各變體的完整公開分數仍待公布。

  2. Hugging Face Blog69

    IBM 發布基於 Granite 4.1 3B 與 8B 的 LLMON 預覽模型

    IBM 發布了兩個實驗性預覽模型 granite-4.1-3b-LLMON-preview 與 granite-4.1-8b-LLMON-preview,它們衍生自 Granite 4.1 基礎檢查點,並經過訓練以讀取與生成 LLMON——一種 LLM 原生標記語言,以保留的特殊 token 定界符標示指令、資料與需求。在 OPI 基準上,這些模型比測試中最佳的前沿模型多避開 47% 的間接提示注入攻擊,比最佳的開源模型多避開 95%,同時在標準基準上的表現與 Granite 4.1 Instruct 相當。此次發布包含一個 GitHub 工具包,內含無損的 JSON 轉 LLMON 轉換器,作者指出此預覽版僅供探索,並非用於生產環境。

    推薦理由:IBM 在 Granite 4.1 上訓練出能讀寫 LLMON 標記的預覽模型,透過顯式分離指令與資料,將 OPI 基準上的間接提示注入成功率壓到接近零,同時保持通用能力。

11月12日星期四
  1. Hugging Face Blog36

    Hugging Face 發布 TRELLIS.2 3D 生成微調指南與腳本

    Hugging Face 發布了 3D 生成模型 TRELLIS.2 的微調腳本與容器,可在本機或 Hugging Face Jobs 上執行。該指南透過 PEFT 函式庫使用 LoRA 適配器,僅套用於稀疏結構流 DiT 與形狀流 DiT,材質階段則保持凍結。在 GSO 資料集的 188 個物件鞋類子集上,預訓練模型經常渲染出錯誤的鞋底,而 LoRA 微調正是針對此問題。

11月11日星期三
  1. Hugging Face Blog42

    Tether AI Research 發布 BotPsy:基於 Qwen3.5-0.8B 打造的 0.8B 端側代理模型

    Tether AI Research 發布 BotPsy,這是一個基於 Qwen3.5-0.8B 打造的 0.8B 參數代理模型,用於端側個人助理的工具使用。它讓基礎模型的代理評分大致翻倍,BFCL v4 從 23.4 升至 44.0,τ-bench 從 23.2 升至 51.5,並在六項工具使用基準測試中擊敗所有測試過的 1.2B 參數以下模型。它還將不安全回應從 36% 降至 21%,並在 GPQA Diamond 上使用的推理 token 減少約 3 倍。

  2. Hugging Face Blog41

    Pooling-Aware Training for Multi-Vector Embedding Models with Sentence Transformers

    Hugging Face 展示 pooling-aware 訓練如何在固定儲存預算下提升多向量嵌入模型的檢索品質。當 pool_factor=4 時,一般訓練的模型保留其未池化 NanoBEIR nDCG@10 的 94.6%,同時將文件向量減少 4 倍,而 pooling-aware 訓練則將該保留率提升至 97.8%。文章逐步說明 HierarchicalTokenPooling、預算校準,以及一個可重現的 Sentence Transformers 範例。

  3. inclusionAI Models40

    inclusionAI 於 Qwen3.5 上發布 SingVL S1 4B 多模態決策模型

    inclusionAI 發布 SingVL S1,這是一個建構於 Qwen3.5 之上的 4B 多模態決策模型,能在單次 Transformers 前向傳遞中,針對文字或 JSON 以及最多四張圖片回答具名問題。它支援選擇題、是/否(noul)以及 2–10 級評分題,在 Public Vision Index 上得分 73.94,在 Public Text Index 上得分 69.76。該模型隨附 Python 推論程式碼與 FastAPI HTTP 伺服器。

  4. inclusionAI Models22

    inclusionAI 發布 ZoomGain-9B 的 GGUF 權重

    inclusionAI 已發布 ZoomGain-9B 的 GGUF 格式權重,透過 llama.cpp 轉換,涵蓋語言模型與視覺編碼器/投影器(mmproj),提供 FP16、Q8_0 與 Q4_K_M 版本。影像輸入需將語言模型與對應的 mmproj 檔案配對使用,該儲存庫說明了透過 llama-mtmd-cli 進行命令列推論,以及透過 llama-server 架設網頁聊天的方式。需使用支援 Qwen3.5 多模態的 llama.cpp 建置版本,且量化可能影響準確度。

11月10日星期二
  1. Amazon Science62

    Amazon 發布 Mitra-v2 表格基礎模型,採用規模化合成預訓練

    Amazon 推出 Mitra-v2,這是第二代用於分類與迴歸的表格基礎模型,隨附微調後的模型以及推論與微調程式碼,以 Apache-2.0 授權在 Hugging Face 上發布。它是在合成表格上預訓練的,列數是 Mitra-v1 的 10 倍、欄數約為 3 倍,採用新的混合 SCM 先驗與混合優化器,同時保持 Transformer 架構不變。在涵蓋 51 個真實世界資料集的公開基準 TabArena 上,Mitra-v2 在單一模型領域領先,在兩者皆原生執行的 33 個資料集中有 32 個勝過 Mitra-v1,並在一小時預算內完成全部 51 個資料集;微調後的 Mitra-v2 也在 ScoringBench 上排名第一。

    推薦理由:Mitra-v2 顯示,擴大合成預訓練資料而非加深網路,能將表格基礎模型推上 TabArena 單一模型領域的頂端。

  2. Hugging Face Blog60

    Hugging Face 解釋決策模型及其在 Transformers 與 llama.cpp 中的支援

    Hugging Face 發布了一篇關於決策模型的說明文章,這類模型接收狀態與具型別的問題,並回傳預定義答案上的機率,而非生成文字。文章詳細介紹了 choice、score 與 noul 原語、信心公式,以及透過 Transformers 的 DecisionPipeline 與 AutoModelForDecision 提供的新支援、Transformers 與 llama.cpp 中共用的 /v1/systemone 端點、用於探索的 Hub 標籤,以及使用 Trainer API 進行微調。文章指出,同一個端點也能透過在批次前向傳遞中對答案 logits 評分,與相容的自迴歸 LLM 搭配運作。

    推薦理由:Hugging Face 解釋了決策模型如何將分類轉變為具型別、非生成式的介面,並展示如何用 Transformers 與 llama.cpp 來服務與微調這些模型。

  3. Hugging Face Blog20

    Hugging Face Hub 現在支援透過 Google Cloud 帳戶計費

    Hugging Face 組織現在可以連結 Google Cloud 帳戶,讓 Hub 的使用量顯示在既有的 Google Cloud 帳單上,而非透過信用卡付款。此設定透過 Google Cloud Marketplace 進行,涵蓋 Team 或 Enterprise 訂閱、依用量計費的運算服務如 Jobs、Inference Endpoints、Inference Providers 和 GPU Spaces,以及按 Hugging Face 公開定價的額外儲存空間。訂閱在 Marketplace 計費開始前會由 Hugging Face 審核,已綁定信用卡的組織則會在下一个計費週期開始時切換。

11月9日星期一
  1. Hugging Face Blog38

    NVIDIA 與 Elith 發布 Nemotron-Personas-Finance-Japan 合成資料集

    Elith 與 NVIDIA 發布 Nemotron-Personas-Finance-Japan,這是一個以政府官方統計資料為基礎、針對日本金融業打造的開放合成人物資料集。它包含 50 個領域、約 15 億個 token 的 900 萬個人物(100 萬筆記錄 × 9 個人物),以 NeMo SDG-PGMs 與 NeMo Data Designer 生成,並以 CC BY 4.0 授權提供商業使用。

11月6日星期五
  1. Hugging Face Blog58

    Ai2 發布 ToyBlocks,一個用於機器人學習的開放模擬積木操作世界

    Ai2 發布 ToyBlocks,這是一個圍繞機械手臂與桌面積木構建的開放模擬框架,是其 FoundationWorlds 系列中用於受控機器人學習與評估的首個成果。該框架在 Isaac Lab 中透過強化學習與運動規劃自動生成技能與示範,在單一 GPU 上可達最高 24 倍即時速度,並隨附 85,336 條長時程示範,涵蓋近 1,600 小時與 1.44 億幀。在其實驗中,ManiFlow 的原子技能成功率在模擬中為 80.0%,在真實 Franka FR3 上為 81.1%;而 Molmo 2 加 ManiFlow 系統在模擬與真實世界回合中的成功率分別為 55.5% 與 50.0%。

7月29日星期三
  1. Modal Blog40

    Modal 回應 Hugging Face 代理事件:平台隔離未受影響

    Modal 表示,在 Hugging Face 代理入侵事件中,其平台與隔離機制並未受到影響,該事件將 Modal 用作第三方啟動平台。受影響的環境是一個部署到可公開存取端點的客戶應用程式,該端點未設身分驗證,並在 Modal Sandbox 內執行由網際網路提交的程式碼,而程式碼執行始終侷限在該客戶自己的容器內。Modal 指出,未經身分驗證的 Sandbox 暴露絕非預設設定,並建議採用身分驗證、IP 允許清單及限制對外網路存取。

7月15日星期三
  1. Modal Blog60

    Thinking Machines 的 Inkling 多模態模型現已在 Modal 上推出

    Thinking Machines 發布了 Inkling,這是一個通用多模態模型,可接收文字、圖像和音訊輸入並輸出文字,而 Modal 從第一天起就以基於 token 的定價,透過受管端點(Managed Endpoint)提供該模型。Inkling 是一個混合專家(MoE)Transformer,總參數 975B,活躍參數 41B,上下文視窗 1M token,原生支援音訊與視覺,每五層滑動視窗注意力層搭配一層完整注意力層。在配備 8 張 B200 的代理式工作負載上,Modal 自訂的 DFlash 推測器在每 GPU 吞吐量 2.5M TPM 時,達到每位使用者每秒 250 個 token,在相同吞吐量下,互動速度比模型內建的推測路徑快 67%。

    推薦理由:Modal 為 Thinking Machines 的 975B 參數 Inkling 提供首日端點,展示了自訂 DFlash 推測器如何將互動速度提升至比模型內建推測路徑快 67%。

2024年4月26日星期五
2024年1月23日星期二
  1. Modal Blog40

    用 Modal 和 Hugging Face TEI 在 15 分鐘內嵌入英文維基百科

    Modal 和 Hugging Face 的文字嵌入推論伺服器,可在大約 15 分鐘內嵌入整部英文維基百科,費用僅略高於 15 美元,靠的是 Modal 的無伺服器 GPU 擴縮能力。文章主張,對正式環境的 RAG 而言,開源嵌入模型勝過 OpenAI 的 text-embedding-ada-002 這類以 API 為基礎的模型,因為前者可用使用者資料微調,並避開速率限制與按權杖計費。