跳至正文
熱點事件持續更新

DocBlocks 發布 docbench 基準測試,針對本地文件模型

1 篇報導1 個報導來源31 分鐘前更新

先了解這件事

AI 綜述

DocBlocks 已發布 docbench,這是一項合成基準測試,對 24 個本地模型在文件任務上進行評分。測試集涵蓋六種任務類型——審閱、寫作、圖表、簡報、學習輔助與逐字稿清理——共 102 個測試案例與 142 份輸出,模型規模從 0.8B 到 35B 參數不等。 該基準測試聚焦於參數低於 120 億的小型模型類別。每個模型都在 llama.cpp 上執行,多數為 4 位元(Q4)版本,上下文長度為 32,768 個 token,DocBlocks 稱這是其 Gezel 工具在資源受限筆電上所提供的配置。所有測試文件皆為英文,速度不計入評分,因此寫得好的慢模型仍能獲得高分。

AI 依報導生成 · 更新

報導時間線

沿著報導,了解事件的不同側面。

11月17日
  1. Hacker News · AI
    DocBlocks 發布 docbench:24 個本地小模型文件任務評測

    DocBlocks 團隊發布 docbench,用 102 個測試用例(142 個輸出)對 24 個 0.8B 到 35B 參數的本地模型在審閱、寫作、圖表、簡報、學習輔助和轉錄清理六類文件任務上打分。

本事件熱度走勢

還沒有足夠的連續觀測資料,暫不繪製趨勢。