跳到正文
热点事件持续更新

DocBlocks 发布面向本地文档模型的 docbench 基准测试

1 篇报道1 个报道来源31 分钟前更新

先了解这件事

AI 综述

DocBlocks 已发布 docbench,这是一个合成基准测试,对 24 个本地模型在文档任务上的表现进行评分。测试集涵盖六类任务——审阅、写作、图表、幻灯片、学习辅助和转录清理——共 102 个测试用例和 142 个输出,模型规模从 0.8B 到 35B 参数不等。 该基准测试聚焦于参数低于 120 亿的小型模型类别。每个模型都在 llama.cpp 上运行,大多采用 4 位(Q4)构建、32,768 token 上下文,DocBlocks 称这正是其 Gezel 工具在受限笔记本电脑上所能提供的配置。所有测试文档均为英文,速度不计入评分,因此一个写得好的慢模型仍然能获得高分。

AI 根据报道生成 · 更新

报道时间线

沿着报道,了解事件的不同侧面。

11月17日
  1. Hacker News · AI
    DocBlocks 发布 docbench:24 个本地小模型文档任务评测

    DocBlocks 团队发布 docbench,用 102 个测试用例(142 个输出)对 24 个 0.8B 到 35B 参数的本地模型在审阅、写作、图表、幻灯片、学习辅助和转录清理六类文档任务上打分。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。