DocBlocks 发布面向本地文档模型的 docbench 基准测试
热点事件持续更新
DocBlocks 发布面向本地文档模型的 docbench 基准测试
1 篇报道1 个报道来源31 分钟前更新
先了解这件事
AI 综述
DocBlocks 已发布 docbench,这是一个合成基准测试,对 24 个本地模型在文档任务上的表现进行评分。测试集涵盖六类任务——审阅、写作、图表、幻灯片、学习辅助和转录清理——共 102 个测试用例和 142 个输出,模型规模从 0.8B 到 35B 参数不等。 该基准测试聚焦于参数低于 120 亿的小型模型类别。每个模型都在 llama.cpp 上运行,大多采用 4 位(Q4)构建、32,768 token 上下文,DocBlocks 称这正是其 Gezel 工具在受限笔记本电脑上所能提供的配置。所有测试文档均为英文,速度不计入评分,因此一个写得好的慢模型仍然能获得高分。
AI 根据报道生成 · 更新
最新进展11月17日 03:16
DocBlocks 发布 docbench:24 个本地小模型文档任务评测报道时间线
沿着报道,了解事件的不同侧面。
11月17日
- Hacker News · AIDocBlocks 发布 docbench:24 个本地小模型文档任务评测
DocBlocks 团队发布 docbench,用 102 个测试用例(142 个输出)对 24 个 0.8B 到 35B 参数的本地模型在审阅、写作、图表、幻灯片、学习辅助和转录清理六类文档任务上打分。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。