Werkbank 发布面向自托管 LLM 的 40 项任务基准
热点事件持续更新
Werkbank 发布面向自托管 LLM 的 40 项任务基准
1 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
Werkbank 是一个面向自托管语言模型的基准,现已发布,包含横跨七个类别的 40 项固定工具使用任务。它记录每项已解决任务所耗费的时间和 token,并通过任何兼容 OpenAI 的 chat-completions 端点运行,前提是该端点返回原生工具调用和 token 计数,例如 vLLM、llama.cpp、SGLang、Ollama 或 LM Studio。 它需要 Linux,或 Windows 上 WSL2 中的 Linux,且模型必须以名称而非文件路径提供服务。Trial、Quick、Normal 和 Full 模式需要 64K 到 256K 上下文,其中 Quick 为 64K,Normal 为 128K,Full 为 256K。结果描述的是模型、量化、服务器和硬件的一种组合配置,且没有排行榜。代码采用 Apache 2.0 许可,文档采用 CC BY 4.0 许可。
AI 根据报道生成 · 42 分钟前更新
最新进展11月18日 21:45
Werkbank:40 个工具使用任务,用于评估自托管 LLM报道时间线
沿着报道,了解事件的不同侧面。
11月18日
- Hacker News · AIWerkbank:40 个工具使用任务,用于评估自托管 LLM
Werkbank 是一个基准测试,为自托管语言模型提供横跨七个类别的 40 个固定工具使用任务,并记录每个已解决任务所花费的时间和 token。它可通过任何兼容 OpenAI 的 chat-completions 端点运行,包括 vLLM、llama.cpp、SGLang、Ollama 和 LM Studio,并提供 Trial、Quick、Normal 和 Full 模式,需要 64K 到 256K 上下文。结果描述的是模型、量化、服务器和硬件的一种配置,且没有排行榜。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。