跳到正文
Hacker News · AI·· 1 小时前AI 评分47

Werkbank:40 个工具使用任务,用于评估自托管 LLM

Show HN: Werkbank – 40 tool-using tasks to evaluate self-hosted LLMs

AI 导读

Werkbank 是一个基准测试,为自托管语言模型提供横跨七个类别的 40 个固定工具使用任务,并记录每个已解决任务所花费的时间和 token。它可通过任何兼容 OpenAI 的 chat-completions 端点运行,包括 vLLM、llama.cpp、SGLang、Ollama 和 LM Studio,并提供 Trial、Quick、Normal 和 Full 模式,需要 64K 到 256K 上下文。结果描述的是模型、量化、服务器和硬件的一种配置,且没有排行榜。

来源:Hacker News · AI · github.com