Hacker News · AI·· 1 小時前AI 評分47
Werkbank:40 個工具使用任務,用於評估自架 LLM
Show HN: Werkbank – 40 tool-using tasks to evaluate self-hosted LLMs
AI 導讀
Werkbank 是一個基準測試,提供自架語言模型 40 個固定的工具使用任務,涵蓋七個類別,並記錄每個已解決任務所花費的時間與 token。它可透過任何與 OpenAI 相容的 chat-completions 端點執行,包括 vLLM、llama.cpp、SGLang、Ollama 與 LM Studio,並提供 Trial、Quick、Normal 與 Full 模式,需要 64K 至 256K 上下文。結果描述的是模型、量化、伺服器與硬體的單一配置,且沒有排行榜。
來源:Hacker News · AI · github.com