Werkbank 發佈用於自架 LLM 的 40 項任務基準
熱點事件持續更新
Werkbank 發佈用於自架 LLM 的 40 項任務基準
1 篇報導1 個報導來源1 小時前更新
先了解這件事
AI 綜述
Werkbank 是針對自架語言模型的基準,已發佈,內含橫跨七個類別的 40 項固定工具使用任務。它會記錄每項已解任務所花費的時間與 token,並可透過任何相容於 OpenAI 的 chat-completions 端點執行,只要該端點能回傳原生工具呼叫與 token 計數,例如 vLLM、llama.cpp、SGLang、Ollama 或 LM Studio。 它需要 Linux,或 Windows 上 WSL2 內的 Linux,且模型必須以名稱而非檔案路徑提供服務。Trial、Quick、Normal 與 Full 模式需要 64K 至 256K 上下文,其中 Quick 為 64K、Normal 為 128K、Full 為 256K。結果描述的是模型、量化、伺服器與硬體的單一配置,且沒有排行榜。程式碼以 Apache 2.0 授權,文件以 CC BY 4.0 授權。
AI 依報導生成 · 42 分鐘前更新
最新進展11月18日 21:45
Werkbank:40 個工具使用任務,用於評估自架 LLM報導時間線
沿著報導,了解事件的不同側面。
11月18日
- Hacker News · AIWerkbank:40 個工具使用任務,用於評估自架 LLM
Werkbank 是一個基準測試,提供自架語言模型 40 個固定的工具使用任務,涵蓋七個類別,並記錄每個已解決任務所花費的時間與 token。它可透過任何與 OpenAI 相容的 chat-completions 端點執行,包括 vLLM、llama.cpp、SGLang、Ollama 與 LM Studio,並提供 Trial、Quick、Normal 與 Full 模式,需要 64K 至 256K 上下文。結果描述的是模型、量化、伺服器與硬體的單一配置,且沒有排行榜。
本事件熱度走勢
還沒有足夠的連續觀測資料,暫不繪製趨勢。