跳至正文
熱點事件持續更新

Werkbank 發佈用於自架 LLM 的 40 項任務基準

1 篇報導1 個報導來源1 小時前更新

先了解這件事

AI 綜述

Werkbank 是針對自架語言模型的基準,已發佈,內含橫跨七個類別的 40 項固定工具使用任務。它會記錄每項已解任務所花費的時間與 token,並可透過任何相容於 OpenAI 的 chat-completions 端點執行,只要該端點能回傳原生工具呼叫與 token 計數,例如 vLLM、llama.cpp、SGLang、Ollama 或 LM Studio。 它需要 Linux,或 Windows 上 WSL2 內的 Linux,且模型必須以名稱而非檔案路徑提供服務。Trial、Quick、Normal 與 Full 模式需要 64K 至 256K 上下文,其中 Quick 為 64K、Normal 為 128K、Full 為 256K。結果描述的是模型、量化、伺服器與硬體的單一配置,且沒有排行榜。程式碼以 Apache 2.0 授權,文件以 CC BY 4.0 授權。

AI 依報導生成 · 42 分鐘前更新

報導時間線

沿著報導,了解事件的不同側面。

11月18日
  1. Hacker News · AI
    Werkbank:40 個工具使用任務,用於評估自架 LLM

    Werkbank 是一個基準測試,提供自架語言模型 40 個固定的工具使用任務,涵蓋七個類別,並記錄每個已解決任務所花費的時間與 token。它可透過任何與 OpenAI 相容的 chat-completions 端點執行,包括 vLLM、llama.cpp、SGLang、Ollama 與 LM Studio,並提供 Trial、Quick、Normal 與 Full 模式,需要 64K 至 256K 上下文。結果描述的是模型、量化、伺服器與硬體的單一配置,且沒有排行榜。

本事件熱度走勢

還沒有足夠的連續觀測資料,暫不繪製趨勢。