Tới nội dung
Hacker News · AI·· 1 giờ trướcĐiểm AI47

Werkbank: 40 tác vụ sử dụng công cụ để đánh giá các LLM tự lưu trữ

Show HN: Werkbank – 40 tool-using tasks to evaluate self-hosted LLMs

Tóm tắt bằng AI

Werkbank là một bộ đánh giá chuẩn cung cấp cho các mô hình ngôn ngữ tự lưu trữ 40 tác vụ sử dụng công cụ cố định thuộc bảy hạng mục và ghi lại thời gian cùng số token mà mỗi tác vụ đã giải tốn. Nó chạy qua bất kỳ endpoint chat-completions tương thích OpenAI nào, bao gồm vLLM, llama.cpp, SGLang, Ollama và LM Studio, đồng thời cung cấp các chế độ Trial, Quick, Normal và Full cần ngữ cảnh từ 64K đến 256K. Kết quả mô tả một thiết lập cụ thể gồm mô hình, lượng tử hóa, máy chủ và phần cứng, và không có bảng xếp hạng.

Nguồn:Hacker News · AI · github.com