Tới nội dung
Sự việc nóngĐang diễn ra

Werkbank phát hành bộ đánh giá 40 tác vụ cho các LLM tự vận hành

1 bài viết1 nguồn đưa tinCập nhật 1 giờ trước

Bắt đầu từ đây

Tóm tắt AI

Werkbank, một bộ đánh giá dành cho các mô hình ngôn ngữ tự vận hành, đã được phát hành với 40 tác vụ sử dụng công cụ cố định thuộc bảy nhóm. Nó ghi lại thời gian và số token mà mỗi tác vụ được giải tốn, và chạy qua bất kỳ endpoint chat-completions tương thích OpenAI nào trả về lời gọi công cụ gốc và số token, chẳng hạn như vLLM, llama.cpp, SGLang, Ollama hoặc LM Studio. Nó yêu cầu Linux, hoặc Linux bên trong WSL2 trên Windows, và mô hình phải được phục vụ dưới một tên thay vì đường dẫn tệp. Các chế độ Trial, Quick, Normal và Full cần ngữ cảnh từ 64K đến 256K, với Quick ở 64K, Normal ở 128K và Full ở 256K. Kết quả mô tả một thiết lập gồm mô hình, lượng tử hóa, máy chủ và phần cứng, và không có bảng xếp hạng. Mã nguồn được cấp phép theo Apache 2.0 và tài liệu theo CC BY 4.0.

Tạo từ các bài viết · cập nhật 42 phút trước

Dòng thời gian bài viết

Theo các bài viết để thấy sự việc từ nhiều phía.

18 tháng 11
  1. Hacker News · AI
    Werkbank: 40 tác vụ sử dụng công cụ để đánh giá các LLM tự lưu trữ

    Werkbank là một bộ đánh giá chuẩn cung cấp cho các mô hình ngôn ngữ tự lưu trữ 40 tác vụ sử dụng công cụ cố định thuộc bảy hạng mục và ghi lại thời gian cùng số token mà mỗi tác vụ đã giải tốn. Nó chạy qua bất kỳ endpoint chat-completions tương thích OpenAI nào, bao gồm vLLM, llama.cpp, SGLang, Ollama và LM Studio, đồng thời cung cấp các chế độ Trial, Quick, Normal và Full cần ngữ cảnh từ 64K đến 256K. Kết quả mô tả một thiết lập cụ thể gồm mô hình, lượng tử hóa, máy chủ và phần cứng, và không có bảng xếp hạng.

Độ nóng của sự việc này

Chưa đủ quan sát liên tục để vẽ xu hướng.