OpenRouter công bố hướng dẫn đánh giá LLM bằng chấm điểm mã
Bắt đầu từ đây
OpenRouter đã công bố hướng dẫn đánh giá LLM trên chính dữ liệu đầu vào ứng dụng của người dùng, chấm điểm đầu ra bằng mã và so sánh độ chính xác, chi phí tính phí và thời gian yêu cầu. Trên 60 tác vụ tổng hợp của mình, GPT-6.1 Sol đã vượt qua 180/180 lần thử qua ba lần lặp lại, trong khi DeepSeek có chi phí phản hồi thấp nhất với 157/180 lần vượt qua. OpenRouter báo cáo rằng mức độ đồng thuận với bảng xếp hạng công khai là yếu, với hệ số tương quan Spearman là 0,109. Trình chạy hướng dẫn, ví dụ JSON và các so sánh đã vượt qua kiểm tra ngoại tuyến trên Windows x64 và Linux; hộp cát nghiên cứu đầy đủ đi kèm và thiết lập Ori gốc chỉ hỗ trợ Windows x64. Kiểm tra ngoại tuyến không thực hiện lệnh gọi API nào, và các lần chạy trả phí yêu cầu cờ —live rõ ràng.
Tạo từ các bài viết · cập nhật 13 giờ trước
Dòng thời gian bài viết
Theo các bài viết để thấy sự việc từ nhiều phía.
- OpenRouter AnnouncementsCách đánh giá LLM: Hướng dẫn chấm điểm bằng mã từ OpenRouter
OpenRouter đã công bố hướng dẫn đánh giá LLM trên dữ liệu đầu vào của chính ứng dụng, chấm điểm đầu ra bằng mã và so sánh độ chính xác, chi phí tính phí và thời gian yêu cầu. Trên 60 tác vụ tổng hợp, GPT-6.1 Sol đã vượt qua 180/180 lần thử qua ba lần lặp lại, trong khi DeepSeek có chi phí phản hồi thấp nhất với 157/180 lần vượt qua. Mức độ đồng thuận với bảng xếp hạng công khai là yếu, với hệ số tương quan Spearman là 0.109.
Độ nóng của sự việc này
Chưa đủ quan sát liên tục để vẽ xu hướng.