Cách đánh giá LLM: Hướng dẫn chấm điểm bằng mã từ OpenRouter

OpenRouter đã công bố hướng dẫn đánh giá LLM trên dữ liệu đầu vào của chính ứng dụng, chấm điểm đầu ra bằng mã và so sánh độ chính xác, chi phí tính phí và thời gian yêu cầu. Trên 60 tác vụ tổng hợp, GPT-6.1 Sol đã vượt qua 180/180 lần thử qua ba lần lặp lại, trong khi DeepSeek có chi phí phản hồi thấp nhất với 157/180 lần vượt qua. Mức độ đồng thuận với bảng xếp hạng công khai là yếu, với hệ số tương quan Spearman là 0.109.