Westphalia Labs thử nghiệm 11 mô hình AI trong vai trò chủ tọa một cuộc đàm phán hư cấu giữa bảy chính phủ
Bắt đầu từ đây
Westphalia Labs, một nhóm đánh giá do một cựu nhà ngoại giao sáng lập, đã cho mười một mô hình AI đảm nhận vai trò chủ tọa một cuộc đàm phán hư cấu giữa bảy chính phủ, với bốn mươi lần chạy cho mỗi mô hình trên một phiên bản khả thi và một phiên bản bất khả thi. Chỉ có GPT-6.1 Sol vượt qua mọi lần chạy, đạt được thỏa thuận khi thỏa thuận là khả thi và tuyên bố không thể đạt đồng thuận khi đúng là như vậy. Claude Opus 5.5, Grok 4.7 và DeepSeek V4.1 Flash giá rẻ đều nhận diện đúng phiên bản bất khả thi trong mọi lần và đạt được thỏa thuận trong 18 trên 20 lần chạy khả thi. Trong số các thất bại, việc đòi hỏi quá mức gây ra 39 lần chạy thất bại, so với 13 lần do nhượng bộ quá ít. Khi tuân theo một dự báo có khả năng xảy ra, thỏa thuận đạt được trong 72 trên 110 trường hợp.
Tạo từ các bài viết · cập nhật 15 giờ trước
Dòng thời gian bài viết
Theo các bài viết để thấy sự việc từ nhiều phía.
- Hacker News · AIWestphalia Labs kiểm thử 11 mô hình AI trong vai trò chủ trì một cuộc đàm phán hư cấu giữa bảy chính phủ
Westphalia Labs, một nhóm đánh giá do một cựu nhà ngoại giao sáng lập, đã cho mười một mô hình AI đảm nhận vai trò chủ trì một cuộc đàm phán hư cấu giữa bảy chính phủ, mỗi mô hình chạy bốn mươi lần trên một phiên bản khả thi và một phiên bản bất khả thi. Chỉ GPT-6.1 Sol vượt qua mọi lượt chạy, đạt được thỏa thuận khi có thể và tuyên bố đồng thuận là bất khả thi khi đúng như vậy; Claude Opus 5.5, Grok 4.7 và DeepSeek V4.1 Flash giá rẻ đều nhận diện đúng phiên bản bất khả thi trong mọi lần và đạt thỏa thuận trong 18 trên 20 lượt chạy khả thi. Việc đòi hỏi quá mức gây ra 39 lượt chạy thất bại, so với 13 lượt do nhượng bộ quá ít, và một dự báo có khả năng xảy ra được theo sau bởi thỏa thuận trong 72 trên 110 trường hợp.
Độ nóng của sự việc này
Chưa đủ quan sát liên tục để vẽ xu hướng.