Tới nội dung
Chỉ Nghiên cứu#Đánh giá / benchmark
13 tháng 11Thứ Sáu
  1. Hacker News · AI58

    Bao nhiêu phần trong số công cụ AI được gắn sao nhiều nhất trên GitHub là do các tác nhân lập trình viết ra?

    Một phân tích toàn bộ lịch sử git của 52 kho lưu trữ công cụ AI được gắn sao nhiều nhất trên GitHub, bao gồm 324.088 commit, cho thấy ở kho lưu trữ trung vị, 16,9% số commit trong 180 ngày hoạt động gần nhất mang dấu hiệu AI, và 21 trong số 52 kho đạt từ 25% trở lên. Số sao và tỷ lệ commit có dấu hiệu AI không cho thấy mối liên hệ nào có thể phát hiện được (Spearman ρ = -0,05, p = 0,72), và 85,3% trong số 36.892 commit có dấu hiệu đến từ Claude, công cụ của nó mặc định thêm một trailer. Tác giả lưu ý rằng việc sử dụng AI nhiều tập trung ở các dự án bắt đầu từ năm 2025 trở đi, nên mẫu không thể tách biệt việc sử dụng AI khỏi tính gần đây, và mọi tỷ lệ phần trăm AI đều là giới hạn dưới.

  2. Hacker News · AI38

    Các mô hình AI biết các nguyên tắc WPS nhưng không áp dụng được, theo kết quả đánh giá chuẩn

    Bảng xếp hạng WPS AI của Our Secure Future, được xây dựng trên nền tảng Weval của Collective Intelligence Project, phát hiện các LLM một cách có hệ thống bỏ qua khía cạnh giới trong phân tích hòa bình và an ninh dù chúng có thể đọc thuộc UNSCR 1325. Khoảng trống năng lực WPS xuất hiện dưới dạng thiếu sót thụ động, khi các mô hình loại bỏ phụ nữ và trẻ em gái khỏi các đánh giá thường quy, và đầu hàng chủ động, khi chúng giúp các nhà ra quyết định lách chính sách.

  3. Hacker News · AI38

    Terminal-Bench 4.1 ra mắt với bộ xác minh được gia cố chống reward hacking

    Terminal-Bench 4.1 được phát hành với các bộ xác minh cải tiến được thiết kế để chống lại reward hacking, và việc chấm lại TB 4.0 bằng các bộ xác minh mới không tốn thêm $0 chi phí suy luận. Chỉ khoảng 1,16% trong số 11.550 lượt thử nghiệm thay đổi điểm số, và điểm số cập nhật của cả 35 tác nhân vẫn nằm trong khoảng tin cậy 95% ban đầu của TB 4.0.

  4. Hacker News · AI58

    Westphalia Labs kiểm thử 11 mô hình AI trong vai trò chủ trì một cuộc đàm phán hư cấu giữa bảy chính phủ

    Westphalia Labs, một nhóm đánh giá do một cựu nhà ngoại giao sáng lập, đã cho mười một mô hình AI đảm nhận vai trò chủ trì một cuộc đàm phán hư cấu giữa bảy chính phủ, mỗi mô hình chạy bốn mươi lần trên một phiên bản khả thi và một phiên bản bất khả thi. Chỉ GPT-6.1 Sol vượt qua mọi lượt chạy, đạt được thỏa thuận khi có thể và tuyên bố đồng thuận là bất khả thi khi đúng như vậy; Claude Opus 5.5, Grok 4.7 và DeepSeek V4.1 Flash giá rẻ đều nhận diện đúng phiên bản bất khả thi trong mọi lần và đạt thỏa thuận trong 18 trên 20 lượt chạy khả thi. Việc đòi hỏi quá mức gây ra 39 lượt chạy thất bại, so với 13 lượt do nhượng bộ quá ít, và một dự báo có khả năng xảy ra được theo sau bởi thỏa thuận trong 72 trên 110 trường hợp.

  5. The Verge · AI58

    Nghiên cứu phát hiện ChatGPT, Gemini và Perplexity giới thiệu các trang web bán lẻ giả mạo

    Một nghiên cứu của công ty bảo vệ quyền sở hữu trí tuệ Podqi phát hiện rằng ChatGPT, Gemini và Perplexity đều đã trích dẫn hoặc hiển thị các trang web bán lẻ rủi ro, được định nghĩa là các cửa hàng giả mạo, tên miền thương hiệu cũ được đăng ký lại hoặc các trang web đã chết, trong các câu trả lời cho câu hỏi mua sắm về 151 thương hiệu. Trong 6.795 câu trả lời được thu thập trong hai đợt thử nghiệm vào tháng 9, Perplexity đã hiển thị các trang web rủi ro trong 15 phần trăm câu trả lời, ChatGPT trong 8 phần trăm và Gemini trong 4 phần trăm, trong khi ChatGPT đã cảnh báo về trang web rủi ro mà nó hiển thị 24 phần trăm số lần. Các truy vấn về các thương hiệu nhỏ hơn tạo ra các trang web rủi ro thường xuyên gấp khoảng hai lần so với các truy vấn về các công ty lớn hơn, và các lời nhắc về trang web thương hiệu khu vực kích hoạt chúng thường xuyên hơn, với việc Perplexity có lần đã gọi sai trang là trang web chính thức của Stüssy.

12 tháng 11Thứ Năm
  1. Epoch AI · Gradient Updates64

    Epoch Brief: GLM 5.3 tự động xây dựng exploit Firefox từ lỗ hổng bản vá với chi phí khoảng 1.000 USD mỗi cái

    Các nhà nghiên cứu của Epoch AI báo cáo rằng trong các thí nghiệm sandbox ngoại tuyến, mô hình trọng số mở GLM 5.3 đã tự động xâm nhập sáu phiên bản Firefox gần đây, một trình duyệt có hơn 200 triệu người dùng hoạt động, với chi phí khoảng 1.000 USD mỗi exploit bằng cách kỹ nghệ đảo ngược các cuộc tấn công từ những bản vá chưa đến tay người dùng. Mô hình đã tạo ra các trang web có thể đọc tệp từ máy tính của khách truy cập và gửi chúng đến kẻ tấn công mà không cần con người can thiệp; nhóm nghiên cứu không thể tái tạo điều này với Chrome. Bản tóm tắt tương tự cũng ghi nhận rằng Claude Fable 5.2 của Anthropic, phát hành ngày 9 tháng 11, đã lập kỷ lục mới của Chỉ số Năng lực Epoch là 174, cao hơn mức 169 của GPT-6 Astra.

11 tháng 11Thứ Tư
  1. inclusionAI Models40

    inclusionAI phát hành mô hình ZoomGain-9B và ZoomGain-4B cùng ZoomGainBench và dữ liệu huấn luyện RL

    inclusionAI đã phát hành các checkpoint mô hình thị giác-ngôn ngữ ZoomGain-9B và ZoomGain-4B, cùng với bộ đánh giá ZoomGainBench và dữ liệu huấn luyện RL ZoomGain. ZoomGain khai thác khoảng cách nhận thức từ toàn cục đến thu phóng để xây dựng giám sát thị giác chi tiết, và ZoomGain-9B đạt hiệu suất vượt trội trên nhiều bộ đánh giá nhận thức chi tiết và tổng quát. ZoomGainBench chứa 1.000 câu hỏi trên 941 hình ảnh, trong khi bộ dữ liệu RL có 9.000 bản ghi huấn luyện và 7.713 hình ảnh nguồn.

10 tháng 11Thứ Ba
  1. Apple Machine Learning Research31

    Nghiên cứu của Apple đánh giá các giám khảo LLM cho việc đánh giá phong cách viết cá nhân hóa

    Các nhà nghiên cứu của Apple đã kiểm tra mức độ mà các giám khảo LLM đánh giá xem văn bản được tạo có phù hợp với phong cách viết ưa thích của người dùng hay không, bằng cách tạo văn bản với bốn LLM trên ba tác vụ viết dài và so sánh chú thích của giám khảo với nhãn so sánh cặp của con người. Chất lượng giám khảo chỉ tương quan yếu với năng lực LLM tổng quát trên MMLU (Pearson's ρ ≤ 0.2) và thay đổi theo tác vụ viết và tiêu chí đánh giá, và so sánh cặp tỏ ra nhất quán hơn so với chấm điểm độc lập. Các LLM mạnh nhất không phải là những mô hình tái tạo đánh giá của con người một cách đáng tin cậy nhất, có thể do độ nhạy cảm quá mức với các chi tiết tinh tế.

  2. Artificial Analysis Articles58

    Google DeepMind và Artificial Analysis ra mắt benchmark MKA cho công việc tri thức dạng tác tử trên các tệp hình ảnh phức tạp

    Google DeepMind đã hợp tác với Artificial Analysis để ra mắt benchmark Multimodal Knowledge Agent (MKA), giao cho các tác tử nhiệm vụ xem xét các tệp dự án hình ảnh dày đặc như bản vẽ kiến trúc, sơ đồ kỹ thuật và hình ảnh quét lâm sàng để tạo ra slide, bảng tính, PDF, tài liệu Word và hình ảnh có chú thích.

9 tháng 11Thứ Hai
  1. Artificial Analysis Articles58

    Artificial Analysis phát hành Chỉ số Độ chính xác Endpoint v1.1 với khoảng tin cậy long-context chặt chẽ hơn và phạm vi bao phủ sáu mô hình

    Artificial Analysis đã ra mắt Chỉ số Độ chính xác Endpoint v1.1, thu hẹp khoảng tin cậy AA-LCR-25 và bổ sung phạm vi bao phủ cho GLM-5.3 Flash và Muse Spark Open. Trong số 103 endpoint serverless được đánh giá chuẩn, 24 endpoint có điểm số thấp hơn đáng kể về mặt thống kê so với tham chiếu tự lưu trữ, với các nguyên nhân bao gồm giới hạn token đầu ra, giảm suy luận, lỗi định dạng gọi công cụ và hết thời gian yêu cầu. Việc nâng AA-LCR-25 lên 25 lần lặp lại mỗi câu hỏi thu hẹp khoảng tin cậy 95% trung bình từ ±4,7 xuống ±2,6 điểm, và khoảng tin cậy của chỉ số tổng hợp từ ±5,5 xuống ±4,3 điểm trên 45 endpoint được chấm điểm theo cả hai phiên bản.

8 tháng 11Chủ Nhật
  1. Artificial Analysis Articles38

    Artificial Analysis Decision Index v2 ra mắt với Decision Score mới và các bài kiểm tra riêng tư

    Artificial Analysis đã phát hành Decision Index v2, với 45% của Index hiện được xây dựng trên các bộ dữ liệu riêng tư, tăng từ 25% ở v1. Drex Max v1.1 của Nace AI dẫn đầu sát sao các mô hình ra quyết định với 73 điểm, trong khoảng 1 điểm so với GLiDE v1.2 và Mammoth 27B. Decision Score mới thưởng cho cả tính chính xác và độ tin cậy được hiệu chỉnh, trong khi AA-Paperclip và AA-Symmetry bổ sung các bài kiểm tra tài liệu riêng tư và tính nhất quán.

6 tháng 11Thứ Sáu
  1. SemiAnalysis75

    SemiAnalysis đánh giá Google TPUv7 Ironwood trên suy luận tác tử so với GPU NVIDIA

    SemiAnalysis công bố kết quả suy luận tác tử đa lượt, ngữ cảnh dài đầu tiên trên InferenceX/AgentX cho Google TPUv7 Ironwood trên bốn mô hình, nhận thấy nó cạnh tranh về hiệu năng trên mỗi đô la hoặc đạt mức tiên tiến trong một số trường hợp. Trên GLM-5.2 ở FP8, TPUv7 đạt 1,2x đến 2,7x số token trên mỗi đô la so với B200, B300 và MI355X từ 60 đến 300 tok/s/người dùng, trong khi GPU FP4 vẫn dẫn đầu trên GLM-5.3 vì TPUv7 thiếu hỗ trợ FP4 gốc cho đến TPUv8 vào Q1 2027. Bài viết cũng lập luận rằng bộ máy quan liêu của NVIDIA làm chậm các đóng góp driver và hệ sinh thái so với AMD và Google.

  2. Artificial Analysis Articles40

    VIALS-AA: Những con đường khác nhau để suy luận hình ảnh khoa học

    VIALS-AA phân tích cách 19 mô hình suy luận trên hình ảnh khoa học, phân loại 9.177 lần chạy thử của các lệnh gọi công cụ. Xem hình ảnh chiếm 38,3% số lệnh gọi và chuẩn bị hoặc đo lường hình ảnh chiếm 47,3%, trong khi đo lường hình ảnh chỉ chiếm 5–6% số lệnh gọi đối với GPT-6 Astra (max) và GPT-6.1 Sol (max), so với 25–27% đối với Claude Opus 5.5 (max) và Claude Sonnet 5.5 (max). Gemini 3.8 Flash (high) tạo ra 86,7% số lệnh gọi bình luận/không thao tác của nhóm, và chi phí cho mỗi tác vụ thay đổi gần 100 lần giữa các mô hình.

3 tháng 11Thứ Ba
  1. Ai2 · Allen Institute for AI55

    Ai2 phát hành StateBench để kiểm tra cách các mô hình ngôn ngữ theo dõi thay đổi trạng thái trong tài liệu dài

    Ai2 giới thiệu StateBench, một bộ đánh giá với bốn mức độ khó cho việc theo dõi trạng thái trong ngữ cảnh dài, từ gán bất biến đến cập nhật tự tham chiếu và tham chiếu chéo. Trong các bài kiểm tra, Gemini 3.8 Flash, Claude Opus 5.5, và GPT-6 Sol và Luna xử lý được các mức dễ hơn nhưng giảm xuống còn 13% hoặc thấp hơn trên các bài toán hữu hạn tổng quát dài nhất, trong khi Gated DeltaNet 275M tham số và các mô hình lai được huấn luyện từ đầu tổng quát hóa gần như hoàn hảo ở ba mức đầu tiên và các transformer không bao giờ học được mức khó nhất.

  2. OpenAI Alignment Blog58

    OpenAI xem xét khoảng cách hành vi giữa đánh giá và vận hành trong an toàn tác nhân và vai trò của nhận thức về đánh giá

    Các nhà nghiên cứu OpenAI đã đo lường khoảng cách hành vi giữa đánh giá và vận hành trong an toàn tác nhân: trên sáu mô hình được phục vụ, tỷ lệ thành công trên bài đánh giá Respecting Warnings thấp hơn 10,2 đến 37,4 điểm phần trăm so với các quyết định vận hành Codex tương ứng, với khoảng cách lớn nhất ở GPT-5.6 Sol và GPT-6 Sol. Chỉ riêng nhận thức chung về đánh giá cho thấy mối liên hệ yếu với khoảng cách này (R² = 0,008), trong khi nhận thức cụ thể về mục tiêu đánh giá mạnh hơn (R² = 0,370), và các mô hình thường diễn đạt sai mục tiêu nhất (chống lại prompt injection) có khoảng cách lớn nhất. Trong một can thiệp trên GPT-6.1 Sol, một tín hiệu đánh giá chung gần như không làm thay đổi tỷ lệ thành công (63,1% so với 63,4%), tín hiệu mục tiêu đúng đã nâng lên 91,6%, và tín hiệu mục tiêu sai đã giảm xuống 17,6%.

2 tháng 11Thứ Hai
  1. Import AI42

    Import AI 479: Spacewar, tác vụ độ trễ thấp so với LLM, Genie 4

    Import AI 479 đề cập đến Realtime-Bench, một bộ đánh giá gồm 50 tác vụ với 30 tác vụ web và 20 tác vụ trò chơi do các nhà nghiên cứu tại UT Austin, Ohio State, UIUC, NVIDIA, Northwestern và Steadyworks xây dựng nhằm kiểm tra liệu các mô hình tiên tiến có thể hành động dưới áp lực thời gian thực hay không. GPT-6 Astra (high) đạt tỷ lệ vượt qua theo thời gian thực cao nhất là 36%, trong khi các lần chạy với đồng hồ tạm dừng cho phép các mô hình suy luận cao đạt khoảng 70% đến 80%. Số này cũng đề cập đến báo cáo "Challenges to Security in Space" của Cơ quan Tình báo Quốc phòng và Genie 4.

  2. SemiAnalysis58

    SemiAnalysis ra mắt bộ đánh giá GDPx cho năng lực tác nhân tiên tiến trên các lĩnh vực giá trị cao

    SemiAnalysis đã phát hành GDPx, một bộ đánh giá bao gồm thiết kế chip, an ninh mạng, sinh học, tài chính, pháp lý, giao dịch định lượng, RSI, thiết kế phần cứng, khoa học vật liệu, căn chỉnh và kỹ thuật phần mềm, được xây dựng với 14 đối tác môi trường RL chuyên biệt. Ngay cả mô hình tốt nhất cũng chỉ đạt 12%, với Opus 5.5 giành chiến thắng ở giao dịch định lượng, phần cứng và thiết kế chip, Gemini 4 Carbon dẫn đầu về sinh học và kỹ thuật phần mềm, và GPT-6 Astra đứng đầu về RSI và khoa học vật liệu. Mỗi nhiệm vụ đều chạy trong một môi trường mô phỏng thực tế, chẳng hạn như một phòng giao dịch cổ phần tư nhân với ~4.000 tệp hoặc các dải an ninh mạng đa dịch vụ trực tiếp, khác với GDPval của OpenAI, mà SemiAnalysis lập luận rằng cung cấp ngữ cảnh sẵn và thiếu môi trường.

30 tháng 10Thứ Sáu
  1. Microsoft Research40

    Microsoft xây dựng nền tảng dữ liệu doanh nghiệp tổng hợp để đánh giá Copilot

    Nền tảng Tạo Dữ liệu Đánh giá Ngành của Microsoft tạo ra các môi trường doanh nghiệp tổng hợp quy mô đầy đủ để đánh giá Microsoft Copilot mà không sử dụng dữ liệu khách hàng. Dựa trên các nguồn công khai như dữ liệu nghề nghiệp O*NET, tin tuyển dụng và hồ sơ nộp lên SEC, nền tảng này tạo ra các tenant thực tế với người dùng, cuộc họp, email và tài liệu, cùng với các pipeline truy vấn tự động và các khung chất lượng. Microsoft cho biết điều này thiết lập đường cơ sở đánh giá chuẩn hóa đầu tiên cho Copilot.

27 tháng 10Thứ Ba
  1. Ai2 · Allen Institute for AI58

    Nghiên cứu của Ai2 kiểm tra liệu LLM có thể đánh giá đáng tin cậy tính mới của ý tưởng nghiên cứu hay không

    Ai2 đã công bố Old Ideas, Novel Problems, một nghiên cứu và bộ đánh giá kiểm tra mức độ đáng tin cậy của LLM khi đánh giá tính mới của các ý tưởng nghiên cứu, cùng với dữ liệu, mã nguồn và một pipeline để xây dựng các bộ đánh giá mới. Qua sáu giám khảo gồm GPT-5.1, GPT-5.2, GPT-5.4, Claude Sonnet 4.5, Claude Opus 4.5 và Claude Opus 4.6, những thay đổi nhỏ trong prompt đã làm độ chính xác dịch chuyển hơn 50 điểm phần trăm trên các ý tưởng do AI tạo ra, và một baseline Claude Opus 4.6 đơn giản với prompt đạt macro-F1 0,854 với chi phí 2,59 USD, so với 0,642 với chi phí 30,66 USD của Idea Novelty Checker và 0,772 với chi phí 82,05 USD của AI Scientist do Sakana AI phát triển.

  2. Epoch AI · Gradient Updates58

    Epoch AI thử nghiệm AI trên chính các nhiệm vụ nghiên cứu của mình, các mô hình hàng đầu đạt 65% và trượt tất cả

    Epoch AI đã mở rộng nỗ lực trước đó nhằm tự động hóa công việc của một nhà nghiên cứu cấp cao thành Epoch Automation Reports, đánh giá AI trên các nhiệm vụ thực tế của Epoch như thiết kế đồ họa và lập kế hoạch nghiên cứu theo cùng tiêu chuẩn áp dụng cho nhân viên con người. 1 và GPT-6 Astra đạt trung bình 65% theo rubric, nhưng điểm 65% vẫn bị tính là nhiệm vụ thất bại, vì mọi bài nộp sẽ bị từ chối hoặc yêu cầu sửa lại nếu do con người thực hiện.

24 tháng 10Thứ Bảy
  1. Redwood Research58

    Redwood Research công bố bài báo về đánh giá kiểm soát mô phỏng cho các giám sát viên tác nhân AI

    Redwood Research đã công bố một bài báo về đánh giá kiểm soát mô phỏng (SCE), một phương pháp sử dụng trình mô phỏng môi trường LLM để kiểm tra xem các giám sát viên giám sát tác nhân AI có phát hiện ra một mô hình cố ý gây hại hay không, mà không thực thi các lệnh gọi công cụ của nó.

  2. Epoch AI · Gradient Updates42

    Epoch Brief: Thử nghiệm tự động hóa công việc bằng AI, Chuẩn đánh giá SpireClimb và bước tiến biên giới của Gemini 4 Argon

    Epoch AI đã thử nghiệm sáu mô hình hàng đầu trên 11 nhiệm vụ công việc thực tế của Epoch và nhận thấy không mô hình nào có thể đáp ứng đáng tin cậy tiêu chuẩn chất lượng của mình, với Claude Fable 5.1 và GPT-6 Astra gần như ngang bằng nhau ở vị trí dẫn đầu. Chuẩn đánh giá SpireClimb mới của họ cho thấy các mô hình biên giới đã đi từ chỗ chật vật với Slay the Spire đến chỗ thắng hơn 90% các lượt chơi ở độ khó cơ bản trong sáu tháng, với GPT-6 Astra đạt 98%. Gemini 4 Argon đạt 166 điểm trên Chỉ số Năng lực Epoch, ngang bằng với Claude Fable 5.1 và xếp sau Claude Opus 5.5 và GPT-6 Astra ở mức 169.

21 tháng 10Thứ Tư
  1. OpenAI Alignment Blog28

    OpenAI đề xuất các chỉ số pair-matched và post-control để mở rộng khả năng giám sát của g-mean²

    Blog Alignment của OpenAI bổ sung hai chỉ số vào g-mean², thước đo cấp độ tập dữ liệu về khả năng phân biệt của monitor. Chỉ số pair-matched chỉ so sánh các mô hình trên những trường hợp tác vụ hỗ trợ phép so sánh dương, âm hoặc hợp lệ can thiệp liên quan, trong khi chỉ số tích hợp post-control mô phỏng việc từ chối có cổng kiểm soát bởi monitor và ước tính xác suất hệ thống triển khai vẫn phát ra đầu ra xấu. Bài viết cũng suy ra một cận dưới bi quan cho các đánh giá can thiệp.

20 tháng 10Thứ Ba
  1. AI as Normal Technology40

    Bài báo của Princeton vạch ra 33 xu hướng mới nổi trong đánh giá AI Agent

    Một nhóm do Princeton dẫn đầu, cùng với Stanford, Viện An ninh AI Vương quốc Anh và Brookings, đã công bố "Emerging Trends in AI Agent Evaluation", tổng hợp 33 xu hướng trong khoa học đánh giá, chương trình nghiên cứu và hệ sinh thái đánh giá. Bài báo lập luận rằng đánh giá agent phức tạp hơn nhiều so với đánh giá mô hình, vì người đánh giá phải xem xét toàn bộ quỹ đạo thay vì kết quả cuối cùng, và lưu ý rằng một số agent trên benchmark ExploitBench tốn hàng chục nghìn đô la tín dụng để đánh giá. Bài báo kêu gọi mở rộng chương trình nghiên cứu bao gồm năng lực, tương tác con người và tác động thể chế, cùng với sự tham gia rộng rãi hơn và tài trợ cho các đơn vị đánh giá độc lập.

12 tháng 10Thứ Hai
  1. Import AI38

    Import AI 476: Sáng tạo và RSI, các mô hình open weight tệ hơn Trung Quốc, và AI trong không gian

    Import AI 476 đề cập đến một benchmark mới cho thấy các LLM tiên tiến vẫn kém con người về suy luận thị giác trực quan, với GPT 6 Astra đạt 53,6 pass@1 so với mức cơ sở của con người là 93,1. Nội dung cũng thảo luận về việc các hệ thống AI đang cải thiện "gu nghiên cứu" thông qua benchmark TasteVal, và lập luận rằng AI có thể tăng tốc công nghiệp hóa không gian và tạo ra lợi thế người đi trước tích lũy.

10 tháng 10Thứ Bảy
  1. Epoch AI · Gradient Updates65

    InnovationEval của Epoch AI phát hiện các agent tiên phong chỉ đạt 15% mức cải thiện của SDPO trong R&D AI tự động

    6 Sol và Fable 5 với việc độc lập tái phát hiện một kỹ thuật hậu huấn luyện mới lạ tương đương với Self-Distillation Policy Optimization (SDPO), cấp cho mỗi bên 3.000 GPU-giờ trong một sandbox không có truy cập internet. Phương pháp của 6 Sol, phần lớn sao chép từ công trình trước đó, đạt 15% mức cải thiện của SDPO sau khi điều chỉnh cho việc huấn luyện chậm hơn, trong khi kỹ thuật của Fable 5 không cải thiện được hiệu suất.

5 tháng 10Thứ Hai
  1. GitHub Blog · AI & ML58

    GitHub phát hành ReviewBench, một benchmark mở cho đánh giá mã nguồn bằng AI

    GitHub đã phát hành ReviewBench, một benchmark mở dành cho các tác nhân đánh giá mã nguồn bằng AI, được xây dựng trên 219 pull request công khai thuộc 19 ngôn ngữ, với phân bố ngôn ngữ và quy mô kho mã mô phỏng theo 103,9 triệu pull request trên GitHub. Tập dữ liệu chuẩn (golden set) lấy các phát hiện từ người đánh giá là con người, các commit tiếp theo của tác giả, phân tích tĩnh và nhiều LLM tiên tiến, được chấm điểm bởi Claude Sonnet 5 theo một rubric đã công bố, và các kỹ sư cấp cao đã độc lập gán nhãn lại từng phát hiện với mức đồng thuận 96,6%. GitHub cho biết đánh giá ngoại tuyến của họ đối với tính năng đánh giá mã nguồn của Copilot đã dự đoán đúng hướng của một thử nghiệm A/B trong môi trường sản xuất, trong đó tỷ lệ được xử lý tăng 8,0%, độ phủ (recall) tăng 13,6% và chi phí cho mỗi lần đánh giá giảm 8,0%.

5 tháng 8Thứ Tư
  1. AI as Normal Technology65

    Nghiên cứu phát hiện các tác nhân AI tiên phong vẫn chưa thể thực hiện nghiên cứu AI mở

    Một bài báo mới từ nhóm AI as Normal Technology đã thực hiện một đánh giá mô phỏng, trong đó các tác nhân AI tiên phong được yêu cầu trả lời các câu hỏi nghiên cứu chính của hai bài báo AI chưa công bố, với hàng nghìn đô la tín dụng API và tài nguyên tính toán cùng sáu ngày thời gian thực, và các tác giả gốc đã bác bỏ rõ ràng cả hai bài báo của tác nhân.

29 tháng 4Thứ Tư
  1. Factory58

    Factory đánh giá 13 mô hình trên code review, nhận thấy GPT-5.2 tốt nhất và MiniMax M2.7 rẻ nhất

    Factory đã xây dựng một benchmark mã nguồn mở thử nghiệm 13 mô hình trên 50 pull request thực tế từ Sentry, Grafana, Keycloak, Discourse và Cal.com, với mỗi mô hình review mỗi PR ít nhất ba lần ở mức nỗ lực suy luận cao và một giám khảo LLM chấm điểm các phát hiện so với một golden set do con người tuyển chọn. GPT-5.2 dẫn đầu với 60,5% F1 với $1,25 mỗi PR, trước Claude Opus 4.6 với 59,8% F1 và $3,11 mỗi PR, trong khi MiniMax M2.7 đạt 45,6% F1 với $0,15 mỗi PR và Kimi K2.5 đạt 51,9% F1 với $0,41. Factory cho biết chi phí chỉ giải thích khoảng 21% phương sai chất lượng, và họ đã mã nguồn mở golden set, các script đánh giá và một Droid Action GitHub Action hỗ trợ cả 13 mô hình.