跳到正文
10月5日周一
  1. GitHub Blog · AI & ML58

    GitHub 发布 ReviewBench,一个用于 AI 代码审查的开放基准

    GitHub 发布了 ReviewBench,这是一个面向 AI 代码审查智能体的开放基准,基于 19 种语言的 219 个公开拉取请求构建,其语言和仓库规模分布参照 1.039 亿个 GitHub 拉取请求建模。黄金集从人类审查者、作者后续提交、静态分析和多个前沿 LLM 中提取发现,由 Claude Sonnet 5 按照已发布的评分标准评分,资深工程师独立重新标注了每一条发现,一致率为 96.6%。GitHub 表示,其对 Copilot 代码审查的离线评估预判了生产 A/B 测试的方向,其中已处理率上升 8.0%,召回率上升 13.6%,每次审查成本下降 8.0%。