OpenAI Alignment Blog· Melody Guan, Yuxiang Xie, Bowen Baker·· 24 天前AI 评分28
OpenAI 提出配对匹配与后控制指标,以扩展 g-mean² 的可监控性
Beyond g-mean²: complementary metrics for monitorability
AI 导读
OpenAI 的 Alignment Blog 为 g-mean² 增加了两个指标,g-mean² 是其数据集级别的监控区分度度量。配对匹配指标仅在支持相关正例、负例或干预有效比较的任务实例上比较模型,而后控制整合指标模拟监控门控拒绝,并估计部署系统仍输出不良输出的概率。该文章还为干预评估推导出一个悲观下界。
来源:OpenAI Alignment Blog · alignment.openai.com