OSF 发布 WPS AI 基准与排行榜

Our Secure Future（OSF）发布了妇女、和平与安全（WPS）AI 基准与排行榜，基于 Collective Intelligence Project 的 Weval 平台构建。该基准发现，大语言模型能够背诵联合国安理会第 1325 号决议，却系统性地将性别因素排除在和平与安全分析之外。OSF 描述了两种失效模式：被动遗漏，即模型在常规评估中略去妇女和女童；主动顺从，即模型帮助决策者绕开政策。 该基准包含 30 个场景和一套 11 项标准的评分细则，并以 CC BY 4.0 许可发布，同时附有分类法和可靠性报告，明确允许将其用作训练数据。OSF 表示该基准免费，任何人都可以在 Weval 上运行并复现排行榜。该场景集仅对其发布之前发布的模型有效，OSF 计划定期发布新场景，以保持基准对未来模型的有效性。

AI 根据报道生成 · 14 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。