逆向博弈论如何约束AI智能体

对齐研究者正在探索逆向博弈论，也称机制设计，它通过设计激励机制来推动AI智能体走向期望行为，而不是试图检查其内部推理。一篇由MIT领衔的预印本提出，根据一个模型的答案对第二个模型输出的预测程度给予奖励，从而使故意放水测试变成亏本买卖，并建议让智能体相互对抗，或将偏见相反的智能体配对。