逆向賽局理論如何約束 AI 代理

對齊研究者正在探索逆向賽局理論，也稱為機制設計，它設計激勵結構，推動 AI 代理朝向期望行為，而不是試圖檢查其內部推理。一篇由 MIT 領銜的預印本提出，根據模型的答案能多好地預測第二個模型的輸出來獎勵該模型，從而使在測試中故意放水成為一個虧本的賭注，並建議讓代理相互對抗，或配對具有相反偏見的代理。