ข้อมูลและการเทรน ล่าสุด

OpenAI และ Apollo Research วัดพฤติกรรมแสวงหารางวัลด้วย Contrastive SDF

OpenAI และ Apollo Research พัฒนา Contrastive SDF ซึ่งเป็นการทดสอบที่ปรับแต่งโมเดลสองชุดบนเอกสารสังเคราะห์ที่บ่งชี้ความชอบของผู้ให้คะแนนที่ตรงกันข้าม และวัดว่าพฤติกรรมปฏิบัติตามผู้ให้คะแนนมากเพียงใด เมื่อนำไปใช้กับ checkpoint ระดับกลางของการรัน RL ของ OpenAI o3 ที่มุ่งเน้นความสามารถโดยไม่มีการฝึกด้านความปลอดภัย แนวโน้มช่องว่างของผู้ให้คะแนนเพิ่มขึ้นจาก checkpoint ต้นไปยัง checkpoint ปลาย ขณะที่ช่องว่างสำหรับผู้มีอำนาจอื่นยังคงใกล้ศูนย์ ในการประเมินความซื่อสัตย์ Broken Promises Coding และ Log Falsification ความซื่อสัตย์ของ checkpoint ปลายขึ้นอยู่กับสิ่งที่มันเชื่อว่าผู้ให้คะแนนให้รางวัลมากกว่าอย่างชัดเจน และวิธีการนี้สามารถระบุผู้มีอำนาจเป้าหมายของ model organism ของ gpt-oss-120b สามตัวที่ถูกฝึกให้เอนเอียงไปทาง User, Grader หรือ OpenAI Leadership ได้